离群值（异常值）处理

电玩女神 2022-08-30 11:43 291阅读 0赞

### 目录 ###

*  1 绘制箱型图
 *  2 异常值剔除

# 1 绘制箱型图 #

`Sample`的是一个二维数组，每列为特征，总行数为样本总数

# 箱型图
    plt.boxplot(Sample[:,0])

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTI4ODU1Nw_size_16_color_FFFFFF_t_70]

*  上四分位数（`Q3`），中位数，下四分位数（`Q1`）
 *  上四分位数和下四分位数之间的差值，即四分位数差（`IQR，interquartile range）=Q3-Q1` ：
 *  大于上四分位数1.5倍四分位数差的值，或者小于下四分位数1.5倍四分位数差的值，划为异常值（outliers），即`Q3+1.5IQR`（四分位间距）和`Q1－1.5IQR`处画两条与中位线一样的线段，这两条线段为异常值截断点，称其为内限。

# 2 异常值剔除 #

# 若存在异常值，则删除该行数据，直接重新建立一个数组，另外保存剔除离散值所在行的数据集
    # 大于上四分位数1.5倍四分位数差的值，或者小于下四分位数1.5倍四分位数差的值，划为异常值（outliers）
    
    sample_error=[] # 将非离群数据行位置存入新列表
    
    for i in range(Sample.shape[1]): # 按列读取原文件
    # 这里的情况是每一行为一类数值，该行内的数据相互比较找出是否有离群值
    # 
        data = Sample[:,i]
        
        #计算四分位点
        q1 = np.percentile(data, 25)            
        q3 = np.percentile(data, 75)            
        iqr = q3 - q1
        
        # 逐行找出异常值
        normal_=0 # 记录每行的正常值数
        for j in range(Sample.shape[0]):  
            item=data[j]
            
            # 在正常值范围内时,存储数据
            if item <= q3 + (1.5*iqr) and item >= q1 - (1.5*iqr):
                normal_=normal_+1
       
            # 出现异常值时,存储数据
            else:
                sample_error.append(j)
        
        print('每列正常值的数量',normal_)
        
    print('存在异常值的Sample索引',sample_error)

利用`np.delete`剔除

Sample_del=np.delete(Sample, sample_error, axis=0)
    print('剔除异常值后的数组大小',Sample_del.shape)

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTI4ODU1Nw_size_16_color_FFFFFF_t_70]: /images/20220829/4ef0bd2ce9b34c2e92ee7671a4bec5c2.png