《利用python进行数据分析》之数据清洗

清疚 2021-10-30 00:22 600阅读 0赞

（一）、**处理缺失值：**  
在进行数据分析和建模的过程中，大量的时间会花在数据准备上：**加载、清理、转换以及重塑**。因此，掌握了正确、高效的完成数据准备的方式会使得我们的工作效率更高。缺失数据在pandas中呈现的方式有些不完美，但对于大多数用户可以保证功能正常。对于数值数据，**pandas使用浮点值NaN**（Not a Number）**表示缺失数据**。  
我们输入下面代码：

data = pd.Series(['aaa', 'bbb', 'ccc', np.nan])

产生的结果如下：

0    aaa
    1    bbb
    2    ccc
    3    NaN
    dtype: object

我们也可以用 isnull() 方法来查看缺失值

print(data.isnull())

输出结果如下（True表示这个位置为缺失值）：

0    False
    1    False
    2    False
    3     True
    dtype: bool

NA即not available，中文为：不可用。NA数据可以是不存在的数据或者是存在但是不可观察的数据（例如在数据收集过程中出现了问题）

NA的处理方法：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0NjE0NTI0_size_16_color_FFFFFF_t_70]

##  ##

1.1**过滤缺失值**：我们可以通过 pandas.isnull 和布尔索引的手工过滤缺失值的方法，但dropna可能会更实用一些。

###  ###

1.1.1在 Series 上使用 dropna 时，他会返回Series。

from numpy import nan as NA
    data = pd.Series([1, NA, 3.5, NA, 7])
    print(data.dropna())

输出结果为：

0    1.0
    2    3.5
    4    7.0
    dtype: float64

我们可以看到。行索引为 1 和 3 的元素（缺失值）被删除掉。

###  ###

1.1.2在处理DataFrame对象时：**dropna默认会删除包含缺失值的行**

data = pd.DataFrame([[1, 3.6, 3], [1, NA, NA],
                        [NA, NA, NA], [NA, 6., 3]])

建立的数据为：

0    1    2
    0  1.0  3.6  3.0
    1  1.0  NaN  NaN
    2  NaN  NaN  NaN
    3  NaN  6.0  3.0

调用删除之后的删除为：

0    1    2
    0  1.0  3.6  3.0

我们可以看到缺失值的整行都被删除掉。

####  ####

1.1.3、*传入的参数为how = ‘all’ 的时候，pandas会删除所有值均为NA的行*。

print(data.dropna(how = 'all'))

删除后的结果为：

0    1    2
    0  1.0  3.6  3.0
    1  1.0  NaN  NaN
    3  NaN  6.0  3.0

并不是所有的NA的行被删除掉，而只是某一行所有元素均为NA的时候才会删除该行。若是想删除列的话，我们加上`axis = 1`即可。

##  ##

**补全缺失值**：在特定的情况下，我们可能需要以多种方式补全缺失值，而不是直接过滤缺失值。**大多数情况下我们使用 fillna() 方法来补全缺失值**。

print(data.fillna(0))

fillna()的参数就是我们用来填补缺失值的数值。填补之后的结果如下：

0    1    2
    0  1.0  3.6  3.0
    1  1.0  0.0  0.0
    2  0.0  0.0  0.0
    3  0.0  6.0  3.0

用于重建索引的插值方法也可以用于fillna（）：

data = pd.DataFrame(np.random.randn(6, 3))
    data.iloc[2: ,1] = NA     #从第三行第二列开始（或者我们从索引值为（2，1）开始)
    data.iloc[4: ,2] = NA     #从第五行第三列开始（或者我们从索引值为（4，2）开始）

建立完成的数据如下：

0         1         2
    0  0.929878  1.039583 -0.581990
    1  0.254919 -2.111313 -0.874815
    2 -0.081725       NaN  0.946258
    3 -1.224365       NaN -1.164537
    4 -0.800158       NaN       NaN
    5 -0.252555       NaN       NaN

我们可以看到对应位置的数字变成了NAN。之后我们进行缺失值的填充

print(data.fillna(method = 'ffill'))

填充后的结果如下：

0         1         2
    0 -0.131935 -0.059509 -1.575951
    1 -0.556512 -1.407413 -0.204176
    2  0.257330 -1.407413 -0.514804
    3 -0.394098 -1.407413  0.735544
    4 -0.083222 -1.407413  0.735544
    5  1.127529 -1.407413  0.735544

我们可以看出pandas按照初始的规矩（产生服从正态分布的随机数的规律）自动的对数据进行了填充。

该函数参数解释如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0NjE0NTI0_size_16_color_FFFFFF_t_70 1]  
（二） **代替值**：之前我们使用的fillna()方法是通过将缺失值进行填充来实现替换的特殊案例。这里我通过**使用replace（）方法来实现替换**。

data = pd.Series([1., -999, 5, -999, 3, 154])   #假设-999是缺失值的标识

我们创建出的data如下：

0      1.0
    1   -999.0
    2      5.0
    3   -999.0
    4      3.0
    5    154.0
    dtype: float64

如果我们像完成缺失值的替换，可以采用这个代码：

print(data.replace(-999, np.nan))

意思是用nan代替原数据集中的 -999，结果如下：

0      1.0
    1      NaN
    2      5.0
    3      NaN
    4      3.0
    5    154.0
    dtype: float64

如果想一次性代替多个值的话，我们也可以使用列表来进行被代替值的传入。

print(data.replace([154, -999], np.nan))

我们这里让 154 和 -999 均被替代掉。

0    1.0
    1    NaN
    2    5.0
    3    NaN
    4    3.0
    5    NaN
    dtype: float64

如果想将不同的值替换为不同的值，可以传入两个列表进去，或者传入字典。下面两句话产生的结果相同

print(data.replace([154, -999], [np.nan, 100]))
    print(data.replace({154 : np.nan, -999 : 100}))

结果如下：对应的数值被对应的数值替换掉。

0      1.0
    1    100.0
    2      5.0
    3    100.0
    4      3.0
    5      NaN
    dtype: float64

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0NjE0NTI0_size_16_color_FFFFFF_t_70 2]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0NjE0NTI0_size_16_color_FFFFFF_t_70 3]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0NjE0NTI0_size_16_color_FFFFFF_t_70]: /images/20211029/757cd88648b84f5699278709f8254fc4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0NjE0NTI0_size_16_color_FFFFFF_t_70 1]: /images/20211029/3d06680299984921978266ed7777517e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0NjE0NTI0_size_16_color_FFFFFF_t_70 2]: /images/20211029/ce402f5c934d442498e68b056cb0b333.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0NjE0NTI0_size_16_color_FFFFFF_t_70 3]: /images/20211029/7c2daf297f3241b7abbf4315fbc93471.png