总结了pandas实现数据清洗的7种方式

女爷i 2023-01-19 15:49 270阅读 0赞

今天给大家介绍一下excel和pandas实现数据清洗的种方式

![ee3c9b86777a3b09212b12305685c390.png][]

### 1.处理数据中的空值 ###

我们在处理真实的数据时，往往会有很多缺少的的特征数据，就是所谓的空值，必须要进行处理才能进行下一步分析

空值的处理方式有很多种，一般是删除或者填充

Excel通过“查找和替换”功能实现空值的统一替换：

![bd49b2fa9ddcb38c334688ac77418326.png][]

通过“定位”删除空值：

![d8da46dbaa1d4c204246faab8fcd9f50.png][]

pandas处理空值的方式比较灵活，可以使用dropna函数删除空值

import pandas as pd
    data=pd.read_csv('成绩表.csv',encoding='gbk')
    data.dropna(how='any')

![9bfb8d4c99a176fb0101169d33c00c8a.png][]

![1f9588390e1f23fcd3a62e0b444822a7.png][]

用fillna函数实现空值的填充

①使用数字0填充数据表中的空值

data.fillna(value=0)

![84f14b647f11d57903dea910c9d96dda.png][]

②使用平均值填充数据表中的空值

data['语文'].fillna(data['语文'].mean())

###  ###

![3581b52de0b7b0ca0d8f4734b4b1c55e.png][]

### 2.删除空格    ###

excel中清理空格很简单，直接替换即可

pandas删除空格也很方便，主要使用map函数

data['姓名']=data['姓名'].map(str.strip)
    data

###  ###

![6a1dbb85abd0454dd21a85e14d801804.png][]

### 3.大小写转换    ###

excel中大小写转换函数分别为upper()和lower()

pandas中转换函数也为upper()和lower()

data['拼音']=data['拼音'].str.upper()
    data

![8e75ca826e7b115c0bcbad284aead765.png][]

data['拼音']=data['拼音'].str.lower()
    data

###  ###

![eebf2006009c36ede0b1ae22229a02f6.png][]

### 4.更改数据格式    ###

excel中更改数据格式通过快捷键“ctrl+1”打开“设置单元格格式”：

![d756ddae5fab7c19498d8e47c1b6c023.png][]

pandas使用astype来修改数据格式，以将“语文”列改成整数为例

data['语文'].dropna(how='any').astype('int')

###  ###

![6327b5a0bd9c202a4fec7c341ddac6c0.png][]

### 5.更改列名称    ###

excel中更改列名称就不说了，大家都会

pandas使用rename函数更改列名称，代码如下：

data.rename(columns={'语文':'语文成绩'})

###  ###

![6354bb5aad1aa35cc5f488ca6e928354.png][]

### 6.删除重复值    ###

excel的功能区“数据”下有“删除重复项”，可以用来删除表中的重复值，默认保留最第一个重复值，把后面的删除：

![b0309b040599e60ff4efa8a4da2b99ab.png][]

pandas使用drop\_duplicates函数删除重复值：

data['数学'].drop_duplicates()  #默认删除后面的重复值

data['数学'].drop_duplicates(keep='last')  #删除第一项重复值

### 7.修改及替换数据 ###

excel中使用“查找和替换”功能实现数值的替换

pandas中使用replace函数实现数据替换

data['姓名'].replace('成  功','失  败')

- END -
    -------------------------------------
    长按识别下方二维码，并关注公众号
    
    1.回复“PY”领取1GB Python数据分析资料
    
    2.回复“BG”领取3GB 名企数据分析报告

[ee3c9b86777a3b09212b12305685c390.png]: /images/20221021/d2d4886d5be3495fa0bc8fd3bb1876f7.png
[bd49b2fa9ddcb38c334688ac77418326.png]: /images/20221021/f034778ddd494944922cfc3c83effac2.png
[d8da46dbaa1d4c204246faab8fcd9f50.png]: /images/20221021/8af6ae74520f49cfb98e9232a0a8bce0.png
[9bfb8d4c99a176fb0101169d33c00c8a.png]: /images/20221021/f578db1d01dd43208ea592ca58f1001b.png
[1f9588390e1f23fcd3a62e0b444822a7.png]: /images/20221021/6629c270603f45098d699ca9496e2199.png
[84f14b647f11d57903dea910c9d96dda.png]: /images/20221021/26e225be64554b17b8a977ac5a60493d.png
[3581b52de0b7b0ca0d8f4734b4b1c55e.png]: /images/20221021/bf35b3fb8688440ba71bf3037dad99f3.png
[6a1dbb85abd0454dd21a85e14d801804.png]: /images/20221021/62d3fda2c6f34551a2bf4ae6412d0b3f.png
[8e75ca826e7b115c0bcbad284aead765.png]: /images/20221021/54981357493d45b98b2b7775f233f25b.png
[eebf2006009c36ede0b1ae22229a02f6.png]: /images/20221021/f285fa9d5a104a6a870f21bcc4b070f7.png
[d756ddae5fab7c19498d8e47c1b6c023.png]: /images/20221021/d1e9f898adc14733a12af221c9a67e8d.png
[6327b5a0bd9c202a4fec7c341ddac6c0.png]: /images/20221021/e0b46c8d10e74f95b3a0d3d3e3970b1a.png
[6354bb5aad1aa35cc5f488ca6e928354.png]: /images/20221021/5fe2f9eb4a004fd394ba0b507aede7d2.png
[b0309b040599e60ff4efa8a4da2b99ab.png]: /images/20221021/63f80b53e6cb451d80bf4bb085fba9b0.png