Pandas-常用函数：drop_duplicates()【去重函数】

以你之姓@ 2023-09-25 14:44 145阅读 0赞

> [Panda][] DataFrame 对象提供了一个数据去重的函数 drop\_duplicates()，本节对该函数的用法做详细介绍。

### 格式介绍 ###

[drop\_duplicates][drop_duplicates]()函数的语法格式如下：

data.drop_duplicates(subset=['a','b','b'],keep='first',inplace=True)

> 参数说明如下：  
> subset：表示要进去重的列名，默认为 None。  
> keep：有三个可选参数，分别是 first、last、False，默认为 first，表示只保留第一次出现的重复项，删除其余重复项，last 表示只保留最后一次出现的重复项，False 则表示删除所有重复项。  
> inplace：布尔值参数，默认为 False 表示删除重复项后返回一个副本，若为 Ture 则表示直接在原数据上删除重复项。

### 示例数据 ###

代码：

import pandas as pd
    data = pd.DataFrame({
        'a':[2,1,1,1,1,1,2],
        'b':[1,3,2,4,1,1,5],
        'c':[1,3,2,4,1,1,3],
        'd':[1,3,2,4,1,1,8]
    })
    print (data)

打印结果  
![在这里插入图片描述][3dd25985be9a499984a4c9cb74c08cb1.png]

### 实际应用 ###

**1、默认保留第一次出现的重复项**  
代码：

import pandas as pd
    data = pd.DataFrame({
        'a':[2,1,1,1,1,1,2],
        'b':[1,3,2,4,1,1,5],
        'c':[1,3,2,4,1,1,3],
        'd':[1,3,2,4,1,1,8]
    })
    data_del = data.drop_duplicates()
    print (data_del)

打印结果  
![在这里插入图片描述][a7776469872d41c3bc75b28cda1eb7cd.png]  
**2、删除所有重复项**  
代码：

import pandas as pd
    data = pd.DataFrame({
        'a':[2,1,1,1,1,1,2],
        'b':[1,3,2,4,1,1,5],
        'c':[1,3,2,4,1,1,3],
        'd':[1,3,2,4,1,1,8]
    })
    data_del = data.drop_duplicates(keep=False)
    print (data_del)

打印结果  
![在这里插入图片描述][033c10cccccb4b42b8b09f8525c029e7.png]  
**3、根据指定列标签去重**  
代码：

import pandas as pd
    data = pd.DataFrame({
        'a':[2,1,1,1,1,1,2],
        'b':[1,3,2,4,1,1,5],
        'c':[1,3,2,4,1,1,3],
        'd':[1,3,2,4,1,1,8]
    })
    data_del = data.drop_duplicates(subset=['b'],keep=False)
    print (data_del)

打印结果  
![在这里插入图片描述][5d186b8c5e9b46fabb99668b1909c256.png]  
**4、指定多列同时去重**  
代码：

打印结果  
![在这里插入图片描述][18da0ad3f8ad4c0396a401e22d462074.png]

[Pandas-去重函数drop\_duplicates()详解\_芋头乖乖~的博客-CSDN博客][Pandas-_drop_duplicates_-CSDN]

[Panda]: https://so.csdn.net/so/search?q=Panda&spm=1001.2101.3001.7020
[drop_duplicates]: https://so.csdn.net/so/search?q=drop_duplicates&spm=1001.2101.3001.7020
[3dd25985be9a499984a4c9cb74c08cb1.png]: https://img-blog.csdnimg.cn/3dd25985be9a499984a4c9cb74c08cb1.png
[a7776469872d41c3bc75b28cda1eb7cd.png]: https://img-blog.csdnimg.cn/a7776469872d41c3bc75b28cda1eb7cd.png
[033c10cccccb4b42b8b09f8525c029e7.png]: https://img-blog.csdnimg.cn/033c10cccccb4b42b8b09f8525c029e7.png
[5d186b8c5e9b46fabb99668b1909c256.png]: https://img-blog.csdnimg.cn/5d186b8c5e9b46fabb99668b1909c256.png
[18da0ad3f8ad4c0396a401e22d462074.png]: https://img-blog.csdnimg.cn/18da0ad3f8ad4c0396a401e22d462074.png
[Pandas-_drop_duplicates_-CSDN]: https://blog.csdn.net/weixin_44556353/article/details/125317585