Pandas重复值处理

「爱情、让人受尽委屈。」 2023-08-17 16:32 154阅读 0赞

import pandas as pd
    
    #生成数据
    data1,data2,data3,data4=['a',3],['b',2],['a',3],['c',2]
    df=pd.DataFrame([data1,data2,data3,data4],columns=['col1','col2'])
    print(df)
      col1  col2
    0    a     3
    1    b     2
    2    a     3
    3    c     2
    
    #判断数据
    isDuplicated=df.duplicated() #判断重复数据记录
    print(isDuplicated)
    0    False
    1    False
    2     True
    3    False
    dtype: bool
    
    #删除重复的数据
    print(df.drop_duplicates()) #删除所有列值相同的记录，index为2的记录行被删除
      col1  col2
    0    a     3
    1    b     2
    3    c     2
    
    print(df.drop_duplicates(['col1'])) #删除col1列值相同的记录，index为2的记录行被删除
      col1  col2
    0    a     3
    1    b     2
    3    c     2
    
    print(df.drop_duplicates(['col2'])) #删除col2列值相同的记录，index为2和3的记录行被删除
      col1  col2
    0    a     3
    1    b     2
    
    print(df.drop_duplicates(['col1','col2'])) #删除指定列（col1和col2）值相同的记录，index为2的记录行被删除
      col1  col2
    0    a     3
    1    b     2
    3    c     2

转载于:https://www.cnblogs.com/hankleo/p/11462532.html

发表评论取消回复

表情：

评论列表（有 0 条评论，154人围观）

还没有评论，来说两句吧...

相关阅读

相关 Pandas数据操作：缺失值/重复值处理错误场景

在处理Pandas中的缺失值和重复值时，可能会遇到一些错误场景。以下是几种常见的情况： 1. 错误的缺失值处理： - 误用dropna()删除整个列，而不是仅删除带有缺

曾经终败给现在/ 2025年03月23日 16:15/ 0 赞/ 49 阅读

相关 Python数据清洗：pandas库中缺失值、重复值的处理案例？

在Pandas这个强大的数据处理库中，你可以通过以下几种方式来处理缺失值、重复值： 1. 处理缺失值： - 用`isnull()`或`pd.isna()`判断是否存在缺

以你之姓@/ 2025年01月30日 07:24/ 0 赞/ 104 阅读

相关使用Pandas时：处理缺失值和重复数据的案例

在Python的Pandas库中，处理缺失值（NaN）和重复数据是常见的任务。下面是一些例子： 1. 处理缺失值： ```python import pandas as pd

太过爱你忘了你带给我的痛/ 2025年01月10日 19:12/ 0 赞/ 87 阅读

相关使用Pandas进行数据处理：处理缺失值、重复项等问题？

在Python的Pandas库中，对数据处理包括填充缺失值、删除重复项等。以下是详细的步骤： 1. **填充缺失值**： ```python import pan

心已赠人/ 2024年12月31日 05:30/ 0 赞/ 94 阅读

相关利用Pandas进行数据清洗：空值、重复项和异常值处理

在Python中，Pandas库是非常强大的工具，用于数据清洗。以下是处理空值（NaN）、重复项以及异常值的步骤： 1. **检查缺失值**： ```python impor

约定不等于承诺〃/ 2024年12月28日 16:21/ 0 赞/ 110 阅读

相关 Pandas缺失值处理

导入库 import pandas as pd import numpy as np from sklearn.preprocessing im

谁借莪１个温暖的怀抱￠/ 2023年08月17日 16:32/ 0 赞/ 250 阅读

相关 Pandas异常值处理

import pandas as pd 生成异常数据 df=pd.DataFrame({'col1':[1,120,3,5,2,12,13],

爱被打了一巴掌/ 2023年08月17日 16:32/ 0 赞/ 141 阅读

相关 Pandas重复值处理

import pandas as pd 生成数据 data1,data2,data3,data4=['a',3],['b',2],['a',3

「爱情、让人受尽委屈。」/ 2023年08月17日 16:32/ 0 赞/ 155 阅读

相关 Pandas缺失值处理

判断数据是否为NaN： pd.isnull(df), pd.notnull(df) 判断缺失值是否存在 np.all(pd.notnull(data))

绝地灬酷狼/ 2023年06月03日 02:49/ 0 赞/ 38 阅读

相关 pandas统计重复值次数

pandas统计数据项重复值次数和删除 from pandas import DataFrame df = DataFram

忘是亡心i/ 2022年05月21日 01:40/ 0 赞/ 546 阅读