如何在熊猫数据框中找到重复数据？[重复]

Question

我的任务是突出显示熊猫数据框中的所有电子邮件副本。是否有一个函数用于此操作，或者有一种方法可以删除所有非重复项，从而为我留下一个很好的列表，列出数据集中的所有重复项？

该表由六列组成：

Email, FirstName, LastName, C_ID, A_ID, CreatedDate
[e-mail], Bill, Schneider, 123, 321, 20190502
[e-mail], Damian, Schneider, 124, 231, 20190502
[e-mail], Bill, Schneider, 164, 313, 20190503

我想摆脱最后一列，因为最后一封邮件不是重复的。

Answer 1

您可以使用value\u计数

这将为您提供每封电子邮件的计数（作为一个系列）。然后遍历该系列并删除仅包含1个值的任何行。

完整代码如下：

for index, value in df.Email.value_counts().iteritems(): 
    if value == 1: 
        df = df[df.Email != index] 

更新我不知道复制，直到指出，所以看起来最好的方法是：

df[df.Email.duplicated(keep=False)] 

Answer 2

df = pd.DataFrame(table, columns = ['Email'])

df_duplicates_removed = pd.DataFrame.drop_duplicates(df)

（其中table是原始数据帧的名称）。

Answer 3

类似这样的解决方案可能就是您正在寻找的解决方案：

import pandas as pd
series = [
    ('[e-mail]','Bill', 'Schneider', 123, 321, 20190502),
    ('[e-mail]', 'Damian', 'Schneider', 124, 231, 20190502),
    ('[e-mail]', 'Bill', 'Schneider',164, 313, 20190503)
    ]

# Create a DataFrame object
df = pd.DataFrame(series, columns=['email', 'first name', 'last name', 'C_ID', 'A_ID', 'CreatedDate'])

# Find duplicate rows
df_duplicates = df[df.email.duplicated()]
print(df_duplicates)