在Python Pandas中删除多个列中的所有重复行

Question

熊猫drop_duplicates函数非常适合统一数据帧。但是，要传递的关键字参数之一是take_last=True或take_last=False，而我希望删除列子集中所有重复的行。这有可能吗？

    A   B   C
0   foo 0   A
1   foo 1   A
2   foo 1   B
3   bar 1   A

例如，我想删除与列A和C匹配的行，因此这应该删除行0和1。

Answer 1

如果希望结果存储在另一个数据集中：

df.drop_duplicates(keep=False)

或

df.drop_duplicates(keep=False, inplace=False)

如果需要更新相同的数据集：

df.drop_duplicates(keep=False, inplace=True)

以上示例将删除所有重复并保留一个，类似于SQL中的DISTINCT*

Answer 2

我只想在Ben关于drop_duplicates的回答中添加以下内容：

保留：{'first'，'last'，False}，默认值为'first'

>

第一：除去第一次出现的重复项。

最后：删除除最后一次出现之外的重复项。

False：删除所有重复项。

因此，将保持设置为False将为您提供所需的答案。

DataFrame.drop_duplicates（*args，**kwargs）返回删除重复行的DataFrame，可以选择仅考虑某些列

参数：子集：列标签或标签序列，可选地只考虑某些列来标识重复，默认情况下使用所有列保持：{“第一”、“最后”、“false }”、“默认”第一个：删除第一次出现时的重复。最后：删除除最后一次出现之外的重复项。False：删除所有重复项。take_last:deprecated in place:boolean，默认为False是就地删除重复项还是返回副本cols:kwargs only subset[deprecated]的参数返回：已删除重复项：DataFrame

Answer 3

现在，使用drop_duplicates和keep参数，在pandas中，这要容易得多。

import pandas as pd
df = pd.DataFrame({"A":["foo", "foo", "foo", "bar"], "B":[0,1,1,1], "C":["A","A","B","A"]})
df.drop_duplicates(subset=['A', 'C'], keep=False)