删除重复项而不删除重复项

Question

请注意，在转向您之前，我已经浏览了各种帖子。事实上，我尝试实现中提供的解决方案：基于“notin”条件从数据帧中删除行

我的问题如下。让我们假设我有一个巨大的数据帧，我想删除重复的数据帧。我很清楚我可以使用drop_duplicates，因为这是最快的最简单的方法。然而，我们的老师希望我们创建一个包含重复项ID的列表，然后根据这些值是否包含在上述列表中删除它们。

#My list
list1 = ['s1' , 's2']
print(len(list1))
#My dataframe
data1 = pd.DataFrame(data={'id':['s1' , 's2', 's3', 's4', 's5' , 's6']})
print(len(data1))
#Remove all the rows that hold a value contained in list1 matched against the 'id' column
data2 = data1[~data1.id.isin(list1)]
print(len(data2))

现在，让我们看看输出：

Len list1 = 135
Len data1 = 8942
Len data2 = 8672

因此，我得出结论，我的代码以某种方式将要删除的行加倍并删除它们。

然而，当我遵循drop_duplicates方法时，我的代码工作正常，删除了135行。

你们谁能帮我理解为什么会这样？我尽量简化这个问题。

谢谢！

Answer 1

这是一种非常痛苦的方式来完成你的要求。也许有人会看到这一点，并做出一个不那么痛苦的方式。我特别远离groupby（'id'）。first（）作为删除重复项的方法，因为您提到需要首先创建重复项列表。但这将是我下一个最好的建议。

不管怎样，我在你的例子中添加了s1和s2的副本

df = pd.DataFrame(data={'id':['s1' , 's2', 's3', 's4', 's5' , 's6', 's1' , 's2', 's2']})

查找具有多个条目的ID（假设重复）。在这里，我确实使用Groupby来获取计数并保留它们

dup_list = df[df.groupby('id')['id'].transform('count') > 1]['id'].unique().tolist()
print(dup_list)

['s1', 's2']

然后遍历列表，找到重复的索引，并删除除第一个以外的所有索引

for id in dup_list:
    # print(df[df['id']==id].index[1:].to_list())
    drp = df[df['id']==id].index[1:].to_list()
    df.drop(drp, inplace=True)
df

   id
0  s1
1  s2
2  s3
3  s4
4  s5
5  s6

指数6和7下降