熊猫。将重复行拖放到另一个数据帧[重复]

Question

下面是数据示例：

import pandas as pd
df = pd.DataFrame({
    'file': ['file1','file2','file1','file2','file3','file3','file4','file5','file4','file5'],
    'prop1': ['True','False','True','False','False','False','False','True','False','False'],
    'prop2': ['False','False','False','False','True','False','True','False','True','False'],
    'prop3': ['False','True','False','True','False','True','False','False','False','True']
})

file    prop1   prop2   prop3
0   file1   True    False   False
1   file2   False   False   True
2   file1   True    False   False
3   file2   False   False   True
4   file3   False   True    False
5   file3   False   False   True
6   file4   False   True    False
7   file5   True    False   False
8   file4   False   True    False
9   file5   False   False   True

我需要将具有相同道具值的重复行删除到另一个数据框，并将它们从原始文件中删除。
所以另一个数据框应该是这样的（重复的行不应该重复）：

file    prop1   prop2   prop3
0   file1   True    False   False
3   file2   False   False   True
8   file4   False   True    False

df=df.drop_duplicates（）删除一个重复的行，但不是像这样的第二个：

    file    prop1   prop2   prop3
0   file1   True    False   False
1   file2   False   False   True
4   file3   False   True    False
5   file3   False   False   True
6   file4   False   True    False
7   file5   True    False   False
9   file5   False   False   True

Answer 1

使用DataFrame.drop_duplicates通过选择-所有没有第一个的列来指定列名称：

df = df.drop_duplicates(df.columns[1:])

或在列名称中选择带有prop的列：

df = df.drop_duplicates(df.filter(like='prop').columns)

print (df)
    file  prop1  prop2  prop3
0  file1   True  False  False
1  file2  False  False   True
4  file3  False   True  False

Answer 2

uniques = df.drop_duplicates()
duplicates = df.iloc[list(set(df.index) - set(uniques.index))]

您可以首先使用熊猫方法drop_duplicates（）来创建一个只有唯一行的数据帧。然后，您可以比较原始数据帧的索引和框架中具有唯一行的索引，删除的索引是重复行，您可以从原始数据帧中再次复制这些行，以便现在将您的唯一行和重复行分开。