比较数据帧中的每个值列和行

Question

我有两个不同大小的数据帧，我想对四个不同列中的所有值进行比较（两组）

基本上，我希望看到df1['A']==df2['A']

import pandas as pd
df1 = pd.DataFrame({"A": [1, 2, 3, 4, 3], "B": [2, 5, 4, 7, 5], "C": [1, 2, 8, 0, 0]})
df2 = pd.DataFrame({"A": [1, 3, 2, 4, 8], "B": [5, 5, 4, 9, 1], "C": [1, 3, 3, 4, 6]})


df1:
  A B C
0 1 2 1
1 2 5 2
2 3 4 8
3 4 7 0
4 3 5 0
...

df2:
  A B C
0 1 5 1
1 3 4 3
2 2 5 4
3 4 9 4
5 8 1 6
...

in: df1['A'] == df2['A'] & where df1['B'] == df2['B']
       df1['D'] = df1['C'] + df2['C'] 

out: df1:
  A B C D
0 1 2 1 nan
1 2 5 2 6
2 3 4 8 11
3 4 7 0 nan
4 3 5 0 nan

我的实际数据帧要大得多（120000行数据，A列的值从1到700，B列的值从1到300），所以我知道这可能是一个更长的过程。

Answer 1

您可以首先合并两个数据帧

In [145]: dff = pd.merge(df1, df2, on=['A', 'B'], how='left')

In [146]: dff
Out[146]:
   A  B  C_x  C_y
0  1  2    1  NaN
1  2  5    2    4
2  3  4    8    3
3  4  7    0  NaN

然后，对不存在空值的C_-{like}列进行行求和，然后用零填充NaN。

In [147]: dff['C'] = dff.filter(regex='C_').sum(skipna=False, axis=1).fillna(0)

In [148]: dff
Out[148]:
   A  B  C_x  C_y   C
0  1  2    1  NaN   0
1  2  5    2    4   6
2  3  4    8    3  11
3  4  7    0  NaN   0

并且，您可以删除/选择所需的列。

Answer 2

您可以合并列A和列B上的两个DataFrames。由于您希望保留来自df1的所有值，请对df1和df2进行左合并。在A和B不匹配的地方，来自df2的合并列C将为空。合并后，只是重命名合并后的列，做个和。

# Do a left merge, keeping df1 column names unchanged.
df1 = pd.merge(df1, df2, how='left', on=['A', 'B'], suffixes=('', '_2'))

# Add the two columns, fill locations that don't match with zero, and rename.
df1['C_2'] = df1['C_2'].add(df1['C']).fillna(0)
df1.rename(columns={'C_2': 'D'}, inplace=True)