熊猫合并具有不同列的两个数据帧

Question

我肯定错过了一些简单的东西。尝试合并熊猫中的两个数据帧，它们的列名基本相同，但右边的数据帧有一些左边没有的列，反之亦然。

>df_may

  id  quantity  attr_1  attr_2
0  1        20       0       1
1  2        23       1       1
2  3        19       1       1
3  4        19       0       0

>df_jun

  id  quantity  attr_1  attr_3
0  5         8       1       0
1  6        13       0       1
2  7        20       1       1
3  8        25       1       1

我已尝试使用外部联接进行联接：

mayjundf = pd.DataFrame.merge(df_may, df_jun, how="outer")

但这会产生：

Left data columns not unique: Index([....

我还指定了一个要连接的列（例如，on="id"），但这会重复所有列，除了"id"，如attr_1_x、attr_1_y，这并不理想。我还传递了整个列列表（有很多）到on：

mayjundf = pd.DataFrame.merge(df_may, df_jun, how="outer", on=list(df_may.columns.values))

其产生：

ValueError: Buffer has wrong number of dimensions (expected 1, got 2)

我错过了什么？我想得到一个附加了所有行的df，并且在可能的情况下填充attr_1、attr_2、attr_3，在它们不显示的地方填充NaN。这似乎是一个非常典型的数据搜索工作流，但我被卡住了。

提前感谢。

Answer 1

我今天在使用concat、append或merge时遇到了这个问题，我通过添加一个按顺序编号的helper列，然后进行外部联接来解决这个问题

helper=1
for i in df1.index:
    df1.loc[i,'helper']=helper
    helper=helper+1
for i in df2.index:
    df2.loc[i,'helper']=helper
    helper=helper+1
df1.merge(df2,on='helper',how='outer')

Answer 2

我认为在这种情况下，concat就是您想要的：

In [12]:

pd.concat([df,df1], axis=0, ignore_index=True)
Out[12]:
   attr_1  attr_2  attr_3  id  quantity
0       0       1     NaN   1        20
1       1       1     NaN   2        23
2       1       1     NaN   3        19
3       0       0     NaN   4        19
4       1     NaN       0   5         8
5       0     NaN       1   6        13
6       1     NaN       1   7        20
7       1     NaN       1   8        25

通过在这里传递ax=0，您将df堆叠在一起，我相信这就是您想要的，然后在它们各自的dfs中不存在的地方产生NaN值。