避免数据帧concat/merge/join中的重复数据

Question

我试图Conconat 2 DataFrames，但. Join正在创建一个不需要的副本。

df_ask:

timestamp      price      volume
1520259290     10.5       100
1520259275     10.6       2000
1520259275     10.55      200

df_bid:
timestamp      price      volume
1520259290     10.25      500
1520259280     10.2       300
1520259275     10.1       400

我试过：

depth = pd.concat([df_ask,df_bid], axis=1, keys=['Ask Orders','Bid Orders'])

但这返回了一个我理解的错误（“concat未能重新索引，仅对唯一值的索引对象有效”）

我试着：

 df_ask.join(df_bid, how='outer', lsuffix='_ask', rsuffix='_bid')

它没有给出错误，但给出以下数据帧：

timestamp      price_ask   volume_bid   price_bid   volume_bid
1520259290     10.5         100          10.25       500
1520259280      NaN         NaN          10.2        300
1520259275     10.6         2000         10.1        400
1520259275     10.55        200          10.1        400

我的问题是重复的10.1和400在时间戳1520259275。它们不在原始df_bid数据框中两次，应该只在这个df中出现一次。有两行相同的时间戳是正确的，因为此时有两个询问行，但是应该只有一个投标信息行与此时间戳相关联。另一个应该是NaN。

ie我要找的是：

timestamp      price_ask   volume_bid   price_bid   volume_bid
1520259290     10.5         100          10.25       500
1520259280      NaN         NaN          10.2        300
1520259275     10.6         2000         10.1        400
1520259275     10.55        200           NaN        NaN

我已经浏览了merge/join/concat文档和这个问题，但是我找不到我想要的。提前谢谢

Answer 1

您隐式地假设索引的第一个实例应该与索引的另一个第一个实例对齐。在这种情况下，使用Groupbycaquit来建立每个唯一索引的排序。

df_ask = df_ask.set_index(df_ask.groupby('timestamp').cumcount(), append=True)
df_bid = df_bid.set_index(df_bid.groupby('timestamp').cumcount(), append=True)

df_ask.join(df_bid, how='outer', lsuffix='_ask', rsuffix='_bid')

              price_ask  volume_ask  price_bid  volume_bid
timestamp                                                 
1520259275 0      10.60      2000.0      10.10       400.0
           1      10.55       200.0        NaN         NaN
1520259280 0        NaN         NaN      10.20       300.0
1520259290 0      10.50       100.0      10.25       500.0