在Python中使用pd.merge_asof时如何防止数据被回收

Question

我希望加入两个数据帧使用pd.merge_asof功能。此功能允许我匹配唯一id和/或最近的密钥上的数据。在本例中，我正在匹配id以及小于或等于df1中的日期的最近日期。

有没有办法防止加入时df2的数据被回收？

这是我目前拥有的代码，用于回收df2中的值。

import pandas as pd
import datetime as dt

df1 = pd.DataFrame({'date': [dt.datetime(2020, 1, 2), dt.datetime(2020, 2, 2), dt.datetime(2020, 3, 2)],
                    'id': ['a', 'a', 'a']})

df2 = pd.DataFrame({'date': [dt.datetime(2020, 1, 1)],
                    'id': ['a'],
                    'value': ['1']})

pd.merge_asof(df1,
              df2,
              on='date',
              by='id',
              direction='backward',
              allow_exact_matches=True)

这是我希望看到的输出，而不是只有第一次匹配成功的地方

Answer 1

如果合并方向为向后，则可以在合并后对重复的id和df2的date执行掩码操作：

out = pd.merge_asof(df1,
              df2.rename(columns={'date':'date1'}),    # rename df2's date
              left_on='date',
              right_on='date1',                        # so we can work on it later
              by='id',
              direction='backward',
              allow_exact_matches=True)

# mask the value
out['value'] = out['value'].mask(out.duplicated(['id','date1']))
# equivalently
# out.loc[out.duplicated(['id', 'date1']), 'value'] = np.nan

输出：

        date id      date1 value
0 2020-01-02  a 2020-01-01     1
1 2020-02-02  a 2020-01-01   NaN
2 2020-03-02  a 2020-01-01   NaN