使用Pandas时每组最近条件行的差异

Question

我有一个这样的数据帧（示例）：

import pandas as pd

data = [['A', '2022-09-01', False, 2], ['A', '2022-09-02', False, 3], ['A', '2022-09-03', True, 1],
        ['A', '2022-09-05', False, 4], ['A', '2022-09-08', True, 4], ['A', '2022-09-09', False, 2],
        ['B', '2022-09-03', False, 4], ['B', '2022-09-05', True, 5], ['B', '2022-09-06', False, 7],
        ['B', '2022-09-09', True, 4], ['B', '2022-09-10', False, 2], ['B', '2022-09-11', False, 3]]
df = pd.DataFrame(data = data, columns = ['group', 'date', 'indicator', 'val'])

   group        date  indicator  val
0      A  2022-09-01      False    2
1      A  2022-09-02      False    3
2      A  2022-09-03       True    1
3      A  2022-09-05      False    4
4      A  2022-09-08       True    4
5      A  2022-09-09      False    2
6      B  2022-09-03      False    4
7      B  2022-09-05       True    5
8      B  2022-09-06      False    7
9      B  2022-09-09       True    4
10     B  2022-09-10      False    2
11     B  2022-09-11      False    3

我想创建一个名为 Diff 的列，它显示行与其最接近（取决于日期）的条件行（指标 == True）的差异，其中条件行每组的值为 0。以下是所需的输出：

data = [['A', '2022-09-01', False, 2, 1], ['A', '2022-09-02', False, 3, 2], ['A', '2022-09-03', True, 1, 0],
        ['A', '2022-09-05', False, 4, 3], ['A', '2022-09-08', True, 4, 0], ['A', '2022-09-09', False, 2, -2],
        ['B', '2022-09-03', False, 4, -1], ['B', '2022-09-05', True, 5, 0], ['B', '2022-09-06', False, 7, 2],
        ['B', '2022-09-09', True, 4, 0], ['B', '2022-09-10', False, 2, -2], ['B', '2022-09-11', False, 3, -1]]
df_desired = pd.DataFrame(data = data, columns = ['group', 'date', 'indicator', 'val', 'Diff'])

   group        date  indicator  val  Diff
0      A  2022-09-01      False    2     1
1      A  2022-09-02      False    3     2
2      A  2022-09-03       True    1     0
3      A  2022-09-05      False    4     3
4      A  2022-09-08       True    4     0
5      A  2022-09-09      False    2    -2
6      B  2022-09-03      False    4    -1
7      B  2022-09-05       True    5     0
8      B  2022-09-06      False    7     2
9      B  2022-09-09       True    4     0
10     B  2022-09-10      False    2    -2
11     B  2022-09-11      False    3    -1

如您所见，它分别返回差值，最接近的指标 == 每组 True 行，其中条件行的 Diff 为 0。所以我想知道是否有人知道必须使用熊猫获得所需的结果？

额外信息列Diff：

我们以A组为例。列< code>Diff由相对于指示器为True的最近的行的差来计算。比如说:

• 第1行相对于第3行是2-1=1（基于日期的最接近True行）
• 第2行相对于第3行为3-1=2。
• 第4行相对于第3行为4-1=3。
• 第6行相对于第5行为2-4=-2（基于日期，最接近True行）
• Diff中为True的行的值为0，因为所有内容都是针对这些行计算的

Answer 1

IIUC使用< code>merge_asof，通过< code>indicator过滤行，并减去< code>val列:

df['date'] = pd.to_datetime(df['date'] )

df = df.sort_values('date')

df['Diff'] = df['val'].sub(pd.merge_asof(df, 
              df[df['indicator']], on='date', by='group', direction='nearest')['val_y'])
df = df.sort_index()