计算数据帧组内的差异

Question

假设我有一个包含3列的数据框：日期，股票行情，值（无索引，至少从此开始）。我有很多约会，很多股票，但是每个(ticker,date)元组都是唯一的。（但是很显然，同一日期将显示在多行中，因为它将在多个行情中出现，而同一行情显示将在多行中显示，因为它将存在许多日期。）

最初，我的行以特定顺序排列，但没有按任何列进行排序。

我想计算每个股票报价的第一个差异（每日变化）（按日期排序），并将其放在数据框中的新列中。在这种情况下，我 不能 简单地做

df['diffs'] = df['value'].diff()

因为相邻的行不是来自同一行情自动收录器。排序如下：

df = df.sort(['ticker', 'date'])
df['diffs'] = df['value'].diff()

不
解决这个问题，因为将有“边界”。即在该排序之后，一个股票行情的最后一个值将高于下一个股票行情的第一个值。然后，计算差异将需要两个代码之间的差异。我不要这个
我希望每个股票的最早日期NaN在其diff列中结束。

这似乎是一个明显的使用时间，groupby但是由于某种原因，我似乎无法使其正常工作。明确地说，我想执行以下过程：

1. 根据行对行进行分组 ticker
2. 在每个组中，按行对行进行排序 date
3. 在每个已排序的组中，计算value列的差异
4. 将这些差异放入新diffs列中的原始数据帧中（最好保持原始数据帧顺序不变）。

我必须想象这是单线的。但是我想念什么？

在2013-12-17 9:00 pm编辑

好吧…有些进步。我可以执行以下操作以获取新的数据框：

result = df.set_index(['ticker', 'date'])\
    .groupby(level='ticker')\
    .transform(lambda x: x.sort_index().diff())\
    .reset_index()

但是，如果我了解groupby的机制，ticker那么现在我的行​​将首先按排序，然后按排序date。那是对的吗？如果是这样，我是否需要进行合并以将差分列追加到当前result['current']的原始数据帧中df？

Answer 1

做您自己描述的事情并不容易，即

df.sort(['ticker', 'date'], inplace=True)
df['diffs'] = df['value'].diff()

然后校正边界：

mask = df.ticker != df.ticker.shift(1)
df['diffs'][mask] = np.nan

维护您可能会idx = df.index在开始时执行的原始索引，然后在结束时可以执行df.reindex(idx)，或者如果它是一个巨大的数据帧，请在

df.filter(['ticker', 'date', 'value'])

然后join是最后两个数据框。

编辑 ：或者，（尽管仍然不使用groupby）

df.set_index(['ticker','date'], inplace=True)
df.sort_index(inplace=True)
df['diffs'] = np.nan

for idx in df.index.levels[0]:
    df.diffs[idx] = df.value[idx].diff()

对于

   date ticker  value
0    63      C   1.65
1    88      C  -1.93
2    22      C  -1.29
3    76      A  -0.79
4    72      B  -1.24
5    34      A  -0.23
6    92      B   2.43
7    22      A   0.55
8    32      A  -2.50
9    59      B  -1.01

这将产生：

             value  diffs
ticker date              
A      22     0.55    NaN
       32    -2.50  -3.05
       34    -0.23   2.27
       76    -0.79  -0.56
B      59    -1.01    NaN
       72    -1.24  -0.23
       92     2.43   3.67
C      22    -1.29    NaN
       63     1.65   2.94
       88    -1.93  -3.58