PANDAS中类似SQL的窗口函数：Python Pandas Dataframe中的行编号

Question

我来自sql背景，并且经常使用以下数据处理步骤：

1. 按一个或多个字段对数据表进行分区
2. 对于每个分区，在其每一行中添加一个行号，以行的一个或多个其他字段对行进行排名，分析人员在其中指定升序或降序

例如：

df = pd.DataFrame({'key1' : ['a','a','a','b','a'],
           'data1' : [1,2,2,3,3],
           'data2' : [1,10,2,3,30]})
df
     data1        data2     key1    
0    1            1         a           
1    2            10        a        
2    2            2         a       
3    3            3         b       
4    3            30        a

我正在寻找如何执行相当于此sql窗口函数的PANDAS：

RN = ROW_NUMBER() OVER (PARTITION BY Key1 ORDER BY Data1 ASC, Data2 DESC)


    data1        data2     key1    RN
0    1            1         a       1    
1    2            10        a       2 
2    2            2         a       3
3    3            3         b       1
4    3            30        a       4

我尝试了以下在没有“分区”的情况下必须工作的方法：

def row_number(frame,orderby_columns, orderby_direction,name):
    frame.sort_index(by = orderby_columns, ascending = orderby_direction, inplace = True)
    frame[name] = list(xrange(len(frame.index)))

我试图将这个想法扩展到可以使用分区（熊猫中的组），但是以下操作不起作用：

df1 = df.groupby('key1').apply(lambda t: t.sort_index(by=['data1', 'data2'], ascending=[True, False], inplace = True)).reset_index()

def nf(x):
    x['rn'] = list(xrange(len(x.index)))

df1['rn1'] = df1.groupby('key1').apply(nf)

但是当我这样做时，我得到了很多NaN。

理想情况下，有一种简洁的方法可以复制sql的窗口函数功能（我已经弄清楚了基于窗口的聚合……这是熊猫的一个内衬）……有人可以和我分享最惯用的方法吗？在PANDAS中编号这样的行？

Answer 1

您可以通过groupby与rank方法一起使用两次来做到这一点：

In [11]: g = df.groupby('key1')

使用min方法参数为共享相同RN的相同数据的值赋值：

In [12]: g['data1'].rank(method='min')
Out[12]:
0    1
1    2
2    2
3    1
4    4
dtype: float64

In [13]: df['RN'] = g['data1'].rank(method='min')

然后对这些结果进行分组，并添加关于data2的排名：

In [14]: g1 = df.groupby(['key1', 'RN'])

In [15]: g1['data2'].rank(ascending=False) - 1
Out[15]:
0    0
1    0
2    1
3    0
4    0
dtype: float64

In [16]: df['RN'] += g1['data2'].rank(ascending=False) - 1

In [17]: df
Out[17]:
   data1  data2 key1  RN
0      1      1    a   1
1      2     10    a   2
2      2      2    a   3
3      3      3    b   1
4      3     30    a   4

感觉应该有一种本机的方法可以做到这一点（可能有！！）。