Python中的GroupBy函数，如SUM（col_1*col_2）、加权平均等

Question

是否可以直接计算两列的乘积（例如和），而不使用

grouped.apply(lambda x: (x.a*x.b).sum()

它的使用速度要快得多（不到我机器上的一半时间）

df['helper'] = df.a*df.b
grouped= df.groupby(something)
grouped['helper'].sum()
df.drop('helper', axis=1)

但是我真的不喜欢这样做。例如，计算每组的加权平均值是有用的。这里的λ方法是

grouped.apply(lambda x: (x.a*x.b).sum()/(df.b).sum())

这比用b.sum（）除以helper要慢得多。

Answer 1

多年后，答案通过pydata blaze得出

from blaze import *
data = Data(df)
somethings = odo(
by(data.something, 
   wm = (data.a * data.weights).sum()/data.weights.sum()),
pd.DataFrame)

Answer 2

将x.a*x.b的结果直接分组，例如：

from pandas import *
from numpy.random import randn
df = DataFrame({'A' : ['foo', 'bar', 'foo', 'bar',
               'foo', 'bar', 'foo', 'foo'],
        'B' : ['one', 'one', 'two', 'three',
               'two', 'two', 'one', 'three'],
        'C' : randn(8), 'D' : randn(8)})

print (df.C*df.D).groupby(df.A).sum()

Answer 3

我希望最终构建一个嵌入式数组表达式计算器（Numexpr on steroids）来完成类似的工作。现在我们正在研究Python的局限性——如果您实现了一个Cython聚合器来执行（x*y）。sum（）然后它可以与groupby连接，但理想情况下，您可以将Python表达式作为函数编写：

def weight_sum(x, y):
    return (x * y).sum()

这将得到“JIT编译”，速度大约与groupby（…）一样快。sum（）。我所描述的是一个相当重要（几个月）的项目。如果有一个BSD兼容的APL实现，我可能能够更快地完成上面的工作（只是大声地思考一下）。