为什么np.where比pd.apply快

Question

示例代码在这里

import pandas as pd
import numpy as np

df = pd.DataFrame({'Customer' : ['Bob', 'Ken', 'Steve', 'Joe'],
                   'Spending' : [130,22,313,46]})

#[400000 rows x 4 columns]
df = pd.concat([df]*100000).reset_index(drop=True)

In [129]: %timeit df['Grade']= np.where(df['Spending'] > 100 ,'A','B')
10 loops, best of 3: 21.6 ms per loop

In [130]: %timeit df['grade'] = df.apply(lambda row: 'A' if row['Spending'] > 100 else 'B', axis = 1)
1 loop, best of 3: 7.08 s per loop

Answer 1

我认为np.where速度更快，因为使用numpy array矢量化方式和熊猫构建在此数组上。

df.apply慢，因为它使用loops。

vectorize操作是最快的，cython routines然后是apply。

请参阅此答案，并更好地解释pandas开发人员Jeff。