pandas迭代行有性能问题吗？

Question

我注意到使用来自Pandas的迭代行时性能非常差。

这是别人经历过的事情吗？它是特定于迭代行的吗？对于一定大小的数据（我正在处理200万-300万行），是否应该避免使用这个函数？

GitHub上的讨论使我相信它是在数据帧中混合dtype时引起的，然而下面的简单示例显示，即使使用一个dtype(float64)时也会出现这种情况。这在我的计算机上需要36秒：

import pandas as pd
import numpy as np
import time

s1 = np.random.randn(2000000)
s2 = np.random.randn(2000000)
dfa = pd.DataFrame({'s1': s1, 's2': s2})

start = time.time()
i=0
for rowindex, row in dfa.iterrows():
    i+=1
end = time.time()
print end - start

为什么像apply这样的矢量化操作要快得多？我想一定会有一些逐行迭代在那里进行。

我不知道在我的例子中如何不使用迭代（我将为以后的问题保留这个）。因此，如果您一直能够避免这种迭代，我将不胜感激。我正在根据不同的数据流中的数据进行计算。谢谢你！

---编辑：下面添加了我要运行的内容的简化版本---

import pandas as pd
import numpy as np

#%% Create the original tables
t1 = {'letter':['a','b'],
      'number1':[50,-10]}

t2 = {'letter':['a','a','b','b'],
      'number2':[0.2,0.5,0.1,0.4]}

table1 = pd.DataFrame(t1)
table2 = pd.DataFrame(t2)

#%% Create the body of the new table
table3 = pd.DataFrame(np.nan, columns=['letter','number2'], index=[0])

#%% Iterate through filtering relevant data, optimizing, returning info
for row_index, row in table1.iterrows():   
    t2info = table2[table2.letter == row['letter']].reset_index()
    table3.ix[row_index,] = optimize(t2info,row['number1'])

#%% Define optimization
def optimize(t2info, t1info):
    calculation = []
    for index, r in t2info.iterrows():
        calculation.append(r['number2']*t1info)
    maxrow = calculation.index(max(calculation))
    return t2info.ix[maxrow]

Answer 1

通常，iterrows应该只在非常非常特定的情况下使用。这是执行各种操作的一般优先顺序：

1) vectorization
2) using a custom cython routine
3) apply
    a) reductions that can be performed in cython
    b) iteration in python space
4) itertuples
5) iterrows
6) updating an empty frame (e.g. using loc one-row-at-a-time)

使用自定义Cython例程通常过于复杂，所以我们现在跳过它。

1）矢量化永远是第一和最好的选择。然而，有一小部分情况（通常涉及一个复发）不能用明显的方法矢量化。此外，在一个较小的dataframe上，使用其他方法可能更快。

4)itertuples不将数据装箱到series中，它只是以元组的形式返回数据。

5)iterrows确实将数据装箱到series中。除非您确实需要这样做，请使用其他方法。

6）一次单行更新空帧。我见过这种方法用得太多了。它是最慢的。它可能是常见的地方（对于某些python结构来说相当快），但是DataFrame会对索引进行相当多的检查，所以每次更新一行总是很慢。创建新结构和Concat要好得多。