熊猫DataFrame性能

Question

Pandas确实很棒，但令我惊讶的是，从Pandas.DataFrame检索值的效率低下。在下面的玩具示例中，即使DataFrame.iloc方法也比字典慢100倍以上。

问题：这里的教训仅仅是字典是查找价值的更好方法吗？是的，我知道那正是他们的目的。但是我只是想知道是否缺少有关DataFrame查找性能的信息。

我意识到这个问题比“提问”更“有趣”，但是我会接受一个提供洞察力或观点的答案。谢谢。

import timeit

setup = '''
import numpy, pandas
df = pandas.DataFrame(numpy.zeros(shape=[10, 10]))
dictionary = df.to_dict()
'''

f = ['value = dictionary[5][5]', 'value = df.loc[5, 5]', 'value = df.iloc[5, 5]']

for func in f:
    print func
    print min(timeit.Timer(func, setup).repeat(3, 100000))

值=字典[5] [5]

0.130625009537

值= df.loc [5，5]

19.4681699276

值= df.iloc [5，5]

17.2575249672

Answer 1

字典对于DataFrame的要求就像自行车对汽车的要求一样。您可以比骑车快10英尺，比起启动汽车，使齿轮换挡等更快速。但是，如果您需要走一英里，汽车就可以胜出。

对于某些小的目标目标，命令可能会更快。如果这就是您所需要的，那么请确定使用dict！但是，如果您需要/想要DataFrame的强大功能，那么dict是无可替代的。如果数据结构首先不能满足您的需求，那么比较速度是没有意义的。

现在，例如-更具体地讲-一个dict对于访问列是很好的，但是对访问行却不是那么方便。

import timeit

setup = '''
import numpy, pandas
df = pandas.DataFrame(numpy.zeros(shape=[10, 1000]))
dictionary = df.to_dict()
'''

# f = ['value = dictionary[5][5]', 'value = df.loc[5, 5]', 'value = df.iloc[5, 5]']
f = ['value = [val[5] for col,val in dictionary.items()]', 'value = df.loc[5]', 'value = df.iloc[5]']

for func in f:
    print(func)
    print(min(timeit.Timer(func, setup).repeat(3, 100000)))

产量

value = [val[5] for col,val in dictionary.iteritems()]
25.5416321754
value = df.loc[5]
5.68071913719
value = df.iloc[5]
4.56006002426

因此，列表的dict检索行的速度比慢5倍df.iloc。随着列数的增加，速度不足会变得更大。（列数就像自行车比喻中的脚数。距离越长，汽车就越方便…）

这只是列表的字典不如DataFrame方便/慢的一个例子。

另一个示例是当您为各行设置了DatetimeIndex并希望选择某些日期之间的所有行时。有了DataFrame，您可以使用

df.loc['2000-1-1':'2000-3-31']

如果要使用列表字典，则没有简单的模拟方法。与DataFrame相比，您需要用于选择正确行的Python循环将再次非常慢。