如何像访问熊猫数据帧一样快速地访问numpy数组

Question

我对访问数据帧中的数据的几种方法进行了比较。请参阅下面的结果。最快的访问是在数据帧上使用get_value方法。在这篇文章中提到了我。

令我惊讶的是，通过get_value访问比通过底层的 numpy 对象 df.values 访问更快。

我的问题是，有没有一种方法可以像我通过< code>get_value访问熊猫数据帧一样快速地访问numpy数组的元素？

import pandas as pd
import numpy as np

df = pd.DataFrame(np.arange(16).reshape(4, 4))

%%timeit
df.iloc[2, 2]

10000个回路，最佳3:108µs/回路

%%timeit
df.values[2, 2]

最慢的运行时间是最快的5.42倍。这可能意味着正在缓存中间结果。100000个循环，每个循环最好为3:8.02µs

%%timeit
df.iat[2, 2]

最慢的运行时间是最快的4.96倍。这可能意味着正在缓存中间结果。100000个循环，每个循环最好为3:9.85µs

%%timeit
df.get_value(2, 2)

跑得最慢的人比跑得最快的人多花了19.29倍的时间。这可能意味着正在缓存中间结果。100000次循环，3次最佳:每次循环3.57秒

Answer 1

< code>iloc非常通用，接受切片和列表以及简单的整数。在上面的例子中，您有一个简单的整数索引，pandas首先确定它是一个有效的整数，然后它将请求转换成一个< code>iat索引，所以很明显它会慢很多。< code>iat最终解析为对< code>get_value的调用，因此直接调用< code>get_value自然会很快。< code>get_value本身是缓存的，所以像这样的微基准可能不能反映真实代码的性能。

df.values 确实返回一个 ndarray，但只有在检查它是单个连续块之后。这需要一些查找和测试，因此比从缓存中检索值慢一点。

我们可以通过每次创建一个新的数据帧来击败缓存。这表明值访问器最快，至少对于统一类型的数据：

In [111]: %timeit df = pd.DataFrame(np.arange(16).reshape(4, 4))
10000 loops, best of 3: 186 µs per loop

In [112]: %timeit df = pd.DataFrame(np.arange(16).reshape(4, 4)); df.values[2,2]
1000 loops, best of 3: 200 µs per loop

In [113]: %timeit df = pd.DataFrame(np.arange(16).reshape(4, 4)); df.get_value(2,2)
1000 loops, best of 3: 309 µs per loop

In [114]: %timeit df = pd.DataFrame(np.arange(16).reshape(4, 4)); df.iat[2,2]
1000 loops, best of 3: 308 µs per loop

In [115]: %timeit df = pd.DataFrame(np.arange(16).reshape(4, 4)); df.iloc[2,2]
1000 loops, best of 3: 420 µs per loop

In [116]: %timeit df = pd.DataFrame(np.arange(16).reshape(4, 4)); df.ix[2,2]
1000 loops, best of 3: 316 µs per loop

该代码声称ix是最通用的，因此理论上应该比iloc；可能您的特定测试支持ix，但其他测试可能支持iloc只是因为将索引标识为标量索引所需的测试顺序。