使用大型Numpy阵列的技术？

Question

有时，您必须对一个或多个大型Numpy阵列执行许多中间操作。这会很快导致MemoryErrors。在我到目前为止的研究中，U发现酸洗（Pickle，CPickle，Pytables等）gc.collect()是缓解此问题的方法。我想知道经验丰富的程序员在处理大量数据时是否还会使用其他任何技术（当然，除了消除策略/代码中的冗余之外）。

另外，如果我确定有一件事，那就是没有免费的东西。使用其中一些技术，需要进行哪些权衡（例如，速度，鲁棒性等）？

Answer 1

我感到很痛苦…您有时最终会在数组值中存储几倍的大小，然后将其丢弃。一次处理数组中的一项时，这无关紧要，但是在向量化时可能会杀死您。

我将使用工作示例进行说明。我最近使用numpy对此处描述的算法进行了编码。这是一种颜色映射算法，它获取RGB图像并将其转换为CMYK图像。对于每个像素重复此过程，如下所示：

1. 使用每个RGB值的最高4位作为三维查找表的索引。这将确定LUT中多维数据集的8个顶点的CMYK值。
2. 根据上一步的顶点值，使用每个RGB值的最低有效4位在该多维数据集中进行插值。最有效的方法是计算16个uint8数组，其大小为要处理图像的大小。对于24位RGB图像，相当于需要存储x6倍的图像来进行处理。

您可以执行以下几项操作：

1.分而治之

也许您不能单次处理1,000x1,000的数组。但是，如果您可以使用python循环遍历10个100x1,000的数组来完成此操作，那么它仍然可以远远超过1,000,000个项目的python迭代器！是的，它会比较慢，但是不会那么快。

2.缓存昂贵的计算

这与我上面的插值示例直接相关，尽管值得关注，但很难理解。因为我要在每个维度上具有4位的三维多维数据集上进行插值，所以只有16x16x16的可能结果，可以将结果存储在16个16x16x16字节的数组中。因此，我可以对其进行预计算并使用64KB的内存进行存储，然后针对整个图像逐一查找这些值，而不用为每个像素重做相同的操作而付出巨大的内存成本。对于小至64x64像素的图像，这已经是值得的，并且基本上可以处理像素数x
6倍的图像，而不必细分数组。

3.dtypes明智地使用

如果您的中间值可以放在一个中uint8，请不要使用int32s数组！由于无提示的溢出，这可能会变成神秘错误的噩梦，但是如果您小心一点，它可以节省大量资源。