如果我有足够的RAM，如何加快去掉大型物体的速度？

Question

使用cPickle读取一个1 GB的NetworkX图形数据结构花了我一个小时的时间（将它作为二进制pickle文件存储在磁盘上时为1 GB）。

请注意，文件会快速加载到内存中。换句话说，如果我运行：

import cPickle as pickle

f = open("bigNetworkXGraph.pickle","rb")
binary_data = f.read() # This part doesn't take long
graph = pickle.loads(binary_data) # This takes ages

如何加快上一个操作的速度？

请注意，我已经尝试使用两种二进制协议（1和2）对数据进行腌制，并且似乎对使用哪种协议并没有太大的影响。还要注意，尽管我在上面使用“ loads”（意思是“
load string”）功能，但它正在加载二进制数据，而不是ascii-data。

我正在使用的系统上有128gb的RAM，所以我希望有人能告诉我如何增加在pickle实现中埋藏的读取缓冲区。

Answer 1

您可能受制于Python对象创建/分配的开销，而不是解包本身。如果是这样，除了不创建所有对象外，您几乎无能为力。您一次需要整个结构吗？如果不是，则可以使用数据结构的惰性填充（例如：通过腌制的字符串表示结构的各个部分，然后仅在访问它们时对其进行修补）。