Python：预加载内存

Question

我有一个python程序，其中我需要加载和反序列化一个1GB的pickle文件。它需要一个良好的20秒，我想有一个机制，使腌菜的内容是随时可用的使用。我看过shared_memory，但是所有使用它的例子似乎都涉及到numpy，而我的项目没有使用numpy。使用shared_memory或其他方式实现此目标的最简单、最干净的方法是什么？

这就是我现在（每次运行时）加载数据的方式：

def load_pickle(pickle_name):
  return pickle.load(open(DATA_ROOT + pickle_name, 'rb'))

我一直在使用importlib.reload，但对于一个包含许多文件的大型Python程序来说，它似乎不太好用：

def main():
  data_manager.load_data()
  run_simulation()
  while True:
    try:
       importlib.reload(simulation)
       run_simulation()
    except:
       print(traceback.format_exc())
       print('Press enter to re-run main.py, CTRL-C to exit')
       sys.stdin.readline()

Answer 1

这可能是一个XY问题，其来源是假设你必须使用泡菜；由于它们管理依赖关系的方式，它们很难处理，因此对于任何长期数据存储来说，它们基本上都是一个糟糕的选择

原始财务数据几乎肯定是以某种表格形式开始的，因此可以以更友好的格式请求它

同时使用一个简单的中间件来反序列化和保留序列化pickles将平滑过渡

intput -> load pickle -> write -> output

将您的工作流转换为使用Parquet或Feather（它们被设计为能够高效地读写），几乎肯定会对您的加载速度产生相当大的影响

进一步相关链接

• https://stackoverflow.com/A/33570065/4541045)
• 拼花版式与其他版式相比有什么利弊？

您也可以使用hickle来实现这一点，它将内部使用HDH5格式，理想情况下使其比pickle快得多，同时仍然表现得像一个HDH5格式