如何使用Pandas存储数据帧

Question

现在，每次运行脚本时，我都会导入一个相当大的csv作为数据帧。有没有一个好的解决方案可以让数据帧在运行之间不断可用，这样我就不用花那么多时间等待脚本运行了？

Answer 1

最简单的方法是使用to_pickle对其进行处理：

df.to_pickle(file_name)  # where to save it, usually as a .pkl

然后您可以使用以下方法将其加载回去：

df = pd.read_pickle(file_name)

注意：在0.11.1之前，save和load是执行此操作的唯一方法（现在，它们被弃用，而分别支持to_pickle和read_pickle)。

import pandas as pd
store = pd.HDFStore('store.h5')

store['df'] = df  # save it
store['df']  # load it

更高级的策略将在食谱中讨论。

从0.13开始，还有msgpack可以更好地实现互操作性，作为JSON的更快的替代方案，或者如果您有python对象/文本重的数据（请参见本问题）。