如何可逆地将Pandas dataframe存储到/从磁盘加载

Question

现在，每次运行脚本时，我都会导入一个相当大的CSV作为数据文件。是否有一个很好的解决方案来保持dataframe在运行之间始终可用，这样我就不必花费所有的时间等待脚本运行？

Answer 1

最简单的方法是使用to_picklepickle:

df.to_pickle(file_name)  # where to save it, usually as a .pkl

然后您可以使用以下命令将其加载回来：

df = pd.read_pickle(file_name)

注意：在0.11.1之前，save和load是实现这一目的的唯一方法（现在它们分别被to_pickle和read_pickle所取代）。

import pandas as pd
store = pd.HDFStore('store.h5')

store['df'] = df  # save it
store['df']  # load it

从0.13开始，还有msgpack，它可以更好地实现互操作性，作为JSON的更快替代方案，或者如果您有python对象/文本重的数据（请参见此问题）。