Pickle与Shelve在Python中存储大型词典

Question

如果我将大目录存储为pickle文件，是否通过加载cPickle将其全部消耗到内存中？

如果是这样，是否有一种跨平台的方式来获取类似的信息pickle，但是在一项中访问每个条目一个键（即避免将所有字典加载到内存中，而仅按名称加载每个条目）？我知道shelve应该这样做：pickle好像一样便携吗？

Answer 1

我知道应该这样做：虽然像泡菜一样轻巧？

是。shelve是Python标准库的一部分，是用Python编写的。

编辑

因此，如果您有大型词典：

bigd = {'a': 1, 'b':2, # . . .
}

而且您想保存它而不必稍后再阅读整个内容，而不必将其保存为泡菜，最好将其保存为一个架子（一种磁盘词典）。

import shelve

myShelve = shelve.open('my.shelve')
myShelve.update(bigd)
myShelve.close()

然后，您可以：

import shelve

myShelve = shelve.open('my.shelve')
value = myShelve['a']
value += 1
myShelve['a'] = value

您基本上将搁置的对象像字典一样对待，但是将项目存储在磁盘上（作为单个泡菜）并根据需要读取。

如果您的对象可以存储为属性列表，那么sqlite可能是一个不错的选择。架子和泡菜很方便，但是只能通过Python访问，但是sqlite数据库可以从大多数语言中读取。