封送员转储更快，cPickle加载更快

Question

我正在实现一个需要序列化和反序列化大型
对象，所以我用“pickle”、“cPickle”和“marshal”进行了一些测试`
模块选择最好的模块。一路上我发现了一些非常有趣的东西
有趣的是：
我在一个dict列表中使用dumps，然后loads，
元组、整数、浮点和字符串。
这是我的基准测试的输出：

DUMPING a list of length 7340032
----------------------------------------------------------------------
pickle => 14.675 seconds
length of pickle serialized string: 31457430

cPickle => 2.619 seconds
length of cPickle serialized string: 31457457

marshal => 0.991 seconds
length of marshal serialized string: 117440540

LOADING a list of length: 7340032
----------------------------------------------------------------------
pickle => 13.768 seconds
(same length?) 7340032 == 7340032

cPickle => 2.038 seconds
(same length?) 7340032 == 7340032

marshal => 6.378 seconds
(same length?) 7340032 == 7340032

所以，从这些结果中我们可以看出，元帅的速度非常快**作为基准的一部分：

比“pickle”快14.8倍，比“cPickle”快2.6倍。
但是，令我大吃一惊的是，“元帅”的速度远远慢于“cPickle”
加载部件：
比“pickle”快2.2倍，但比“cPickle”慢3.1倍。
至于RAM，加载时的“marshal”html" target="_blank">性能也非常好
效率低下
我猜加载“marshal”如此缓慢的原因是
和它的序列化字符串的长度相关（比
pickle和’cPickle`）。
为什么“marshal”转储速度更快，加载速度较慢？
为什么“marshal”序列化字符串这么长？
为什么“marshal”的加载在RAM中如此低效？
有没有办法提高“marshal”的加载性能？
*有没有办法将“marshal”快速转储与“cPickle”快速加载合并？

Answer 1

cPickle有一个
更聪明的算法
marshal并且能够做到
减少大型物体占用空间的技巧。这意味着速度会慢一些
解码，但更快的编码作为结果输出较小。元帅
简单化，直接序列化对象而不做任何操作
进一步分析。这也解释了为什么“marshal”加载是如此的复杂
效率低下，它只需要做更多的工作——比如从磁盘读取更多的数据
-能够做与“cPickle”相同的事情。
`“封送员”和“封送员”最终真的是两码事，你不能
真正得到快速保存和快速加载，因为快速保存意味着
较少地分析数据结构，这意味着将大量数据保存到磁盘。
关于“marshal”可能与其他版本的
Python，通常应该使用“cPickle”：

这不是一个通用的“持久性”模块。对于一般的坚持和
通过RPC调用传输Python对象，请参阅pickle和pickle模块
搁置。封送模块的存在主要是为了支持对
pyc文件的Python模块的“伪编译”代码。因此
Python维护人员保留在中修改封送处理格式的权利
如果需要的话，可以采用向后不兼容的方法。如果你在连载
反序列化Python对象时，请改用pickle模块
性能相当，版本独立性得到保证，pickle
支持比marshal更广泛的对象范围
关于元帅的文件)