减少cPickle对象的大小

Question

我正在运行的代码将创建包含多个用户定义类的大对象，然后必须对其进行序列化以供以后使用。据我所知，只有酸洗才能满足我的需求。我一直在使用cPickle来存储它们，但是它生成的对象大约是40G，来自运行在500
mb内存中的代码。序列化的速度不是问题，但是对象的大小是问题。我可以使用任何技巧或替代方法来使泡菜变小吗？

Answer 1

如果您必须使用pickle并且没有其他序列化方法对您有用，那么您始终可以通过管道通过管道发送pickle
bzip2。唯一的问题是bzip2有点慢…gzip应该更快，但是文件大小几乎快了两倍：

In [1]: class Test(object):
            def __init__(self):
                self.x = 3841984789317471348934788731984731749374
                self.y = 'kdjsaflkjda;sjfkdjsf;klsdjakfjdafjdskfl;adsjfl;dasjf;ljfdlf'
        l = [Test() for i in range(1000000)]

In [2]: import cPickle as pickle          
        with open('test.pickle', 'wb') as f:
            pickle.dump(l, f)
        !ls -lh test.pickle
-rw-r--r--  1 viktor  staff    88M Aug 27 22:45 test.pickle

In [3]: import bz2
        import cPickle as pickle
        with bz2.BZ2File('test.pbz2', 'w') as f:
            pickle.dump(l, f)
        !ls -lh test.pbz2
-rw-r--r--  1 viktor  staff   2.3M Aug 27 22:47 test.pbz2

In [4]: import gzip
        import cPickle as pickle
        with gzip.GzipFile('test.pgz', 'w') as f:
            pickle.dump(l, f)
        !ls -lh test.pgz
-rw-r--r--  1 viktor  staff   4.8M Aug 27 22:51 test.pgz

因此，我们看到的文件大小bzip2几乎缩小了40gzip倍，也缩小了20倍。如您所见，gzip的性能与原始cPickle非常接近。

cPickle : best of 3: 18.9 s per loop
bzip2   : best of 3: 54.6 s per loop
gzip    : best of 3: 24.4 s per loop