cPickle大量数据

Question

我有大约80万张256x256 RGB图像，总计超过7GB。

我想将它们用作卷积神经网络中的训练数据，并希望将它们及其标签放入cPickle文件中。

现在，这需要占用大量内存，以至于需要与我的硬盘驱动器交换内存，并几乎消耗掉所有内存。

这是一个坏主意吗？

在不引起过多内存问题的情况下，将哪种方法更聪明/更实用地加载到CNN或对其进行腌制？

这就是代码的样子

import numpy as np
import cPickle
from PIL import Image
import sys,os

pixels = []
labels = []
traindata = []
data=[]


for subdir, dirs, files in os.walk('images'):
        curdir=''
        for file in files:
                if file.endswith(".jpg"):
                        floc=str(subdir)+'/'+str(file)
                        im= Image.open(floc)
                        pix=np.array(im.getdata())
                        pixels.append(pix)
                        labels.append(1)
pixels=np.array(pixels)
labels=np.array(labels)
traindata.append(pixels)
traindata.append(labels)
traindata=np.array(traindata)
.....# do the same for validation and test data
.....# put all data and labels into 'data' array
cPickle.dump(data,open('data.pkl','wb'))

Answer 1

这是一个坏主意吗？

确实是的。

您试图一次将7GB的压缩图像数据全部加载到内存中（对于800k 256 * 256 RGB文件，大约为195
GB）。这是行不通的。您必须找到一种可以逐张更新CNN的方法，并且可以随时保存状态。

还请考虑您的CCN参数集的大小。泡菜不是为大量数据而设计的。如果您需要存储GB的神经网络数据，那么使用数据库会更好。但是，如果神经网络参数集只有几个MB，则泡菜会很好。

您可能还想看一下的文档pickle.HIGHEST_PROTOCOL，因此您不会受制于旧的未优化的pickle文件格式。