是否可以在未存储在像LMDB这样的数据源中的数据集上运行caffe模型？

Question

我有2套图像补丁数据，即训练和测试集。这两个都已写入LMDB文件。我正在使用Caffe在此数据上运行卷积神经网络。

问题在于存储在硬盘上的数据占用了大量空间，并且妨碍了我通过故意添加噪声来引入更多训练数据以使我的模型更健壮的工作。

有没有一种方法可以将程序中的图像补丁直接发送到CNN（在Caffe中）而无需将其存储在LMDB中？我目前正在使用python从图像中为训练数据集生成补丁。

Answer 1

您可以编写自己的python数据层。见讨论这里与实现输入数据层的视频流在这里。

基本上，您将需要添加到网络描述层，例如：

layer {
  type: 'Python'
  name: 'data'
  top: 'data'
  top: 'label'
  python_param {
    # the module name -- usually the filename -- that needs to be in $PYTHONPATH
    module: 'filename'
    # the layer name -- the class name in the module
    layer: 'CustomInputDataLayer'
  }
}

并在Python中实现图层接口：

class CustomInputDataLayer(caffe.Layer):
    def setup(self):
         ...

    def reshape(self, bottom, top)
        top[0].reshape(BATCH_SIZE, your_data.shape)
        top[1].reshape(BATCH_SIZE, your_label.shape)

    def forward(self, bottom, top):
        # assign output
        top[0].data[...] = your_data
        top[1].data[...] = your_label

    def backward(self, top, propagate_down, bottom):
        pass