如何使用带有Deeplearning4J的自定义数据模型？

Question

基本问题是试图使用自定义数据模型来创建用于deeplearning4j网络的DataSetIterator。

我试图使用的数据模型是一个java类，它包含一系列双打，这些双打是从特定股票的报价中创建的，例如时间戳、打开、关闭、高、低、卷、技术指标1、技术指标2等。我查询了一个internet源示例（也是来自同一站点的其他几个指标），它提供了json字符串，我将这些字符串转换为我的数据模型，以便于访问和存储在sqlite数据库中。

现在我有了这些数据模型的列表，我想用它们来训练LSTM网络，每个double都是一个特性。根据Deeplearning4j文档和几个示例，使用训练数据的方法是使用这里描述的ETL过程来创建DataSetIterator，然后由网络使用。

我没有看到一种干净的方法来使用提供的任何RecordReaders转换我的数据模型，而不首先将它们转换为其他格式，如CSV或其他文件。我想避免这一点，因为这将消耗大量资源。似乎有更好的方法来处理这个简单的案子。有没有一个更好的方法，我只是错过了？

Answer 1

伊森！

首先，Deeplearning4j使用ND4j作为后端，因此数据最终必须转换为Indarray对象才能在模型中使用。如果三角化数据是两个数组:inputsarray和desiredoutputsarray，则可以执行以下操作：

INDArray inputs = Nd4j.create(inputsArray, new int[]{numSamples, inputDim});
INDArray desiredOutputs = Nd4j.create(desiredOutputsArray, new int[]{numSamples, outputDim});

然后您可以直接使用这些向量来训练您的模型：

for (int epoch = 0; epoch < nEpochs; epoch++)
    model.fit(inputs, desiredOutputs);

DataSet ds = new DataSet(inputs, desiredOutputs);
for (int epoch = 0; epoch < nEpochs; epoch++)
    model.fit(ds);

public class MyCustomIterator implements DataSetIterator {
    private INDArray inputs, desiredOutputs;
    private int itPosition = 0; // the iterator position in the set.

    public MyCustomIterator(float[] inputsArray,
                            float[] desiredOutputsArray,
                            int numSamples,
                            int inputDim,
                            int outputDim) {
        inputs = Nd4j.create(inputsArray, new int[]{numSamples, inputDim});
        desiredOutputs = Nd4j.create(desiredOutputsArray, new int[]{numSamples, outputDim});
    }

    public DataSet next(int num) {
        // get a view containing the next num samples and desired outs.
        INDArray dsInput = inputs.get(
            NDArrayIndex.interval(itPosition, itPosition + num),
            NDArrayIndex.all());
        INDArray dsDesired = desiredOutputs.get(
            NDArrayIndex.interval(itPosition, itPosition + num),
            NDArrayIndex.all());

        itPosition += num;

        return new DataSet(dsInput, dsDesired);
    }

    // implement the remaining virtual methods...

}

MyCustomIterator it = new MyCustomIterator(
    inputs,
    desiredOutputs,
    numSamples,
    inputDim,
    outputDim);

for (int epoch = 0; epoch < nEpochs; epoch++)
    model.fit(it);

这个示例对您特别有用，因为它实现了一个LSTM网络，并且有一个自定义迭代器实现（可以作为实现其余方法的指南）。此外，有关ndarray的更多信息，这也很有帮助。它提供了关于创建、修改和访问ndarray部分的详细信息。