使用LSTM递归网络的Pybrain时间序列预测

Question

我想到一个与使用pybrain进行时间序列回归相关的问题。我计划在pybrain中使用LSTM层来训练和预测时间序列。

我在下面的链接中找到了示例代码

例如请求：递归神经网络，用于预测序列中的下一个值

在上面的示例中，网络能够在训练后预测序列。但是问题是，网络通过将数据一次性输入到输入层来获取所有顺序数据。例如，如果训练数据每个都有10个特征，那么这10个特征将同时被同时馈送到10个输入节点中。

根据我的理解，这不再是时间序列预测，对吗？由于将每个功能馈入网络的时间没有区别？如果我做错了，请纠正我。

因此，我试图实现的是一个只有一个输入节点和一个输出节点的递归网络。输入节点是所有时间序列数据将在不同时间步长顺序馈送的位置。将训练网络在输出节点上重现输入。

您能否建议或指导我构建我提到的网络？提前非常感谢您。

Answer 1

您可以使用单个输入节点和单个输出节点训练LSTM网络，以进行时间序列预测，如下所示：

首先，作为一种好习惯，让我们使用Python3的打印功能：

from __future__ import print_function

然后，创建一个简单的时间序列：

data = [1] * 3 + [2] * 3
data *= 3
print(data)

[1，1，1，2，2，2，1，1，1，2，2，2，1，1，1，2，2，2]

现在，将此时间序列放入一个受监督的数据集中，其中每个样本的目标是下一个样本：

from pybrain.datasets import SequentialDataSet
from itertools import cycle

ds = SequentialDataSet(1, 1)
for sample, next_sample in zip(data, cycle(data[1:])):
    ds.addSample(sample, next_sample)

用1个输入节点，5个LSTM单元和1个输出节点构建一个简单的LSTM网络：

from pybrain.tools.shortcuts import buildNetwork
from pybrain.structure.modules import LSTMLayer

net = buildNetwork(1, 5, 1, 
                   hiddenclass=LSTMLayer, outputbias=False, recurrent=True)

训练网络：

from pybrain.supervised import RPropMinusTrainer
from sys import stdout

trainer = RPropMinusTrainer(net, dataset=ds)
train_errors = [] # save errors for plotting later
EPOCHS_PER_CYCLE = 5
CYCLES = 100
EPOCHS = EPOCHS_PER_CYCLE * CYCLES
for i in xrange(CYCLES):
    trainer.trainEpochs(EPOCHS_PER_CYCLE)
    train_errors.append(trainer.testOnData())
    epoch = (i+1) * EPOCHS_PER_CYCLE
    print("\r epoch {}/{}".format(epoch, EPOCHS), end="")
    stdout.flush()

print()
print("final error =", train_errors[-1])

绘制错误（请注意，在这个简单的玩具示例中，我们正在同一数据集上进行测试和培训，这当然不是您要为实际项目做的！）：

import matplotlib.pyplot as plt

plt.plot(range(0, EPOCHS, EPOCHS_PER_CYCLE), train_errors)
plt.xlabel('epoch')
plt.ylabel('error')
plt.show()

现在，要求网络预测下一个样本：

for sample, target in ds.getSequenceIterator(0):
    print("               sample = %4.1f" % sample)
    print("predicted next sample = %4.1f" % net.activate(sample))
    print("   actual next sample = %4.1f" % target)
    print()

（以上代码基于example_rnn.py和PyBrain文档中的示例）