Keras-有状态vs无状态LSTM

Question

我很难理解Keras中有状态LSTM与无状态LSTM之间的区别。我的理解是，在每个批次的末尾，在无状态情况下“重置网络状态”，而对于有状态情况，将为每个批次保留网络状态，然后必须在该状态下手动重置每个时代的结束。

我的问题如下：1.在无状态情况下，如果批次之间没有保留状态，网络如何学习？2.什么时候使用LSTM的无状态模式和有状态模式？

Answer 1

我建议您首先学习BPTT（通过时间的反向传播）和小型批量SGD（随机梯度下降）的概念，然后您将进一步了解LSTM的训练过程。

对于您的问题，

Q1。在无状态情况下，LSTM更新batch1上的参数，然后为batch2启动隐藏状态和单元状态（通常为全零），而在无状态情况下，它使用batch1的最后输出隐藏状态和单元状态作为batch2的初始状态。

Q2。如上所示，当两个批次中的两个序列有联系（例如，一只股票的价格）时，您最好使用有状态模式，否则（例如，一个序列代表完整的句子），则应使用无状态模式。

顺便说一句，@ vu.pham说if we use stateful RNN, then in production, the network is forced to deal with infinite long sequences。实际上，这似乎是不正确的，正如您在Q1中看到的那样，LSTM不会学习整个序列，它首先会在batch1中学习序列，更新参数，然后再在batch2中学习序列。