Pyrotch LSTM输入尺寸

Question

我试图用PyTorch LSTM训练一个简单的2层神经网络，但我很难解释PyTorch留档。具体来说，我不太确定如何处理我的训练数据。

我想做的是通过小批次在一个非常大的数据集上训练我的网络，每个批次有100个元素长。每个数据元素将具有5个特征。留档声明层的输入应该是形状（seq_len，batch_size，input_size）。我应该如何调整输入？

我一直在关注这篇文章：https://discuss.pytorch.org/t/understanding-lstm-input/31110/3如果我正确解释这一点，每个小批量应该是形状（100, 100, 5)。但是在这种情况下，seq_len和batch_size有什么区别？此外，这是否意味着输入LSTM层的第一层应该有5个单元？

非常感谢。

Answer 1

这是一个古老的问题，但由于它已经被浏览了80次，没有任何反应，让我来尝试一下。

LSTM网络用于预测序列。在NLP中，这将是一个单词序列；在经济学中，一系列经济指标；等

第一个参数是这些序列的长度。如果序列数据是由句子组成的，那么“汤姆有一只又黑又丑的猫”是一个长度为7（seq_len）的序列，每个单词一个，可能是第8个，表示句子的结尾。

当然，您可能会反对“如果我的序列长度不同怎么办？”这是一种常见的情况。

两种最常见的解决方案是：

>

用空元素填充序列。例如，如果你的最长句子有15个单词，那么将上面的句子编码为“[Tom][has][a][black][and][aughous][cat][EOS][[]]，其中EOS代表句子的结尾。突然，你所有的序列长度都变为15，这就解决了你的问题。一旦找到[EOS]令牌，模型将很快了解到它后面是无限序列的空令牌[]，这种方法几乎不会对您的网络征税。

发送等长的迷你批次。例如，用2个单词训练网络中的所有句子，然后用3个单词，然后用4个单词。当然，每个迷你批次的seq_len会增加，每个迷你批次的大小会根据您的数据中有多少个长度为N的序列而有所不同。

一个两全其美的方法是将数据分成大小大致相等的小批量，按大致长度分组，只添加必要的填充。例如，如果你把长度为6、7和8的句子小批量组合在一起，那么长度为8的序列不需要填充，而长度为6的序列只需要2。如果你有一个大数据集，序列的长度变化很大，那是最好的方法。

不过，选项1是最简单（也是最懒）的方法，在小数据集上效果很好。

最后一件事。。。始终在末尾填充数据，而不是在开头。

我希望这有帮助。