PyTorch中RNN（nn. LSTM、nn. GRU等）的输出h_n是如何构建的？

Question

医生说

形状的大小（num\u layers*num\u directions，batch，hidden\u size）：包含t=seq\u len的隐藏状态的张量

现在，批次和hidden_size维度几乎不言自明。不过，第一个维度仍然是个谜。

我假设所有层的所有“最后一个单元”的隐藏状态都包含在该输出中。但是，例如，“最上层”中“最后一个单元格”的隐藏状态的索引是什么<代码>h\u n[-1]<代码>h\u n[0]？

输出是否受batch\u first（批处理优先）选项的影响？

Answer 1

Pytork中LSTM和GRU的实现自动包括LSTM和GRU堆叠层的可能性。

您可以使用关键字argumentnn给出此参数。LSTM（num\u layers=num\u layers）num\u layers是您拥有的堆叠LSTM（或GRU）的数量。默认值为1，这将为您提供基本的LSTM。

num\u directions为1或2。正常LSTM和GRU为1，双向RNN为2。

因此，在您的情况下，您可能有一个简单的LSTM或GRU，因此num\u layers*num\u directions的值将是1。

h\u n[0]是最底层（接收输入的层）的隐藏状态，以及最顶层（输出网络输出的层）的隐藏状态。

将批次维度置于时间维度之前（默认为批次维度之前的时间维度），因为隐藏状态没有时间维度，batch\u first对隐藏状态形状没有影响。