如何在Keras中实现LSTM单元的层次模型？

Question

我想使用Keras实现下图中描述的模型，但我不知道如何实现。

如果模型的输入像（批处理，最大长度句子，最大长度单词），我需要如何实现它？

Answer 1

如果我正确理解了你的问题，那么每个训练样本由多个句子组成，其中每个句子由多个单词组成（似乎每个训练样本都是文本文档中的句子）。第一个LSTM层处理一个句子，然后在处理所有句子之后，第一个LSTM层对句子的表示被馈送到第二个LSTM层。

要实现此体系结构，需要将第一个LSTM层包装在TimeDistributed层中，以允许它单独处理每个句子。然后，您可以简单地在顶部添加另一个LSTM层，以处理第一个LSTM层的输出。这是一张草图：

lstm1_units = 128
lstm2_units = 64

max_num_sentences = 10
max_num_words = 100
emb_dim = 256

model = Sequential()
model.add(TimeDistributed(LSTM(lstm1_units), input_shape=(max_num_sentences, max_num_words, emb_dim)))
model.add(LSTM(lstm2_units, return_sequences=True))
model.summary()

模型摘要：

Layer (type)                 Output Shape              Param #   
=================================================================
time_distributed_4 (TimeDist (None, 10, 128)           197120    
_________________________________________________________________
lstm_6 (LSTM)                (None, 10, 64)            49408     
=================================================================
Total params: 246,528
Trainable params: 246,528
Non-trainable params: 0
_________________________________________________________________

如您所见，由于我们对第二个LSTM层使用了return\u sequences=True，因此返回了对应于每个句子的输出（这与您问题中的图一致）。此外，请注意，这里我们假设单词是使用单词向量（即单词嵌入）表示的。如果不是这样，并且您希望这样做，您可以简单地添加一个嵌入层（包装在时间分布层中）作为第一层，使用单词嵌入来表示单词，其余的都是相同的。