keras-嵌入层掩码_零导致后续层出现异常

Question

我正在基于本文开发一个模型，由于globalxpooling1d层不支持掩蔽，我遇到了一个异常。

我有一个嵌入层，参数设置为True。但是，由于后续的globalxpooling1d层不支持掩蔽，我得到了一个异常。预期会出现例外情况，因为嵌入层的文档中实际说明了嵌入层之后的任何后续层都应该支持掩蔽。

然而，当我在处理单词数量可变的句子时，我确实需要嵌入层中的掩蔽。（即，由于输入的长度不同）我的问题是，我应该如何改变我的模型，使掩蔽仍然是模型的一部分，并且不会在globalxpooling1d层造成问题？

下面是模型的代码。

model = Sequential()
embedding_layer = Embedding(dictionary_size, num_word_dimensions,
                            weights=[embedding_weights], mask_zero=True,
                            embeddings_regularizer=regularizers.l2(0.0001))
model.add(TimeDistributed(embedding_layer,
                          input_shape=(max_conversation_length, timesteps)))

model.add(TimeDistributed(Bidirectional(LSTM(m // 2, return_sequences=True,
                                             kernel_regularizer=regularizers.l2(0.0001)))))
model.add(TimeDistributed(Dropout(0.2)))
model.add(TimeDistributed(GlobalMaxPooling1D()))
model.add(Bidirectional(LSTM(h // 2, return_sequences = True,
                             kernel_regularizer=regularizers.l2(0.0001)),
                        merge_mode='concat'))
model.add(Dropout(0.2))
crf = CRF(num_tags, sparse_target=False, kernel_regularizer=regularizers.l2(0.0001))
model.add(crf)
model.compile(optimizer, loss = crf.loss_function, metrics=[crf.accuracy])




Answer 1

然而，当我在处理单词数量可变的句子时，我确实需要嵌入层中的掩蔽。

你在填充句子以使它们有相等的长度吗？如果是这样，那么您可以让模型自己发现0是填充的，因此应该被忽略，而不是掩蔽。因此，您不需要显式掩码。这种方法也用于处理数据中的缺失值，如本答案所建议的。