Keras中嵌入层和LSTM的三维阵列输入

Question

嘿，伙计们，我已经建立了一个有效的LSTM模型，现在我正在尝试（不成功）添加一个嵌入层作为第一层。

这个解决方案对我不起作用。在提问之前，我还阅读了这些问题：Keras输入解释：输入形状、单位、批次大小、尺寸等，了解Keras LSTM和Keras示例。

我的输入是一种由27个字母组成的语言的字符的单键编码（1和0）。我选择将每个单词表示为10个字符的序列。每个单词的输入大小是（10,27），我有465个，所以它是X\U列。形状（465,10,27），我还有一个尺寸为y\U train的标签。形状（465,1）。我的目标是训练一个模型，同时构建一个角色嵌入。

这是编译和拟合的模型。

main_input = Input(shape=(10, 27))
rnn = Bidirectional(LSTM(5))
x = rnn(main_input)
de = Dense(1, activation='sigmoid')(x)
model = Model(inputs = main_input, outputs = de)
model.compile(loss='binary_crossentropy',optimizer='adam')
model.fit(X_train, y_train, epochs=10, batch_size=1, verbose=1)

添加嵌入层后：

main_input = Input(shape=(10, 27))
emb = Embedding(input_dim=2, output_dim = 10)(main_input)
rnn = Bidirectional(LSTM(5))
x = rnn(emb)
de = Dense(1, activation='sigmoid')(x)
model = Model(inputs = main_input, outputs = de)
model.compile(loss='binary_crossentropy',optimizer='adam')
model.fit(X_train, y_train, epochs=10, batch_size=1, verbose=1)

输出：ValueError：输入0与层双向\u 31不兼容：预期ndim=3，发现ndim=4

如何修复输出形状？非常感谢您的意见。

Answer 1

我的输入是一种由27个字母组成的语言字符的一热编码（1和0）。

您不应该将一个热编码传递到嵌入中<代码>嵌入层将整数索引映射到n维向量。因此，您应该直接传入前一个hotted索引。

一、 e.在您有一个单键输入之前，例如，由一组整数创建的，如：1，0，0，0，[1，0，0，0，1]。而不是在原始向量中传递一个热向量（10，27）。

main_input = Input(shape=(10,)) # only pass in the indexes
emb = Embedding(input_dim=27, output_dim = 10)(main_input) # vocab size is 27
rnn = Bidirectional(LSTM(5))
x = rnn(emb)
de = Dense(1, activation='sigmoid')(x)
model = Model(inputs = main_input, outputs = de)
model.compile(loss='binary_crossentropy',optimizer='adam')
model.fit(X_train, y_train, epochs=10, batch_size=1, verbose=1)