如何将ELMo与Keras结合使用，正确输入培训集和标签？

Question

所以我尝试将Elmo与Keras一起使用，我使用了这个Elmo代码，因为它是唯一可训练的Elmo代码

使用此Elmo，嵌入被集成为输入层之后的一个层，因此输入层实际上是一个字符串。然而，我不知道如何在模型中放置输出标签。fit（），它们应该作为字符串以及与输入句子相同的结构输入（但这不起作用），还是应该是1热编码，但如果是，输出标签长度将如何匹配输入句子长度？有什么想法吗？

下面是我的代码片段，我使用我提供输入和输出标签的标签和样本的方式得到的错误（它们是如何提供的）

input_word = layers.Input(shape=(1,), 
                        dtype="string",name='word_input')
input_pred = layers.Input(shape=(1,), 
                     dtype="string",name='pred_input')

embedding1 = ElmoEmbeddingLayer()(input_word)
embedding2 = ElmoEmbeddingLayer()(input_pred)

print('embedding 1 ',embedding1)
embeddingsCon = [embedding1, 
            embedding2]

con11 = keras.layers.concatenate(embeddingsCon)
print('con 11 ',con11)
DenseInjy= layers.Dense(1, activation='relu', name='Dense1')(con11)
print('DenseI',DenseI)


DenseI2= layers.Dense(15, activation='softmax', name='Dense2')(DenseI)

print('DenseI2',DenseI2)

modelI = Model([input_word, input_pred], DenseI2)
modelI.compile(optimizer='adam',
                           loss='categorical_crossentropy',
                           metrics=['categorical_accuracy'])

modelI.fit([train_textEI,train_predIE], train_labelEI,
                       batch_size = 5,
                       epochs = 10 )

Train\U textEI[0]：[[“拉合尔大学学习中心是为教师和员工的专业发展而设立的。”]]

Train\u predEI[0]：[[[“已建立已建立已建立已建立已建立已建立已建立已建立已建立已建立”]]

Train_labelEI[['A0-B A0-I A0-I A0-I A0-I A0-I O P-B O A1-B A1-I A1-I A1-I A1-I A1-I A1-I A1-I A1-I O']INFO： tenorflow： Saver未创建，因为图中没有变量可以恢复I0308 17:55:39.423806 140704918992768]Saver未创建，因为图中没有变量可以恢复result.shapeELMO（？，1024）

形状=（？，1024），dtype=float32）con 11张量（“concatenate\u 12/concat:0”，形状=（？，2048），dtype=float32）DenseI张量（“Dense1\u 10/Relu:0”，形状=（？，1），dtype=float32）DenseI2张量（“Dense2\u 6/Softmax:0”，形状=（？，15），dtype=float32）

错误：检查目标时出错：期望Dense2有2个维度，但得到了带有形状的数组（2905, 1, 1)我认为这与标签如何适合模型有关

Answer 1

train\u textEI应该是字符串的Numpy数组，而不是字符串列表。尝试以下操作：

train_textEI = np.array(train_textEI, dtype=object)