LSTM之前或之后的脱落层。有什么区别？

Question

假设我们有一个用于时间序列预测的LSTM模型。此外，这是一个多变量的情况，因此我们使用多个特性来训练模型。

ipt   = Input(shape = (shape[0], shape[1])
x     = Dropout(0.3)(ipt) ## Dropout before LSTM.
x     = CuDNNLSTM(10, return_sequences = False)(x)
out   = Dense(1, activation='relu')(x)

我们可以在LSTM之前（如上面的代码）或LSTM之后添加Dropout层。

>

如果我们在LSTM之前添加它，它是在时间步长（时间序列的不同延迟）上应用退出，还是在不同的输入特性上应用退出，或者两者都应用？

如果我们将它添加到LSTM之后，并且因为返回\u序列是假，那么辍学者在这里做什么？

LSTM中的dropout选项与LSTM层之前的dropout层之间是否有任何不同？

Answer 1

您将辍学与它的变体SpatialDropoutND（要么1D，2D要么3D）混淆。请参阅文档（显然，您无法链接特定的类）。

>

在这里，如果return\u sequences=False，您只能从上一个时间步获得输出，因此在您的情况下，它的大小将是[batch，10]。Dropout将从第二个维度随机删除值

是的，这是有区别的，因为dropout是指当LSTM产生序列时的时间步长（例如，10的序列通过未滚动的LSTM，并且在进入下一个单元之前删除了一些特性）。Dropout将删除随机元素（批处理维度除外）。Sspace alDropout1D将删除整个通道，在这种情况下，一些时间步长将完全删除（在卷积情况下，您可以使用Sspace alDropout2D删除通道，输入或沿着网络）。

Answer 2

默认情况下，Dropout创建一个0和1的随机张量。没有模式，就没有特权轴。所以，你不能说一个特定的东西被丢弃了，只是张量中的随机坐标。（嗯，它删除了一些特性，但每个步骤的特性不同，每个示例的特性也不同）

如果需要，可以使用noise\u shape属性，该属性将定义随机张量的形状。然后，您可以选择是否要删除步骤、功能或示例，或者可能是一个组合。

• 下降时间步长：noise\u shape=（1，步长，1）
• 拖放功能：noise\u shape=（1,1，功能）
• 丢弃样本：noise\u shape=（无，1，1）

还有Sspace alDropout1D层，它自动使用noise_shape=（input_shape[0]，1，input_shape[2]）。这将删除所有时间步骤的相同特征，但将单独处理每个样本（每个样本将删除不同的特征组）。

在LSTM之后，您有form=（No，10）。因此，您使用Dropout的方式与在任何完全连接的网络中使用的方式相同。它为每个样本删除了一组不同的特征。

退出作为LSTM的参数有很多不同之处。它生成4个不同的辍学掩码，用于为每个不同的门创建不同的输入。（您可以查看LSTMCell代码来检查这一点）。

此外，还有递归_dropout选项，该选项将生成4个辍学掩码，但将应用于递归计算的每个步骤中的状态而不是输入。