时间分布（稠密）vs Keras中的稠密-相同数量的参数

Question

我正在构建一个模型，该模型使用递归层（GRU）将一个字符串转换为另一个字符串。我试过将稠密层和时间分布（稠密）层作为最后一层，但当使用return\u sequences=True时，我不理解这两个层之间的区别，尤其是因为它们似乎具有相同数量的参数。

我的简化模型如下：

InputSize = 15
MaxLen = 64
HiddenSize = 16

inputs = keras.layers.Input(shape=(MaxLen, InputSize))
x = keras.layers.recurrent.GRU(HiddenSize, return_sequences=True)(inputs)
x = keras.layers.TimeDistributed(keras.layers.Dense(InputSize))(x)
predictions = keras.layers.Activation('softmax')(x)

网络的总结是：

_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
input_1 (InputLayer)         (None, 64, 15)            0         
_________________________________________________________________
gru_1 (GRU)                  (None, 64, 16)            1536      
_________________________________________________________________
time_distributed_1 (TimeDist (None, 64, 15)            255       
_________________________________________________________________
activation_1 (Activation)    (None, 64, 15)            0         
=================================================================

这对我来说是有意义的，因为我对时间分布的理解是它在所有时间点应用相同的层，因此密集层有16*15 15=255参数（权重偏差）。

但是，如果我切换到一个简单的密集层：

inputs = keras.layers.Input(shape=(MaxLen, InputSize))
x = keras.layers.recurrent.GRU(HiddenSize, return_sequences=True)(inputs)
x = keras.layers.Dense(InputSize)(x)
predictions = keras.layers.Activation('softmax')(x)

我仍然只有255个参数：

_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
input_1 (InputLayer)         (None, 64, 15)            0         
_________________________________________________________________
gru_1 (GRU)                  (None, 64, 16)            1536      
_________________________________________________________________
dense_1 (Dense)              (None, 64, 15)            255       
_________________________________________________________________
activation_1 (Activation)    (None, 64, 15)            0         
=================================================================

我想知道这是否是因为Dense（）将只使用形状中的最后一个维度，并有效地将所有其他维度视为类似于批次的维度。但我不再确定密集和时间分布（密集）之间的区别。

更新看看https://github.com/fchollet/keras/blob/master/keras/layers/core.pyDense似乎只使用最后一个维度来调整自己的大小：

def build(self, input_shape):
    assert len(input_shape) >= 2
    input_dim = input_shape[-1]

    self.kernel = self.add_weight(shape=(input_dim, self.units),

它还使用keras。dot应用权重：

def call(self, inputs):
    output = K.dot(inputs, self.kernel)

凯拉斯的文件。点意味着它可以很好地处理n维张量。我想知道它的确切行为是否意味着实际上会在每个时间步调用Dense（）。如果是这样，问题仍然是TimeDistributed（）在这种情况下实现了什么。

Answer 1

下面是一段代码，用于验证时间分布（密集（X））是否与密集（X）相同：

import numpy as np 
from keras.layers import Dense, TimeDistributed
import tensorflow as tf

X = np.array([ [[1, 2, 3],
                [4, 5, 6],
                [7, 8, 9],
                [10, 11, 12]
               ],
               [[3, 1, 7],
                [8, 2, 5],
                [11, 10, 4],
                [9, 6, 12]
               ]
              ]).astype(np.float32)
print(X.shape)

（2、4、3）

dense_weights = np.array([[0.1, 0.2, 0.3, 0.4, 0.5],
                          [0.2, 0.7, 0.9, 0.1, 0.2],
                          [0.1, 0.8, 0.6, 0.2, 0.4]])
bias = np.array([0.1, 0.3, 0.7, 0.8, 0.4])
print(dense_weights.shape)

（3、5）

dense = Dense(input_dim=3, units=5, weights=[dense_weights, bias])
input_tensor = tf.Variable(X, name='inputX')
output_tensor1 = dense(input_tensor)
output_tensor2 = TimeDistributed(dense)(input_tensor)
print(output_tensor1.shape)
print(output_tensor2.shape)

（2、4、5）

（2，？，5）

with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    output1 = sess.run(output_tensor1)
    output2 = sess.run(output_tensor2)

print(output1 - output2)

区别在于：

[[[0. 0. 0. 0. 0.]
  [0. 0. 0. 0. 0.]
  [0. 0. 0. 0. 0.]
  [0. 0. 0. 0. 0.]]

 [[0. 0. 0. 0. 0.]
  [0. 0. 0. 0. 0.]
  [0. 0. 0. 0. 0.]
  [0. 0. 0. 0. 0.]]]

Answer 2

时间分布密度在GRU/LSTM单元展开期间对每个时间步应用相同的密度。因此错误函数将在预测的标签序列和实际的标签序列之间。（这通常是序列对序列标记问题的要求）。

但是，对于return_sequences=False，Dense层仅在最后一个单元格应用一次。当RNN用于分类问题时通常会出现这种情况。如果return_sequences=True，则Dense层就像时间分布密度一样应用于每个时间步。

因此，根据您的模型，两者都是相同的，但如果您将第二个模型更改为“return\u sequences=False”，则仅在最后一个单元格中应用“Dense”。尝试更改它，模型将作为错误抛出，因为这样，Y的大小将是Batch\u size，InputSize，这不再是一个序列到序列的问题，而是一个完整的序列到标签的问题。

from keras.models import Sequential
from keras.layers import Dense, Activation, TimeDistributed
from keras.layers.recurrent import GRU
import numpy as np

InputSize = 15
MaxLen = 64
HiddenSize = 16

OutputSize = 8
n_samples = 1000

model1 = Sequential()
model1.add(GRU(HiddenSize, return_sequences=True, input_shape=(MaxLen, InputSize)))
model1.add(TimeDistributed(Dense(OutputSize)))
model1.add(Activation('softmax'))
model1.compile(loss='categorical_crossentropy', optimizer='rmsprop')


model2 = Sequential()
model2.add(GRU(HiddenSize, return_sequences=True, input_shape=(MaxLen, InputSize)))
model2.add(Dense(OutputSize))
model2.add(Activation('softmax'))
model2.compile(loss='categorical_crossentropy', optimizer='rmsprop')

model3 = Sequential()
model3.add(GRU(HiddenSize, return_sequences=False, input_shape=(MaxLen, InputSize)))
model3.add(Dense(OutputSize))
model3.add(Activation('softmax'))
model3.compile(loss='categorical_crossentropy', optimizer='rmsprop')

X = np.random.random([n_samples,MaxLen,InputSize])
Y1 = np.random.random([n_samples,MaxLen,OutputSize])
Y2 = np.random.random([n_samples, OutputSize])

model1.fit(X, Y1, batch_size=128, nb_epoch=1)
model2.fit(X, Y1, batch_size=128, nb_epoch=1)
model3.fit(X, Y2, batch_size=128, nb_epoch=1)

print(model1.summary())
print(model2.summary())
print(model3.summary())

在上述示例中，模型1和模型2的体系结构是示例（序列到序列模型），模型3是完整的序列到标签模型。