tf如何。图层。dense（）与较高dim的输入交互？

Question

在tensorflow层中。稠密（输入、单位、激活）实现具有任意激活功能的多层感知器层。

输出=激活（matmul（输入，权重）偏差）

通常输入的形状=[批处理大小，输入大小]，可能如下所示：（单位=128，激活=tf.nn.relu是任意选择的）

inputx = tf.placeholder(float, shape=[batch_size, input_size])
dense_layer = tf.layers.dense(inputx, 128, tf.nn.relu)

如果我输入更高维度的输入，我没有找到任何关于会发生什么的文档，例如，因为可能有时间步数导致形状张量=[时间步数，批次大小，输入大小]。这里需要的是，该层应用于批次中每个元素的每个时间步的每个单个input\u向量。换言之，层的内部matmul。dense（）应该简单地使用numpy风格的广播。我在这里所期望的行为是实际发生的吗？一、 e.is：

inputx = tf.placeholder(float, shape=[time_step, batch_size, input_size])
dense_layer = tf.layers.dense(inputx, 128, tf.nn.relu)

将致密层应用于batch\u size中每个元素的每个time\u步骤的每个size input\u size输入？这应该会产生一个张量（在上面的致密层中），其形状=[时间步长，批次大小，128]，例如tf。matmul不支持numpy风格的广播，所以我不确定tensorflow如何处理这些情况。

编辑：这篇文章是相关的，但没有最终回答我的问题

Answer 1

您可以通过检查密集内核的形状来验证您的期望，如下所示。

>>> inputx = tf.placeholder(float, shape=[2,3,4])
>>> dense_layer = tf.layers.dense(inputx, 128, tf.nn.relu)
>>> g=tf.get_default_graph()
>>> g.get_collection('variables')
[<tf.Variable 'dense/kernel:0' shape=(4, 128) dtype=float32_ref>, <tf.Variable 'dense/bias:0' shape=(128,) dtype=float32_ref>]

致密层的行为与conv层相同。

您可以将inputx视为宽度=2、高度=3和通道=4的图像，将密集层视为具有128个过滤器和过滤器大小为1*1的conv层。