Tensorflow-具有批处理数据的输入矩阵的矩阵

Question

我有一些以表示的数据input_x。它是一个未知大小的张量（应分批输入），每个项目的大小都为n。input_x经历tf.nn.embedding_lookup，所以embed现在有尺寸[?,n, m]，其中m是嵌入尺寸并?指未知的批量大小。

此处描述：

input_x = tf.placeholder(tf.int32, [None, n], name="input_x") 
embed = tf.nn.embedding_lookup(W, input_x)

我现在正尝试将输入数据中的每个样本（现在通过嵌入维度进行扩展）乘以矩阵变量U，而我似乎不知道该怎么做。

我首先尝试使用，tf.matmul但是由于形状不匹配而导致错误。然后，我通过扩展的维度U和应用来尝试以下操作batch_matmul（我还尝试了从进行的功能tf.nn.math_ops.，结果相同）：

U = tf.Variable( ... )    
U1 = tf.expand_dims(U,0)
h=tf.batch_matmul(embed, U1)

这将通过初始编译，但是当应用实际数据时，出现以下错误：

In[0].dim(0) and In[1].dim(0) must be the same: [64,58,128] vs [1,128,128]

我也知道为什么会发生这种情况-我复制了的尺寸，U现在是1，但是minibatch的大小64不合适。

我如何在张量矩阵输入上正确地进行矩阵乘法（对于未知的批量大小）？

Answer 1

该MATMUL操作仅适用于矩阵（二维张量）。这是执行此操作的两种主要方法，都假设U是2D张量。

1. 将其embed切成2D张量，然后将每个张量分别乘以U。这样做最简单tf.scan()：

   h = tf.scan(lambda a, x: tf.matmul(x, U), embed)
   

2. 另一方面，如果效率很重要，则最好将其重塑embed为2D张量，以便可以使用一个matmul像这样的乘法完成乘法：

   embed = tf.reshape(embed, [-1, m])
   

   h = tf.matmul(embed, U)
   h = tf.reshape(h, [-1, n, c])
   

中c的列数在哪里U？最后一次重塑将确保它h是一个3D张量，其中第0个维度与该批次对应，就像原始的x_input和embed。