3D卷积自动编码器的输出层与输入层不匹配

Question

我正在尝试创建一个三维卷积神经网络自动编码器。我无法将张量的输入维与输出维匹配

我尝试过改变图层形状并使用Keras自动编码器。

        padding = 'SAME'
        stride = [1,1,1]

        self.inputs_ = tf.placeholder(tf.float32, input_shape, name='inputs')
        self.targets_ = tf.placeholder(tf.float32, input_shape, name='targets')

        conv1 = tf.layers.conv3d(inputs= self.inputs_, filters=16, kernel_size=(3,3,3), padding= padding, strides = stride, activation=tf.nn.relu)  
        maxpool1 = tf.layers.max_pooling3d(conv1, pool_size=(2,2,2), strides=(2,2,2), padding= padding)
        conv2 = tf.layers.conv3d(inputs=maxpool1, filters=32, kernel_size=(3,3,3), padding= padding, strides = stride, activation=tf.nn.relu)
        maxpool2 = tf.layers.max_pooling3d(conv2, pool_size=(3,3,3), strides=(3,3,3), padding= padding)
        conv3 = tf.layers.conv3d(inputs=maxpool2, filters=96, kernel_size=(2,2,2), padding= padding , strides = stride, activation=tf.nn.relu)
        maxpool3 = tf.layers.max_pooling3d(conv3, pool_size=(2,2,2), strides=(2,2,2), padding= padding)
        #latent internal representation

        #decoder
#         tf.keras.layers.UpSampling3D()
        unpool1 =K.resize_volumes(maxpool3,2,2,2,"channels_last")
        deconv1 = tf.layers.conv3d_transpose(inputs=unpool1, filters=96, kernel_size=(2,2,2), padding= padding , strides = stride, activation=tf.nn.relu)
        unpool2 = K.resize_volumes(deconv1,3,3,3,"channels_last")
        deconv2 = tf.layers.conv3d_transpose(inputs=unpool2, filters=32, kernel_size=(3,3,3), padding= padding , strides = stride, activation=tf.nn.relu)
        unpool3 = K.resize_volumes(deconv2,2,2,2,"channels_last")
        deconv3 = tf.layers.conv3d_transpose(inputs=unpool3, filters=16, kernel_size=(3,3,3), padding= padding , strides = stride, activation=tf.nn.relu)
        self.output = tf.layers.dense(inputs=deconv3, units=3)
        self.output = tf.reshape(self.output, self.input_shape)

ValueError：无法将具有1850688元素的张量重塑为'Reshape'（op：'Reshape'）的形状[1,31,73,201,3]（1364589元素），输入形状：[1,36,84,204,3]，[5]并且输入张量计算为部分形状：输入[1]=[1,31,73,201,3]。

Answer 1

您的输入形状是[1、31、73、201、3]。在转置卷积过程中，您正在三个调整卷大小的层中执行升迁。如果将这些数字沿轴相乘，则为12、12、12（每个数字为2*3*2）。因此，解码器的输出将是每个维度中12的倍数。

但是您输入的维度形状不是12的倍数。大于这些尺寸的最近倍数是x、36、84、204、x。因此，解决方案要么是在解码部分之后，去掉多余的尺寸，并将其与原始尺寸匹配，要么更好的解决方案是用零填充原始形状，使其为12的倍数。在遵循第二个解决方案之后，您必须考虑输入的新维度。

更新代码（仅更改部分）

self.inputs_ = tf.placeholder(tf.float32, input_shape, name='inputs')
pad_inputs = tf.pad(self.inputs_, [[0,0], [2, 3], [5, 6], [1, 2], [0, 0]]) # Pad at the edges
print(pad_inputs.shape)  # [1, 36, 84, 204, 3]

conv1 = tf.layers.conv3d(inputs= pad_inputs, filters=16, kernel_size=(3,3,3), padding= padding, strides = stride, activation=tf.nn.relu)

最后，

self.output = tf.reshape(self.output, pad_inputs.shape)