卷积神经网络能输出图像吗？

Question

我正在研究一个深度学习问题，它需要我有一个深度学习模型，该模型具有输入图像和输出另一张图像。现在，输入和输出图像具有不同的维度，因此我不能使用自动编码器。我已经尝试构建一个非常简单的卷积神经网络，它有一个最终的输出密集层，该层以输出图像的宽度和高度相乘为“单位”参数。然而，我下面附加的这个网络没有成功。我的问题是：

• CNN是不是像我这样处理这个问题的合适的深度学习网络
• 如果没有，我还可以尝试其他什么类型的深度学习网络来解决这个问题

提前感谢！

以下是我已经尝试过的CNN模式的总结：

conv2d_1（Conv2D）（无，26, 877, 32) 544

activation\u 1（activation）（无，26，877，32）0

最大池2D\U 1（最大池2（无、13、438、32）0

conv2d\U 2（conv2d）（无、12437、16）2064

activation\u 2（激活）（无、12、437、16）0

最大池2D\U 2（最大池2（无、6、218、16）0

conv2d\U 3（conv2d）（无、5、217、8）520

激活\u 3（激活）（无、5、217、8）0

最大池2D\U 3（最大池2（无、2、108、8）0

activation\u 4（激活）（无、2、108、8）0

展平\u 1（展平）（无，1728）0

dropout\u 1（dropout）（无，1728）0

dense_1（密集）（无，19316) 33397364

=========================================================总参数：33400492可训练参数：33400492不可训练参数：0

def generator(data_arr, batch_size = 10):

num = len(data_arr) 

if num % batch_size != 0 : 
    num = int(num/batch_size)

# Loop forever so the generator never terminates
while True: 

for offset in range(0, num, batch_size):

    batch_samples = (data_arr[offset:offset+batch_size])

    samples = []
    labels = []

    for batch_sample in batch_samples:

        samples.append(batch_sample[0])
        labels.append((np.array(batch_sample[1].flatten)).transpose())

    X_ = np.array(samples)
    Y_ = np.array(labels)

    X_ = X_[:, :, :, newaxis]

    yield (X_, Y_)

# compile and train the model using the generator function
train_generator = generator(training_data, batch_size = 10)
validation_generator = generator(val_data, batch_size = 10)

run_opts = tf.RunOptions(report_tensor_allocations_upon_oom = True)

model = Sequential()

model.add(Conv2D(32, (4, 4), strides=(2, 2), input_shape = (55, 1756, 
1)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size = (2, 2)))

model.add(Conv2D(16, (2, 2)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size = (2, 2)))

model.add(Conv2D(8, (2, 2)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size = (2, 2)))

model.add(Activation('softmax'))
model.add(Flatten())  
model.add(Dropout(0.3))
model.add(Dense(19316))

model.compile(loss = 'categorical_crossentropy',
              optimizer = 'adam',
              metrics = ['accuracy'],
              options = run_opts)

model.summary()

batch_size = 20
nb_epoch = 6

model.fit_generator(train_generator, 
                    steps_per_epoch = len(training_data) ,
                    epochs = nb_epoch,
                    validation_data = validation_generator,
                    validation_steps = len(val_data))

Answer 1

我建议您使用一种UNet。这种架构具有下采样层，然后是上采样层以返回原始空间维度。

请参阅此图像回归文章