三维卷积神经网络的滤波器尺寸和输出层

Question

我正在实现一个三维卷积神经网络，我有两个问题。

问题一

每个输入是一个大小为（201,10,4）的3D矩阵。我希望我的过滤器能够在第二和第三维度上移动，因为它们是完全连接的。第三个维度是特征维度。所以我不想看第二和第三维度的当地社区。因此，我的过滤器大小将是例如（3,10,4）的大小。所以过滤器大小等于第二和第三维度，但我们在第一维度中有权重共享。以下是我的卷积代码：

## input layer
input_layer = Input((201, 10, 4))

## convolutional layers
conv_layer1 = Conv3D(filters=8, kernel_size=(3, 10, 4), activation='relu')(input_layer)
conv_layer2 = Conv3D(filters=16, kernel_size=(3, 10, 4), activation='relu')(conv_layer1)

所以我应该在这里使用步幅，这样它只在第一维度上分担重量。并且在剩下的第二和第三维度上保持完全连接？

问题二

对于每个矩阵，我有一个形状（6，）的输出，在每个索引处，我有每个特征的频率。所以我想让我的模型预测每个特征的频率。我想我需要在这里使用MSE。但我的输出层应该是什么样子。如果是这样：

model.add(Dense(1, activation='linear'))
opt = SGD(lr=0.01, momentum=0.9)
model.compile(loss='mean_squared_error', optimizer=opt)

或者这个：

model.add(Dense(6, activation='linear'))
opt = SGD(lr=0.01, momentum=0.9)
model.compile(loss='mean_squared_error', optimizer=opt)

敬请见识。

Answer 1

据我所知，Conv3D需要5维输入，（无、D1、D2、D3、D4）。

您的过滤器只会在D1、D2、D3中移动，而不会在D4中移动，因为对于D4，它将是所有过滤器的总和。假设D1、D2、D3相同，则同一过滤器始终与D4中的所有元素相乘。

答案1：由于第二和第三维度与过滤器大小相同，因此不需要在Con3D中跨步，但不要忘记padding='same'，否则第二和第三维度将减少（过滤器-1）。

这意味着只有第一个Con3D层具有（201,10,4）尺寸，第二个Conv3D层将具有（199，1，1），这对于第二个Conv3D层来说不是最优的。

答案2：最后一层应该有与输出数量相等的神经元，您的输出是（6），所以密集层应该是密集的（6）。

注：无需添加线性激活