keras如何管理卷积层的权重？

Question

我正在使用MNIST数据集，我正在使用keras来训练卷积神经网络。关于权重矩阵，有些东西我不明白。

输入层有28x28=784个神经元。然后我使用：

Conv2D(32,kernel_size=(7,7),stride=(3,3),use_bias=False)
Conv2D(64,kernel_size=(5,5),stride=(2,2),use_bias=False)
Flatten()
Dense(200,use_bias=False)
Dense(150,use_bias=False)
Dense(10,use_bias=False,softmax)

在我训练模型后，把W=模型。get\u weights（），I打印W[I]。每个i的形状并获得：

(7,7,1,32)
(5,5,32,64)
(256,200)
(200,150)
(150,10)

据我所知，这意味着对于第一个隐藏层有32个8x8=64的图像（因为（28-7)/3 1=8)因此第一个隐藏层中有64x32=2048个神经元。

下一部分是让我困惑的部分。由于下一个卷积具有内核大小（5,5）和跨距（2,2），并使用64个过滤器，这是否意味着我们对第一个隐藏层中获得的每个8x8图像应用64个卷积？这将产生64x32=2048个2x2大小的图像，在第二个隐藏层中将有2048x4=8192个神经元。但下一层的权重矩阵是形状（256200）。它不应该是形状吗（8192200）？这里发生了什么？

Answer 1

我认为这个解释会有帮助。计算输出特性的一般公式如下

N_out = ([N_input + 2*padding - kernal_size]/stride) + 1

对于第一个conv层

N_out = ([28 + 2(0) - 7])/3)+1
N_out = 8

你得到了32个滤镜的8x8图像

对于第二个转换层

N_out = ([8 + 2(0) - 5])/2)+1
N_out = 2.5

正如您所看到的，输出大小为2.5，因为您没有指定填充，所以tenorflow使用默认填充作为“VALID”。检查此链接以获取源。

现在，让我们看看如果在8x8图像上使用5X5内核和步长2的有效填充，会发生什么情况。这就是ascii艺术

1 2 3 4 5 6 7 8
|_______|          <--- 1 st window
    |_______|      <--- 2 nd window
        |________  <--- 3rd window will drop(since valid padding)

因此，在第二层（256）之后，您将得到带有64个通道的2x2图像。

例如

from keras import layers

m = Sequential()
m.add(Conv2D(32,kernel_size=(7,7),strides=(3,3),use_bias=False,input_shape=(28,28,1)))
m.add(Conv2D(64,kernel_size=(5,5),strides=(2,2),use_bias=False))
m.add(Flatten())
m.add(Dense(200,use_bias=False))
m.add(Dense(150,use_bias=False))
m.add(Dense(10,use_bias=False,activation='softmax'))

for layer in m.layers: 
    print(layer.output_shape)

输出

(None, 8, 8, 32)
(None, 2, 2, 64)
(None, 256)
(None, 200)
(None, 150)
(None, 10)