我可以将卷积神经网络视为完全连接的神经网络吗

Question

例如，有一个3乘3的图像，

有两个2x2滤波器的卷积神经网络卷积图像

最后，输出的维是2x2x2

我可以将上述程序视为以下内容吗？

由于2x2过滤器，在整个图像上滑动后，我得到了4个小图像

并使用这4幅小图像作为全连接神经网络的输入

最后我也能得到8个输出

我真的不知道CNN中的反向传播，所以我试图从经典的全连接神经网络中理解它。

通过输入一幅小图像，我们可以一次性更新全连接神经网络中的权重，这与更新CNN中过滤器的权重是一样的吗？

我想得对吗？

Answer 1

简言之，是的。您可以将CNN视为（在其他可能的解释中）：

>

直接计算卷积运算和梯度的神经网络（典型方法）

一个具有权重共享的完全连接的网络，因此为了简单起见，让我们假设输入是大小为3的1d，并且您的内核大小为2，所以它看起来像

[X1 X2 X3]conv[w1 w2]=[X1w1 X2w2 X2w1 X3w3]

这相当于有一个完全连接的网络，其权重vij表示“第i个输入神经元和第j个隐藏神经元之间的权重”

X1
X2     h1 = X1v11+X2v21+X3v31
X3     h2 = X1v12+X2v22+X3v32

因此，如果您将v31=v12=0和v11=v22，v21=v32您会得到完全相同的网络。相等我的意思是字面上这是同一个变量（因此词权重共享）。

小神经网络的集合（同样，具有权重共享），它们连接到不同的小输入块（您提议的）。所以您的整个模型看起来像：

                   /-patch 1 -- shared fully connected net\ 
Input --splitting----patch 2 -- shared fully connected net--merging---
                   .                                      .
                   .                                      . 
                   \-patch K -- shared fully connected net/ 

这只是同一对象的三个视图，在这两种情况下，如果计算偏导数（梯度），最终将得到完全相同的方程。