CNN中的反向传播（通过卷积层）和梯度
我正在学习使用卷积神经网络，并为其编写了自己的框架。我被困在必须通过网络反向传播错误（delta）并计算梯度的部分。我知道CNN中的过滤器是3D的，所以我们有一些过滤器的宽度、高度和深度。前馈很好。让我们看看前馈步骤中计算某一层输出的公式：
为了进行卷积，层l中滤波器的深度应与前一层l-1的输出z的输出通道数（深度）相同。在这里，在这个公式中，我们将前一层的输出和当前层的权重进行卷积，因为第三坐标（深度）在这两者中相等。现在，让我们检查错误反向传播的公式：
在这一个中，我们有delta和权重数组w的卷积，都来自层L1。这让我很困惑，因为一般来说，它们的第三个坐标（深度）并不总是相等的。考虑VGGNet体系结构，让我们看看过滤器数量变化的三个连续层：
。。。
CONV3-128：[112x112x128]内存：112*112*128=1.6M重量：（3*3*128）*128=147456
POOL2：[56x56x128]内存：56*56*128=400K权重：0
CONV3-256：[56x56x256]内存：56*56*256=800K权重：（3*3*128）*256=294912
。。。
在过滤器数量从128增加到256（在层CONV3-256中）后，它具有上述激活维度（和误差增量）和权重。然而，由于滤波器的深度（本例中为128）不同于其增量的第三维（本例中为256），我如何执行这两个阵列的卷积？非常感谢帮助我的人。我觉得这很困惑，在这方面我在网上找不到太多帮助。它大多解释得很差或被认为是“已知的”。
共有1个答案
Delta和权重的深度不相等，这是对的。但过滤器的数量等于三角洲的深度。我的意思是，您可以有一个大小为5x5x2的过滤器和大小为20x20x4的delta，但这里的问题是，实际上您将有四个过滤器。你可以通过建立一个小型CNN来检查这一点，你会看到forwrad通行证将无效，除非这个条件为真。
-
我们首先回顾DNN的反向传播算法。在DNN中，我们是首先计算出输出层的$$deltaL:deltaL = frac{partial J(W,b)}{partial zL} = frac{partial J(W,b)}{partial aL}odot sigma{'}(zL)$$ 利用数学归纳法，用$$delta{l+1}$$的值一步步的向前求出第l层的$$deltal$$，表达式为：$$delta
-
考虑具有以下架构的卷积神经网络： Standford的深度学习教程使用以下等式来实现这一点： 然而，在使用这个等式时，我面临以下问题： 我做错了什么？有人能解释一下如何通过卷积层传播错误吗？ 简单的MATLAB示例将受到高度赞赏。
-
在上一篇里，我们已经讲到了CNN的结构，包括输出层，若干的卷积层+ReLU激活函数，若干的池化层，DNN全连接层，以及最后的用Softmax激活函数的输出层。这里我们用一个彩色的汽车样本的图像识别再从感官上回顾下CNN的结构。图中的CONV即为卷积层，POOL即为池化层，而FC即为DNN全连接层，包括了我们上面最后的用Softmax激活函数的输出层。 从上图可以看出，要理顺CNN的
-
问题是卷积神经网络的数学细节。假设网络的体系结构（其目标是图像分类）是这样的 输入图像32x32 第一个隐藏层3x28x28（由3个大小为5x5的滤波器卷积而成，步幅=0，无填充），随后是激活 池化层（在2x2区域上池化），产生3x14x14输出 第二隐藏层6x10x10（由6个大小为5x5的滤波器卷积而成，步幅=0，无填充），随后激活 池化层（在2x2区域上池化），产生6x5x5输出 具有100
-
如果读者做了上一节的练习，就会发现，如果不裁剪梯度，模型将无法正常训练。为了深刻理解这一现象，本节将介绍循环神经网络中梯度的计算和存储方法，即通过时间反向传播（back-propagation through time）。 我们在“正向传播、反向传播和计算图”一节中介绍了神经网络中梯度计算与存储的一般思路，并强调正向传播和反向传播相互依赖。正向传播在循环神经网络中比较直观，而通过时间反向传播其实是
-
本文向大家介绍CNN的卷积核是单层还是多层的？相关面试题，主要包含被问及CNN的卷积核是单层还是多层的？时的应答技巧和注意事项，需要的朋友参考一下 描述网络模型中某层的厚度，通常用名词通道channel数或者特征图feature map数。不过人们更习惯把作为数据输入的前层的厚度称之为通道数（比如RGB三色图层称为输入通道数为3），把作为卷积输出的后层的厚度称之为特征图数。 卷积核的厚度H, 一般