卷积神经网络中的“激活”、“激活梯度”、“权重”和“权重梯度”是什么？

Question

我刚刚在CNN上读完斯坦福CS231n的笔记，有一个现场演示的链接；但是，我不确定演示中的“激活”、“激活梯度”、“权重”和“权重梯度”指的是什么。以下截图是从演示中复制的。

混淆点1

首先，我对输入层的“激活”是指什么感到困惑。根据注释，我认为激活层指的是CNN中的RELU层，它本质上告诉CNN应该点亮哪些神经元（使用RELU函数）。我不确定这与如下所示的输入层有何关系。此外，为什么会显示两幅图像？第一幅图像似乎显示了提供给CNN的图像，但我无法区分第二幅图像显示的内容。

混淆点2

出于与上述相同的原因，我不确定此处显示的“激活”和“激活梯度”是什么。我认为“权重”显示的是卷积层中16个过滤器的样子，但我不确定“权重梯度”应该显示什么。

混淆点3

我想我理解RELU层中的“激活”指的是什么。在输出图像的每个值（像素）都应用了RELU功能后，它将显示所有16个过滤器的输出图像，因此，为什么16个图像中的每个都包含黑色（未激活）或一些白色阴影（激活）的像素。然而，我不明白“激活梯度”指的是什么。

混淆点4

也不明白这里的“激活梯度”指的是什么。

我希望通过理解这个演示，我能更多地理解CNN

Answer 1

混淆点1对于卷积层，每一层都有检测特征的职责。想象一下，你想检测一张人脸，第一层会检测边缘，也许下一层会检测你的鼻子等等。在最后一层，会检测到更复杂的特征。在第一层，你看到的是第一层从图像中检测到的东西。混淆点2如果你查看完全连接的层，我认为它们可能会显示它们在反向传播期间获得的梯度。因为通过完全连接的层，它们只得到灰黑色等颜色。混淆点3没有任何相关的层。抽搐后，你使用激活函数，你得到另一个矩阵，然后你通过另一层。在reu之后，你得到颜色。混淆点4同上。

如果你不明白任何一点，请告诉我。

Answer 2

混淆点1：看代码，在输入层中，“激活”可视化是第一个图形的彩色图像。第二个图形没有任何意义，因为代码试图显示一些渐变值，但不清楚它们来自何处。

// HACK to draw in color in input layer
if(i===0) {
  draw_activations_COLOR(activations_div, L.out_act, scale);
  draw_activations_COLOR(activations_div, L.out_act, scale, true);

混淆点2,3

• 激活：它是层的输出
• 激活梯度：这个名称令人困惑，但它基本上是损失相对于当前层l输入的梯度。这在您想调试autodif算法的情况下很有用
• 权重：只有当图层是卷积时才会打印。它基本上是卷积的不同过滤器
• 权重梯度：它是损失相对于当前层l权重的梯度

Answer 3

这个问题与这个问题相似，但不完全相同。此外，这里还有一个带注释的ConvNetJS示例代码链接（这里有一个指向完整文档的链接）。您可以在演示页面顶部查看代码本身的代码。

激活函数是一个函数，它接受一些输入并根据是否达到某个“阈值”（这是每个不同激活函数的特定值）输出一些值。这来自神经元的工作方式，它们接受一些电输入，只有当它们达到某个阈值时才会激活。

混淆点1：第一组图像显示的是原始输入图像（左边的彩色图像），两个图像的右边是经过激活函数后的输出。你不应该真的能够解释第二个图像，因为它正在通过网络进行非线性和感知到的随机非线性转换。

混淆点2：与前一点类似，“激活”是图像像素信息传递到的功能。梯度本质上是激活函数的斜率。它看起来更稀疏（即，颜色仅在某些位置显示），因为它显示了图像中每个节点关注的可能区域。例如，第一行的第6个图像在左下角有一些颜色；这可能表明激活功能发生了很大变化，以表明这一领域的有趣之处。本文可能会澄清一些关于权重和激活函数的混淆。这篇文章提供了一些关于每一步都在做什么的非常好的视觉效果。

混淆点3：这起初让我感到困惑，因为如果你考虑一个ReLu函数，你会发现它的斜率为1表示正x，其他任何地方都为0。所以采取激活函数（在这种情况下是ReLu）的梯度（或斜率）是没有意义的。“最大激活”和“最小激活”值对于ReLu是有意义的：最小值将为零，最大值是任何最大值。这直接来自ReLu的定义。 为了解释梯度值，我怀疑这些值中添加了一些高斯噪声和0.1的偏差项。 编辑：梯度是指如下所示的成本-权重曲线的斜率。y轴是损失值或使用x轴上的权重值w计算的误差。

_{图像源https://i.ytimg.com/vi/b4Vyma9wPHo/maxresdefault.jpg}

混淆点4：见上文。