CNN中权重梯度的意义
我使用MatConvNet开发了一个CNN，能够可视化第一层的重量。它看起来与这里显示的非常相似（也附在下面，以防我不够具体）http://cs.stanford.edu/people/karpathy/convnetjs/demo/cifar10.html
我的问题是，权重梯度是什么？我不确定这些是什么，也无法生成这些。。。
共有2个答案
我的回答涵盖了这个问题https://stackoverflow.com/a/68988426/10661506长话短说，l层的重量梯度是损失相对于l层重量的梯度。
如果您有一个正确的反向传播实现，您应该可以访问这些梯度，因为它们是计算每一层的权重更新所必需的。
NN中的权重
在神经网络中，一系列表示为矩阵的线性函数被应用于特征（通常它们之间有一个非线性联合）。这些函数由marices中的值决定，称为权重。
您可以可视化普通神经网络的权重，但可视化cnn的卷积层通常意味着略有不同。这些层旨在学习空间上的特征计算。
当你可视化权重时，你在寻找模式。一个好的平滑过滤器可能意味着权重是经过良好学习的，并且“在寻找特定的东西”。一个嘈杂的体重可视化可能意味着你的人际网络训练不足、过度拟合、需要更多的规则化或其他邪恶的东西（这些说法的正当来源）。
通过对体重可视化的回顾，我们可以看到将体重视为图像的模式开始出现：
重量梯度
“可视化渐变”意味着获取渐变矩阵并将其视为图像，就像之前获取权重矩阵并将其视为图像一样。
梯度只是一个导数；对于图像，它通常是作为有限差分计算的，非常简单，X梯度减去一行中彼此相邻的像素，Y梯度减去一列中彼此相邻的像素。
对于提取边缘的过滤器的常见示例，我们可能会看到特定方向的强梯度。通过可视化渐变（获取有限差分矩阵并将其视为图像），您可以更直接地了解过滤器如何在输入上运行。有很多尖端技术（例如）用于解释这些结果，但使图像弹出是最容易的部分！
一种类似的技术涉及在向前传递输入后可视化激活。在这种情况下，您正在查看输入是如何被权重更改的；通过可视化权重，您正在查看您期望它们如何更改输入。
不要想太多-权重很有趣，因为它们让我们看到函数的行为，权重的梯度只是帮助解释发生了什么的另一个特性。这一特性并没有什么神圣之处：下面是谷歌论文中一些很酷的聚类特性（t-SNE），它们着眼于空间可分性。
[1]如果引入重量分担，可能会更复杂，但不会太多
-
我刚刚在CNN上读完斯坦福CS231n的笔记，有一个现场演示的链接；但是，我不确定演示中的“激活”、“激活梯度”、“权重”和“权重梯度”指的是什么。以下截图是从演示中复制的。 混淆点1 首先，我对输入层的“激活”是指什么感到困惑。根据注释，我认为激活层指的是CNN中的RELU层，它本质上告诉CNN应该点亮哪些神经元（使用RELU函数）。我不确定这与如下所示的输入层有何关系。此外，为什么会显示两幅图
-
我正在学习使用卷积神经网络，并为其编写了自己的框架。我被困在必须通过网络反向传播错误（delta）并计算梯度的部分。我知道CNN中的过滤器是3D的，所以我们有一些过滤器的宽度、高度和深度。前馈很好。让我们看看前馈步骤中计算某一层输出的公式： 为了进行卷积，层l中滤波器的深度应与前一层l-1的输出z的输出通道数（深度）相同。在这里，在这个公式中，我们将前一层的输出和当前层的权重进行卷积，因为第三坐标
-
考虑到用于将图像分为两类的卷积神经网络，我们如何计算权重数： 输入：100x100灰度图像 第1层：具有60个7x7卷积滤波器的卷积层（步长=1，有效填充） 第2层：卷积层，具有100个5x5卷积滤波器（步长=1，有效填充） 第3层：最大池层，将第2层向下采样4倍（例如，从500x500到250x250） 第4层：250个单元的致密层 第5层：200个单元的致密层 第6层：单输出单元 假设每个层都
-
问题内容： 我对通过Keras API的简单性构建强化学习模型感兴趣。不幸的是，我无法提取相对于权重的输出梯度（不是误差）。 关于如何计算模型输出相对于每一层的权重的梯度的任何想法将被理解。 问题答案： 要使用Keras获得相对于权重的模型输出的梯度，您必须使用Keras后端模块。我创建了这个简单的示例来确切说明该怎么做： 为了计算梯度，我们首先需要找到输出张量。对于模型的输出（我最初的问题是什么
-
我如何在JavaFX中开发一个类似下面的渐变？
-
本文向大家介绍梯度消失，梯度爆炸的问题，相关面试题，主要包含被问及梯度消失，梯度爆炸的问题，时的应答技巧和注意事项，需要的朋友参考一下 参考回答： 激活函数的原因，由于梯度求导的过程中梯度非常小，无法有效反向传播误差，造成梯度消失的问题。