问题：神经网络激活函数？
参考回答：
sigmod、tanh、relu
解析：需要掌握函数图像，特点，互相比较，优缺点以及改进方法
-
神经网络的输入层使用激活函数，还是仅仅是隐藏层和输出层？
-
我试着运行一个没有任何激活函数的简单神经网络，并且网络不会收敛。我正在使用MSE成本函数进行MNIST分类。 然而，如果我将校正线性激活函数应用于隐藏层（输出=max（0，x），其中x是加权和），那么它会很好地收敛。 为什么消除前一层的负面输出有助于学习？
-
神经网络 (Neural Network) 是机器学习的一个分支，全称人工神经网络（Artificial Neural Network，缩写 ANN），是一种模仿生物神经网络的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。 Perceptron (感知器) 一个典型的神经网络由输入层、一个或多个隐藏层以及输出层组成，其中箭头代表着数据流动的方向，而圆圈代表激活函数（最常用的激活函数为
-
译者：bat67 最新版会在译者仓库首先同步。 可以使用torch.nn包来构建神经网络. 我们以及介绍了autograd，nn包依赖于autograd包来定义模型并对它们求导。一个nn.Module包含各个层和一个forward(input)方法，该方法返回output。 例如，下面这个神经网络可以对数字进行分类： 这是一个简单的前馈神经网络（feed-forward network）。它接受一
-
我刚刚在CNN上读完斯坦福CS231n的笔记，有一个现场演示的链接；但是，我不确定演示中的“激活”、“激活梯度”、“权重”和“权重梯度”指的是什么。以下截图是从演示中复制的。 混淆点1 首先，我对输入层的“激活”是指什么感到困惑。根据注释，我认为激活层指的是CNN中的RELU层，它本质上告诉CNN应该点亮哪些神经元（使用RELU函数）。我不确定这与如下所示的输入层有何关系。此外，为什么会显示两幅图
-
我玩神经网络。我了解卷积层、完全连接层和许多其他东西是如何工作的。我还知道什么是梯度，以及如何训练这样的网络。 框架千层面包含一个称为InverseLayer的层。 InverseLayer类通过应用要反转的层相对于其输入的偏导数，对神经网络的单层执行反转操作。 我不知道这是什么意思，或者我应该在什么时候使用这个层。或者倒置偏导数背后的想法是什么？ 非常感谢你