神经网络中的哪些层使用激活函数？
神经网络的输入层使用激活函数，还是仅仅是隐藏层和输出层？
共有2个答案
隐藏层和输出层神经元具有激活函数，但输入层神经元没有，输入层只是获取输入并将其与唯一权重相乘。激活函数对接收到的输入进行转换。
这是斯坦福大学神经网络视觉识别课程中的一个三层神经网络图。
两个隐藏层将始终具有激活函数。输出层可能有也可能没有激活函数：对于二分类，您可能有一个sigmoid函数来压缩您的输出，但对于回归，您通常不会有激活函数。
为清晰起见，隐藏层计算：
output = activation_function(W x inputs + b)
您可能知道，激活函数（）可以是一个sigmoid、tanh、ReLU或其他。
-
本文向大家介绍问题：神经网络激活函数？相关面试题，主要包含被问及问题：神经网络激活函数？时的应答技巧和注意事项，需要的朋友参考一下 参考回答： sigmod、tanh、relu 解析：需要掌握函数图像，特点，互相比较，优缺点以及改进方法
-
我试着运行一个没有任何激活函数的简单神经网络，并且网络不会收敛。我正在使用MSE成本函数进行MNIST分类。 然而，如果我将校正线性激活函数应用于隐藏层（输出=max（0，x），其中x是加权和），那么它会很好地收敛。 为什么消除前一层的负面输出有助于学习？
-
我试图自学机器学习，我有一个类似的问题。 是否正确： 例如，如果我有一个输入矩阵，其中X1、X2和X3是三个数字特征（例如，假设它们是花瓣长度、茎长度、花长度，我试图标记样本是否是特定的花物种）： 您将上表的第一个ROW（不是列）的向量输入到网络中，如下所示： 也就是说，将有三个神经元（第一个表行的每个值为1），然后随机选择w1、w2和w3，然后要计算下一列中的第一个神经元，您执行我描述的乘法，然
-
我知道密集层意味着一个典型的完全连接层，这意味着每个输入都将到每个神经元进行乘法。但最近我脑海中出现了一些问题，当在youtube、博客、StackOverflow和文章上搜索时，没有人给我满意的答案。 1-为什么我们需要神经网络中的全连接（密集）层，它的用法？我们不能使用稀疏层吗（意味着一些输入只会到达一些神经元，所以所有神经元不会得到所有输入） 2-如果我们使用稀疏层会发生什么？我知道计算量会
-
我正在学习神经网络，并在python中实现它。我首先定义了一个 softmax 函数，我遵循这个问题给出的解决方案 Softmax 函数 - python。以下是我的代码： 我得到了一个测试代码，看看函数是否正确。是测试数据，
-
我正在尝试使用CNN对图像进行分类，据我所知，ReLu是每个卷积层中激活单元的常用选择。根据我的理解，ReLU将保留所有正图像强度，并将负图像强度转换为0。对我来说，这就像是处理步骤，而不是真正的“启动”步骤。那么，在这里使用ReLU的目的是什么？