当前位置: 首页 > 知识库问答 >
问题:

神经网络中隐藏的神经元在做什么?

陈晟睿
2023-03-14

例如,我的训练集是20 x 20个图像或400个特征图像来识别书写数字,我假设我在NNs中有模型3层:输入层包含400个神经元;一个隐藏层包含25个神经元,输出层包含10个神经元。我读了《神经网络与深度学习》的第一章。

最后一部分“一个简单的手写数字分类网络”(您可以使用ctrl-f进行搜索),它说“隐藏层中的神经元检测是否存在以下图像”。所以,它想说隐藏层中的神经元是通过图像呈现的吗?我认为它们是价值像素。若我错了,那个么如何从输入层的神经元创建图像呢?

共有1个答案

印晋
2023-03-14

我相信你已经听过隐藏层从输入特征中“提取高阶特征”的说法。简而言之,这就是他们通过“检查”这些输入特征之间的关系来做到的。

为了更深入地了解这个问题,让我们使用逻辑回归。

Logistic回归是一种类似的学习算法,但没有隐藏层。在逻辑回归(为方便起见,假设采用二元分类)中,根据网络的预测确定性,采用输入特征矩阵和权重矩阵乘积的sigmoid函数输出0到1之间的值。

所以它需要输入矩阵乘以权重矩阵,并应用sigmoid函数,答案是输出层。(即sigmoid(input_matrix*weight_matrix)=输出)

在ANN中,一个隐藏层基本上位于上面的sigmoid函数和输出层之间。它接受sigmoid函数的返回,然后将其乘以该层中一组神经元的另一个权重矩阵。这是对每一层神经元完成的。

因此,对于具有一个隐藏层的网络,它是-sigmoid(sigmoid(输入矩阵*权重矩阵x1)*权重矩阵x2)

现在这看起来似乎没有太大的差别,但在反向传播过程中它真的很有用,因为我们能够确定每个神经元各自对损失函数的贡献,从而相应地调整所有权重矩阵,一直回到输入层的权重。这为更复杂的函数建模提供了一个更复杂的工具。

所以本质上,隐藏层和输入层并没有什么不同。它们只是接收一些矩阵,将其乘以另一个,然后计算sigmoid函数。简单点。

 类似资料:
  • 神经网络 (Neural Network) 是机器学习的一个分支,全称人工神经网络(Artificial Neural Network,缩写 ANN),是一种模仿生物神经网络的结构和功能的数学模型或计算模型,用于对函数进行估计或近似。 Perceptron (感知器) 一个典型的神经网络由输入层、一个或多个隐藏层以及输出层组成,其中箭头代表着数据流动的方向,而圆圈代表激活函数(最常用的激活函数为

  • 译者:bat67 最新版会在译者仓库首先同步。 可以使用torch.nn包来构建神经网络. 我们以及介绍了autograd,nn包依赖于autograd包来定义模型并对它们求导。一个nn.Module包含各个层和一个forward(input)方法,该方法返回output。 例如,下面这个神经网络可以对数字进行分类: 这是一个简单的前馈神经网络(feed-forward network)。它接受一

  • 我用newff在Matlab中创建了一个用于手写数字识别的神经网络。 我只是训练它只识别0 输入层有9个神经元,隐层有5个神经元,输出层有1个神经元,共有9个输入。 我的赔率是0.1 我在Matlab中进行了测试,网络运行良好。现在我想用c语言创建这个网络,我编写了代码并复制了所有的权重和偏差(总共146个权重)。但当我将相同的输入数据输入到网络时,输出值不正确。 你们谁能给我指点路吗? 这是我的

  • 我玩神经网络。我了解卷积层、完全连接层和许多其他东西是如何工作的。我还知道什么是梯度,以及如何训练这样的网络。 框架千层面包含一个称为InverseLayer的层。 InverseLayer类通过应用要反转的层相对于其输入的偏导数,对神经网络的单层执行反转操作。 我不知道这是什么意思,或者我应该在什么时候使用这个层。或者倒置偏导数背后的想法是什么? 非常感谢你

  • 我一直在上神经网络的课,不太明白为什么我从逻辑回归的准确度得分和两层神经网络(输入层和输出层)中得到不同的结果。输出层使用sigmoid激活功能。据我所知,我们可以使用神经网络中的sigmoid激活函数来计算概率。这应该是非常相似的,如果不完全相同的逻辑回归试图完成。然后从那里使用梯度下降进行反向传播以最小化误差。这可能有一个简单的解释,但我不明白为什么准确度得分差异如此之大。在这个例子中,我没有

  • PyTorch包含创建和实现神经网络的特殊功能。在本章中,我们将创建一个简单的神经网络,实现一个隐藏层开发单个输出单元。 我们将使用以下步骤使用PyTorch实现第一个神经网络 - 第1步 首先,需要使用以下命令导入PyTorch库 - 第2步 定义所有图层和批量大小以开始执行神经网络,如下所示 - 第3步 由于神经网络包含输入数据的组合以获得相应的输出数据,使用以下给出的相同程序 - 第4步 借