当前位置: 首页 > 知识库问答 >
问题:

神经网络-更新权重矩阵-反向传播算法

宰父保臣
2023-03-14

我在吴恩达教授的讲座或这方面的帮助下,使用图31算法实现神经网络。

我想我很好地理解了正向传播和反向传播,但混淆了每次迭代后更新权重(theta)。

何时以及如何更新权重(θ)矩阵-θ1,θ2?

大三角洲是干什么的?[已解决,谢谢@xhudik]

我们是否必须添加1(输入层和隐藏层中的偏差单位?)

共有1个答案

艾凯捷
2023-03-14

问题1:由@nikie(荣誉)解释

问题2:Andrew NG的演讲很棒。然而,您所指的是一个高级的,并且希望了解详细信息的。这个怎么样:http://galaxy.agh.edu.pl/~vlsi/AI/backp\U t\U en/backprop。html它通过有用的图形为您提供更多详细信息

 类似资料:
  • 我正在尝试实现一个简单的神经网络。我知道已经有很多可用的库,这不是重点。 我的网络只有3层:一个输入层一个隐藏层一个输出层 输出层有8个神经元,每个神经元代表不同的类。 我知道如何实现feedfoward算法,但我真的很难实现反向传播算法。 这是我到目前为止得出的结论: 我尝试使用Iris数据集进行测试:https://en.wikipedia.org/wiki/Iris_flower_data_

  • 我们首先回顾DNN的反向传播算法。在DNN中,我们是首先计算出输出层的$$deltaL:deltaL = frac{partial J(W,b)}{partial zL} = frac{partial J(W,b)}{partial aL}odot sigma{'}(zL)$$ 利用数学归纳法,用$$delta{l+1}$$的值一步步的向前求出第l层的$$deltal$$,表达式为:$$delta

  • 1. DNN反向传播算法要解决的问题 在了解DNN的反向传播算法前,我们先要知道DNN反向传播算法要解决的问题,也就是说,什么时候我们需要这个反向传播算法? 回到我们监督学习的一般问题,假设我们有m个训练样本:$${(x_1,y_1), (x_2,y_2), ..., (x_m,y_m)}$$,其中x为输入向量,特征维度为$$n_{in}$$,而y为输出向量,特征维度为$$n_{out}$$。我们

  • 我很难构建好的神经网络教学算法,因为有一些人工操作。第一件事:我的目标是教nn-xor函数,我使用sigmoid作为激活函数和简单的梯度下降。前馈很容易,但backprop在某种程度上令人困惑——大多数算法描述中常见的步骤有:1。计算输出层上的错误。2、将此错误传播到有关权重3的隐藏层。更新突触上的权重 所以我的问题:1。偏差也应该更新吗?如果是,如何更新?目前我随机选择偏差[0.5;1]?2.在

  • 我正在尝试用RELU实现神经网络。 输入层- 以上是我的神经网络结构。我对这个relu的反向传播感到困惑。对于RELU的导数,如果x 有人能解释一下我的神经网络架构的反向传播“一步一步”吗?

  • 考虑具有以下架构的卷积神经网络: Standford的深度学习教程使用以下等式来实现这一点: 然而,在使用这个等式时,我面临以下问题: 我做错了什么?有人能解释一下如何通过卷积层传播错误吗? 简单的MATLAB示例将受到高度赞赏。