神经网络训练中的Elman和Jordan上下文值
我正在使用Encog框架对Elman和/或Jordan ANN进行实验。我正在尝试编写自己的代码，但正在研究Encog是如何实现的。我看到了时间的反向传播是如何更新权重的，但是上下文神经元是如何更新的呢？当计算神经网络的输出时，这些值似乎会随机波动。这些值如何使简单的递归神经网络能够随着时间的推移识别输入数据中的模式？
共有1个答案
上下文神经元值本身不会随着训练的进行而更新。它们与下一层之间的权重将在训练期间更新。上下文值将随着神经网络的运行而更新。
-
我有一个关于卷积神经网络（）训练的问题。 我成功地使用tensorflow训练了一个网络，它获取一个输入图像（1600像素），然后输出三个匹配的类中的一个。 使用不同的培训课程测试网络，效果良好。然而当我给它一个不同的第四个图像（不包含任何经过训练的3个图像）时，它总是返回一个随机匹配到其中一个类。 我的问题是，如何训练网络来分类图像不属于这三个训练图像中的任何一个？类似的例子是，如果我针对mni
-
在本章中，我们将了解可以使用TensorFlow框架实现的神经网络训练的各个方面。 以下几个建议，可以评估 - 1. 反向传播 反向传播是计算偏导数的简单方法，其中包括最适合神经网络的基本形式的合成。 2. 随机梯度下降 在随机梯度下降中，批处理是示例的总数，用户用于在单次迭代中计算梯度。到目前为止，假设批处理已经是整个数据集。最好的例子是谷歌规模; 数据集通常包含数十亿甚至数千亿个示例。 3.
-
第 10 章介绍了人工神经网络，并训练了第一个深度神经网络。 但它非常浅，只有两个隐藏层。 如果你需要解决非常复杂的问题，例如检测高分辨率图像中的数百种类型的对象，该怎么办？ 你可能需要训练更深的 DNN，也许有 10 层或更多，每层包含数百个神经元，通过数十万个连接相连。 这可不像公园散步那么简单，可能碰到下面这些问题： 你将面临棘手的梯度消失问题（或相关的梯度爆炸问题）：在反向传播过程中，梯度
-
第 10 章介绍了人工神经网络，并训练了我们的第一个深度神经网络。 但它是一个非常浅的 DNN，只有两个隐藏层。 如果你需要解决非常复杂的问题，例如检测高分辨率图像中的数百种类型的对象，该怎么办？ 你可能需要训练更深的 DNN，也许有 10 层，每层包含数百个神经元，通过数十万个连接来连接。 这不会是闲庭信步： 首先，你将面临棘手的梯度消失问题（或相关的梯度爆炸问题），这会影响深度神经网络，并使较
-
我们现在将学习如何训练神经网络。 我们还将学习Python深度学习中的反向传播算法和反向传递。 我们必须找到神经网络权重的最佳值，以获得所需的输出。 为了训练神经网络，我们使用迭代梯度下降法。 我们最初从权重的随机初始化开始。 在随机初始化之后，我们使用前向传播过程对数据的某个子集进行预测，计算相应的成本函数C，并将每个权重w更新为与dC/dw成比例的量，即成本函数的导数。重量。 比例常数称为学习
-
这是我的问题。我训练了一个卷积神经网络，用tensorflow将图像分为两类。我现在想知道如何使用神经网络的权重，并在未标记的随机图像上进行测试。tensorflow中是否有这样的函数，或者我现在应该自己运行卷积吗？