前馈神经网络和递归神经网络的根本区别？
我经常读到，前馈和递归神经网络（RNNs）之间存在着根本的区别，这是由于前馈网络缺乏内部状态和短期记忆。乍一看，我觉得这似乎有理。
然而，当学习一个递归神经网络的反向传播通过时间算法时，递归网络转化为等价的前馈网络，如果我理解正确的话。
这就意味着，事实上没有根本的区别。为什么RNN在某些任务（图像识别、时间序列预测等）中比深度前馈网络表现得更好？
共有1个答案
训练是用一些技巧来完成的，这并不改变这样一个事实，即在保持网络状态方面存在根本的差异，而前馈网络不存在这种差异。
“展开式”前馈网络并不等同于递归网络。它只是一个马尔可夫近似值（到由“展开”级别的数量所给出的级别）。所以你只是“模拟”有k步记忆的递归网络，而实际的递归神经网络（理论上）有无限的记忆。
-
介绍 可以在 this great article 查看循环神经网络(RNN)以及 LSTM 的介绍。 语言模型 此教程将展示如何在高难度的语言模型中训练循环神经网络。该问题的目标是获得一个能确定语句概率的概率模型。为了做到这一点，通过之前已经给出的词语来预测后面的词语。我们将使用 PTB(Penn Tree Bank) 数据集，这是一种常用来衡量模型的基准，同时它比较小而且训练起来相对快速。 语
-
递归神经网络（Recurrent Neural Networks，RNN）是两种人工神经网络的总称：时间递归神经网络（recurrent neural network）和结构递归神经网络（recursive neural network）。时间递归神经网络的神经元间连接构成有向图，而结构递归神经网络利用相似的神经网络结构递归构造更为复杂的深度网络。 RNN一般指代时间递归神经网络。单纯递归神经网络
-
主要内容：使用TensorFlow实现递归神经网络递归神经网络是一种面向深度学习的算法，遵循顺序方法。在神经网络中，我们总是假设每个输入和输出都独立于所有其他层。这些类型的神经网络称为循环，因为它们以顺序方式执行数学计算。 考虑以下步骤来训练递归神经网络 - 第1步 - 从数据集输入特定示例。 第2步 - 网络将举例并使用随机初始化变量计算一些计算。 第3步 - 然后计算预测结果。 第4步 - 生成的实际结果与期望值的比较将产生错误。 第5步 -
-
深度神经网络具有独特的功能，可以帮助机器学习突破自然语言的过程。 据观察，这些模型中的大多数将语言视为单词或字符的平坦序列，并使用一种称为递归神经网络或RNN的模型。 许多研究人员得出的结论是，对于短语的分层树，语言最容易被理解。 此类型包含在考虑特定结构的递归神经网络中。 PyTorch有一个特定的功能，有助于使这些复杂的自然语言处理模型更容易。 它是一个功能齐全的框架，适用于各种深度学习，并为
-
递归神经网络是一种遵循顺序方法的深度学习导向算法。在神经网络中，我们总是假设每个输入和输出都独立于所有其他层。这些类型的神经网络被称为循环，因为它们以顺序方式执行数学计算，完成一个接一个的任务。 下图说明了循环神经网络的完整方法和工作 - 在上图中，，，和是包括一些隐藏输入值的输入，即输出的相应输出的，和。现在将专注于实现PyTorch，以在递归神经网络的帮助下创建正弦波。 在训练期间，将遵循模型
-
介绍 可以在 this great article 查看循环神经网络(RNN)以及 LSTM 的介绍。 语言模型 此教程将展示如何在高难度的语言模型中训练循环神经网络。该问题的目标是获得一个能确定语句概率的概率模型。为了做到这一点，通过之前已经给出的词语来预测后面的词语。我们将使用 PTB(Penn Tree Bank) 数据集，这是一种常用来衡量模型的基准，同时它比较小而且训练起来相对快速。 语