Keras SimpleRNN的参数数

Question

我有一个SimpleRNN像：

model.add(SimpleRNN(10, input_shape=(3, 1)))
model.add(Dense(1, activation="linear"))

模型摘要说：

simple_rnn_1 (SimpleRNN)   (None, 10)   120       

我很好奇simple\n\u 1的参数编号是120。

有人能回答我的问题吗？

Answer 1

我想象一下你添加的简单，我认为这个数字可以解释很多。

SimpleRNN层，我是这里的新手，不能直接发布图像，所以你需要单击链接。

从展开版本的SimpleRN层中，可以将其视为密集层。前一层是输入和当前层（前一步）本身的串联。

因此，SimpleRN的参数数量可以计算为致密层：

num\u para=units\u pre*units num\u bias

其中：

units\u pre是输入神经元（设置中为1）和单位（见下文）的总和，

单位是当前层中神经元的数量（设置为10个），

num\u bias是当前层中偏移项的数目，与单位相同。

插入您的设置，我们实现num\u para=（1 10）*10 10=120。

Answer 2

使用这样一个简单的网络可能更容易直观地理解：

权重数为16（4*4）12（3*4）=28，偏差数为4。

其中4是单位数，3是进审量，所以公式就像第一个答案：num_units^2num_units*input_dimnum_units或简单地num_units*（num_unitsinput_dim1），这为问题中给出的参数产生10 * (10 1 1) = 120。

Answer 3

当您查看表格的标题时，会看到标题Param：

Layer (type)              Output Shape   Param 
===============================================
simple_rnn_1 (SimpleRNN)   (None, 10)    120   

该数字表示各层中可训练参数（权重和偏差）的数量，在这种情况下，您的简化了。

编辑：

计算权重的公式如下：

经常性\u权重输入\u权重偏差

num_featuresnum_unitsnum_unitsnum_units

解释：

num\u units=等于RNN中的单元数

num\u features=等于输入的特征数

现在您的RNN中发生了两件事。

首先，您有一个循环，在这个循环中，状态被循环地输入到模型中，以生成下一步。重复步骤的权重为：

recurrent_weights=num_units*num_units

其次，您在每一步都有序列的新输入。

输入权重=num特征*num单位

（通常最后一个RNN状态和新输入都串联起来，然后与一个权重矩阵相乘，但输入和最后一个RNN状态使用不同的权重）

现在我们有了权重，缺少的是偏差-对于每个单位1偏差：

偏差=num\u单位*1

最后我们得到了公式：

经常性\u权重输入\u权重偏差

或

num\u单位*num\u单位num\u特征*num\u单位偏差

=

（num_featuresnum_units）*num_units偏见

在您的情况下，这意味着可训练的参数是：

10*10 1*10 10=120

我希望这是可以理解的，如果不只是告诉我-这样我可以编辑它，使它更清楚。