为什么每个层的检查点中都有两个额外的变量？
我创建了一个包含三个卷积层和两个完全连接层的卷积神经网络。我使用了tf。火车saver（）保存变量。当我使用inspect\u checkpoint时。py检查保存在检查点文件中的变量。为什么每个层都保存了两个附加变量，如Adam\u 1和Adam？另外，什么是beta1\u电源和beta2\u电源？
conv_layer1_b (DT_FLOAT) [32]
conv_layer1_w (DT_FLOAT) [1,16,1,32]
conv_layer1_b/Adam (DT_FLOAT) [32]
conv_layer1_w/Adam (DT_FLOAT) [1,16,1,32]
conv_layer1_w/Adam_1 (DT_FLOAT) [1,16,1,32]
conv_layer1_b/Adam_1 (DT_FLOAT) [32]
conv_layer3_w/Adam (DT_FLOAT) [1,16,64,64]
conv_layer3_w (DT_FLOAT) [1,16,64,64]
conv_layer3_b/Adam_1 (DT_FLOAT) [64]
conv_layer3_b (DT_FLOAT) [64]
conv_layer3_b/Adam (DT_FLOAT) [64]
conv_layer3_w/Adam_1 (DT_FLOAT) [1,16,64,64]
conv_layer2_w/Adam_1 (DT_FLOAT) [1,16,32,64]
conv_layer2_w/Adam (DT_FLOAT) [1,16,32,64]
conv_layer2_w (DT_FLOAT) [1,16,32,64]
conv_layer2_b/Adam_1 (DT_FLOAT) [64]
conv_layer2_b (DT_FLOAT) [64]
conv_layer2_b/Adam (DT_FLOAT) [64]
beta1_power (DT_FLOAT) []
beta2_power (DT_FLOAT) []
NN1_w (DT_FLOAT) [2432,512]
NN1_b (DT_FLOAT) [512]
NN1_w/Adam_1 (DT_FLOAT) [2432,512]
NN1_b/Adam_1 (DT_FLOAT) [512]
NN1_w/Adam (DT_FLOAT) [2432,512]
NN1_b/Adam (DT_FLOAT) [512]
NN2_w (DT_FLOAT) [512,2]
NN2_b (DT_FLOAT) [2]
NN2_w/Adam_1 (DT_FLOAT) [512,2]
NN2_b/Adam_1 (DT_FLOAT) [2]
NN2_w/Adam (DT_FLOAT) [512,2]
NN2_b/Adam (DT_FLOAT) [2]
共有1个答案
您正在使用Adam优化器(https://arxiv.org/abs/1412.6980)用于优化。Adam有两个状态变量来存储与参数大小相同的梯度统计信息（算法1），即每个参数变量的两个附加变量。优化器本身有几个超参数，其中包括β1和β2，我想在您的例子中，它们存储为变量。
-
当我转到<代码>/银行/1我看到了预期的账户信息。很好，很好。 当我转到<代码>/银行/1/description我看到了描述（好），但我也看到了帐户信息（不好）。 我习惯了Spring的，如果多个路径匹配，事情就会中断——但即便如此，AFAIK，在我的代码中，无论如何只有一个应该匹配？ 银行。Java语言 帐户ction.java 日志输出：
-
我如何优雅地检查这个？ 现在我的方式是
-
编写并测试您自己的函数char*funct(char*str，int x)，反转字符串str（位置n的字符除外），并返回修改后的str作为结果。函数funct的用途可以是： 这是主要的： 你好CppepC ollH 应该是： 你好Cpp
-
从iOS 9.3.2开始，顶部和底部都有额外的空间。 下面是一些例子： 大约有20个像素无法解释的填充。谁能解释一下它们是从哪里来的？ 这对我不管用。
-
我有两个关于Flink外部化检查站的问题 （Q1）我可以在flink-conf.yaml中设置“state.checkpoints.dir”，以使外部化的检查点正常工作，但当我从IDE运行flink时，如何实现同样的效果呢？我尝试了中提到的全局配置方法(http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/state