批量标准化设置训练和测试时间

Question

最近，我读了很多关于keras批处理规范化的文章，讨论了很多。

根据该网站：设置“tf.layers.batch\u normalization”中的“training=False”，这样训练将获得更好的验证结果

答案是：

如果使用training=True启用批次标准化，则将开始标准化批次本身，并收集每个批次的平均值和方差的移动平均值。现在是棘手的部分。移动平均值是指数移动平均值，tf的默认动量为0.99。图层。batch\u normalization（）。平均值从0开始，方差再次从1开始。但由于每次更新应用的权重为（1-动量），因此它将在无穷大范围内渐近达到实际均值和方差。例如，在100步中，它将达到实际值的73.4%，因为0.99100是0.366。如果数值较大，则差异可能很大。

因为我的批量很小，这意味着需要采取更多的步骤，而且训练和测试之间的差异可能很大，这会导致预测时的不良结果。

因此，我必须在调用中设置training=False，从上面的链接可以看出：

当设置training=False时，这意味着批次标准化层将使用其内部存储的平均值和方差来标准化批次，而不是批次自身的平均值和方差。

我知道在测试期间，我们应该使用训练时间的移动均值和移动方差。我知道moving_mean_initializer可以设置。

keras.layers.BatchNormalization(axis=-1, momentum=0.99, epsilon=0.001, center=True, scale=True, beta_initializer='zeros', gamma_initializer='ones', moving_mean_initializer='zeros', moving_variance_initializer='ones', beta_regularizer=None, gamma_regularizer=None, beta_constraint=None, gamma_constraint=None)

我不确定我的观点是否正确：

（1）测试时设置训练=False，训练时设置训练=True

（2） 使用hsitory\u weight=ModelCheckpoint（filepath=“weights.{epoch:02d}.hdf5”，save\u weights\u only=True，save\u best\u only=False）存储归一化权重（包括移动平均值和过程方差gomma和beta）

（3） 使用步骤（2）中的内容初始化

不知道我上面提到的是不是错了，如果是，请纠正我。

我不知道人们通常是如何处理这个问题的？我提议的那个有效吗？

提前感谢！

Answer 1

我在训练后做一些测试，

我将所有批次层的移动平均值和移动方差设置为零。

结果很糟糕。

我相信在推理模式下，keras将使用移动均值和移动方差。

以及零件训练标志，无论您将设置为True还是False，这两者之间的唯一区别是

移动方差和移动均值是否会更新。