测试期间的批次正常化

Question

对于测试期间的批量归一化，如何计算每个激活输入（在每个层和输入维度中）的平均值和方差？是否记录训练的均值和方差，计算整个训练集的均值和方差，或计算整个测试集的均值和方差？

很多人说你要预先计算均值和方差，但如果用计算整个测试集均值和方差的方法，那岂不是在进行前向传播（而不是“预先”）的同时，还需要计算整个测试集的均值和方差？

非常感谢你所有的帮助！

Answer 1

在训练时记录经验平均值和方差，例如运行平均值，随后用于测试集，而不是计算每个测试批次的平均值和方差。

Answer 2

当您在测试中进行预测时，总是使用train的统计数据—无论是简单的转换还是批量规范化。

我建议您尝试cs231n课程来了解更多信息。下面是我在编写代码时如何编写批处理规范化代码的：github-link。

如果测试统计数据与训练有很大不同，这意味着测试总体上是不同的，模型不会很好地工作。在这种情况下，您无论如何都需要找到不同的训练数据。但更准确地说——当您根据数据训练模型，以某种方式处理时，它不会在以不同方式处理的数据上很好地工作。

让我们假设只有1个测试样本——也就是说，您想对一个客户端或其他任何客户端进行预测。在这种情况下，您根本无法计算测试统计数据。其次，让我们进行批量归一化。数据被归一化，现在值显示原始数据与某个平均值相差多少标准差。因此模型将使用此信息进行训练）。如果您使用测试统计数据对测试数据进行归一化，那么值将显示与不同平均值的偏差。