卷积神经网络批量归一化中均值和方差的计算

Question

请问以下对卷积神经网络中批量归一化的理解是否正确？

如下图所示，均值和方差是使用当前小批量中各个示例生成的相同特征图上的所有单元格计算的，即它们是跨h、w和m轴计算的。

Answer 1

图中正确描述了批次标准。

在batch Norm中，我们使用整个批次中相同通道的空间特征图计算平均值和方差。如果你看你所附的图片，它可能听起来很混乱，因为在该图片中，数据是单通道的，这意味着每个网格/矩阵代表一个数据样本，然而，如果你想到彩色图像，这些将需要3个这样的网格/矩阵来代表一个数据样本，因为它们每个样本有3个通道（RGB）。因此，在您的图片中，您可以考虑从每个网格/矩阵中提取相同的元素（索引），然后计算它们的平均值和方差。

因此，您的图片确实正确地显示了Batch Norm的均值和方差计算，但是当您想到多通道数据时，您可能会感到困惑，因为图片只适合理解单通道数据。为了让这种情况（多通道）更清楚一些，您可以考虑使用彩色图像数据集。因此，在每个批次中，都有许多图像，每个图像有3个通道，红色、绿色和蓝色（要可视化，请将红色视为矩阵，绿色视为矩阵，蓝色视为矩阵，因此每个图像有3个矩阵）。因此，在BatchNorm中，您现在要做的是（假设批量大小为32）获取红色通道的所有32个矩阵，并计算它们的平均值和方差，类似地，您将对绿色和蓝色通道重复此过程，因此这就是您对多通道数据所做的。

Answer 2

对哈立德和伊万回答的跟进，如上所示。

这是我最初提出的关于BN的问题所在的更大的“背景”图。我正在绘制这个图表，以帮助自己理解卷积神经网络是如何在每一步上工作的，尤其是在可能发生混淆的地方。在该图上，显示将在每个特征映射/通道上分别执行BN。

此处显示了完整的图表（WIP）。

Answer 3

看来你是正确的。经验平均值和方差在除特征维度之外的所有维度上进行测量。然后计算z分数以将迷你批次标准化为means=0和std=1。此外，然后使用两个可学习的参数gamma和beta对其进行缩放偏移。

以下是批次规范化层的描述：