keras批次归一化轴说明

Question

keras批次标准化（BatchNormalization）层使用轴=-1作为默认值，并说明特征轴通常是标准化的。为什么会这样？

我想这是令人惊讶的，因为我更熟悉使用标准缩放器之类的东西，这相当于使用轴=0。这将分别规范化特征。

在KERA中，相对于特征，样本在默认情况下被单独归一化（即轴=-1）有什么原因吗？

编辑：混凝土示例

转换数据以使每个特征具有零均值和单位方差是很常见的。让我们考虑一下这个模拟数据集的“零均值”部分，其中每一行都是一个样本：

>>> data = np.array([[   1,   10,  100, 1000],
                     [   2,   20,  200, 2000],
                     [   3,   30,  300, 3000]])

>>> data.mean(axis=0)
array([    2.,    20.,   200.,  2000.])

>>> data.mean(axis=1)
array([ 277.75,  555.5 ,  833.25])

减去轴=0的平均值，而不是轴=1的平均值，不是更有意义吗？使用轴=1，单位和刻度可以完全不同。

编辑2：

本文第3节的第一个方程似乎暗示轴=0应用于单独计算每个特征的期望和方差，假设您有一个（m， n）形状的数据集，其中m是样本数，n是特征数。

编辑3：另一个示例

我想看看在玩具数据集上计算的均值和方差的维度：

import pandas as pd
import numpy as np
from sklearn.datasets import load_iris

from keras.optimizers import Adam
from keras.models import Model
from keras.layers import BatchNormalization, Dense, Input


iris = load_iris()
X = iris.data
y = pd.get_dummies(iris.target).values

input_ = Input(shape=(4, ))
norm = BatchNormalization()(input_)
l1 = Dense(4, activation='relu')(norm)
output = Dense(3, activation='sigmoid')(l1)

model = Model(input_, output)
model.compile(Adam(0.01), 'categorical_crossentropy')
model.fit(X, y, epochs=100, batch_size=32)

bn = model.layers[1]
bn.moving_mean  # <tf.Variable 'batch_normalization_1/moving_mean:0' shape=(4,) dtype=float32_ref>

输入X具有形状（150，4），并且计算的批次归一化层表示4，这意味着它在轴=0上运行。

如果批处理规范化（BatchNormalization）的默认值为轴=-1，那么不应该有150个平均值吗？

Answer 1

如果您的小批次是矩阵a mxn，即m个样本和n个特征，则规格化轴应为轴=0。正如您所说，我们想要的是分别规范化每个特征，keras中的默认轴=-1，因为当在卷积层中使用时，地物数据集的维度通常是（样本、宽度、高度、通道），批次样本是沿着通道轴（最后一个轴）规范化的。

Answer 2

我知道这篇帖子很老了，但我仍然在回答它，因为Keras文档中仍然存在困惑。我必须通过代码来解决这个问题：

1. 记录为整数的轴变量实际上可以是表示多个轴的整数列表。因此，例如，如果我的输入有一个NHWC或NCHW格式的图像，如果我想以OP想要的方式执行批次标准化（即仅跨批次维度标准化），请提供axis=[1,2,3]
2. 轴列表（或整数）应包含计算均值和方差时不希望减少的轴。换言之，它是您想要规范化的轴的补充-如果您按照“轴”的常规定义，则与文档似乎所说的完全相反。因此，例如，如果您的输入I是形状（N，H，W，C）或（N，C，H，W）-即第一个维度是批次维度，您只希望计算整个批次维度的平均值和方差，则应提供轴=[1,2,3]。这将导致KERA分别计算形状（1，H，W，C）或（1，C，H，W）的平均M和方差V张量，即批次维度将由于聚合而边缘化/减少（即平均值或方差在第一维度上计算）。在以后的操作（I-M）和（I-M）/V中，M和V的第一个维度将广播到该批的所有N个样本
3. BatchNorm层最终调用tf。nn。在本例中，轴为（1，）的力矩！这是因为tf中轴的定义。nn。时刻是正确的
4. 类似tf。nn。时刻呼唤tf。nn。reduce\u mean，其中轴的定义也是正确的（即与tf、keras、layers、BatchNormalization相反）
5. 也就是说，BatchNormalization论文建议在批次维度（N）之外，跨HxW空间地图进行规范化。因此，如果遵循该建议，那么axis将只包括通道维度（C），因为这是您不想减少的唯一剩余维度。Keras文档可能暗示了这一点，尽管它相当神秘

Answer 3

混淆是由于np.mean中的轴与BatchNormize中的轴的含义。

当我们沿着一个轴取平均值时，我们折叠该维度并保留所有其他维度。在您的示例中，数据。平均值（轴=0）折叠0轴，这是数据的垂直尺寸。

当我们沿着一个轴计算批次归一化时，我们保留数组的维数，并根据其他轴上的平均值和标准偏差进行归一化。因此，在您的2D示例中，轴为1的批次标准化（BatchNormalization）是减去轴为0的平均值，正如您所期望的那样。这就是bn的原因。移动平均值具有形状（4，）。