批量归一化：取均值和方差的轴
我正在尝试实现批处理规范化(http://arxiv.org/pdf/1502.03167.pdf)在我的卷积神经网络中，我真的很困惑，我应该围绕什么轴来计算均值和方差。
如果conv层的输入为3*224*224*32的形状，其中：
3-输入通道
224*224-单通道形状
32-小批量大小
以下公式中的轴应该是多少？平均值=numpy。平均值（输入层，轴=？）
并且，如果完全连接层的输入为100*32的形状，其中：
100-输入数量
32-小批量大小
同样，以下公式中的轴应该是什么
Mean=numpy.mean（input_layer，轴=？）
共有1个答案
# 1. axis = (1,2,3)
numpy.mean(input_layer,axis=(1,2,3))
# 2. axis = 1
numpy.mean(input_layer,axis=1)
对于具有共享权重的卷积层，它使用基于特征的归一化，对于完全连接的层，它使用基于样本的归一化。
参考Keras库BN层代码：https://github.com/fchollet/keras/blob/0daec53acbf4c3df6c054b36ece5c1ae2db55d86/keras/layers/normalization.py
-
请问以下对卷积神经网络中批量归一化的理解是否正确？ 如下图所示，均值和方差是使用当前小批量中各个示例生成的相同特征图上的所有单元格计算的，即它们是跨h、w和m轴计算的。
-
本节我们介绍批量归一化（batch normalization）层，它能让较深的神经网络的训练变得更加容易 [1]。在 “实战Kaggle比赛：预测房价” 一节里，我们对输入数据做了标准化处理：处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。标准化处理输入数据使各个特征的分布相近：这往往更容易训练出有效的模型。 通常来说，数据标准化预处理对于浅层模型就足够有效了。随着模型训练的进行
-
Torch在link
-
我很难理解Tensorflow中批量规范化的实现。为了举例说明，我创建了一个简单的网络，其中包含一个输入节点、一个隐藏节点和一个输出节点，并使用1个批运行，批大小为2。我的输入x由一个标量组成，该标量有2个值（即批大小为2），一个值设置为0，另一个值设置为1。 我运行一个纪元，并写出隐藏层的输出（批处理规范化之前和之后）以及批处理范数移动均值、方差、γ和beta。 这是我的代码： 以下是我运行代码
-
我用TensorFlow来解决一个多目标回归问题。具体地说，在具有逐像素标记的卷积网络中，输入为图像，标签为“热图”，其中每个像素具有浮点值。更具体地说，每个像素的地面真值标记的下界为零，虽然技术上没有上界，但通常不会大于1e-2。 在不进行批量归一化的情况下，该网络能够给出合理的热图预测。通过批量归一化，网络需要很长时间才能获得合理的损耗值，而它所做的最好的工作就是使每个像素都成为平均值。这是使
-
我试图在Keras中创建一个带有输入（批次、通道（3）、64、32）的神经网络，但我使用批次标准化时出现了错误（因为错误从提到的层开始，我选择隔离导致错误的部分）。模型开始如下： 我收到以下异常： 对于输入形状为[1,32,1,1]，“batch\u normalization\u 1/cond/Reformate\u 4”（操作：“Reformate”）的形状必须为秩1，但为秩0。 我认为数据从