如何使用批次规范化来规范化批次维度？
我想使用Batchnormalization来规范化批次维度，但keras中的批次维度自然是无维度的。那我该怎么办呢。
keras示例显示，conv2d的轴为-1，这表示通道尺寸。
keras.layers.BatchNormalization(axis=-1, momentum=0.99, epsilon=0.001, center=True, scale=True, beta_initializer='zeros', gamma_initializer='ones', moving_mean_initializer='zeros', moving_variance_initializer='ones', beta_regularizer=None, gamma_regularizer=None, beta_constraint=None, gamma_constraint=None)
轴：整数，应规格化的轴（通常是特征轴）。例如，在具有data\u format=“channels\u first”的Conv2D层之后，在BatchNormalization中设置axis=1。
共有1个答案
将BN层应用于批处理轴完全没有意义。
为什么？如果这是合理的，那么您最终将学习BN参数，这些参数是根据批次大小的几个可训练向量进行的。好啊那又怎样。您仍然可以训练这样的模型，而不会看到错误消息。
但是测试呢？上述BN仅仅意味着您必须使用与培训中完全相同的批量大小进行推理。否则，张量运算将定义错误，您将看到错误。
更重要的是，您提出的BN意味着根据样品在批次中的相对位置对其进行不同的处理。因为您将始终使用一组参数规范化批次中第一个位置的样本，同时使用另一组参数规范化出现在不同位置的样本。再说一遍，你可以这么说什么<然而，事实是，无论如何你都必须洗牌你的训练样本，这意味着在一批中这样的相对位置是完全没有意义的。换句话说，了解这些相对位置注定是失败的。
-
BatchNormalization层 keras.layers.normalization.BatchNormalization(epsilon=1e-06, mode=0, axis=-1, momentum=0.9, weights=None, beta_init='zero', gamma_init='one') 该层在每个batch上将前一层的激活值重新规范化，即使得其输出数据的均值接
-
BatchNormalization层 keras.layers.normalization.BatchNormalization(axis=-1, momentum=0.99, epsilon=0.001, center=True, scale=True, beta_initializer='zeros', gamma_initializer='ones', moving_mean_initia
-
我了解批次归一化有助于更快的训练，将激活转向单位高斯分布，从而解决梯度消失问题。批次规范行为在训练（使用每个批次的平均值/var）和测试时间（使用训练阶段的最终运行平均值/var）中的应用不同。 另一方面，实例归一化作为对比度归一化，如本文所述https://arxiv.org/abs/1607.08022。作者提到，输出样式化的图像不应依赖于输入内容图像的对比度，因此实例规范化有助于实现。 但是
-
我可以在输入层之后使用批处理规范化层而不规范化我的数据吗？我可以期望得到类似的效果/性能吗？ 在keras函数中，它应该是这样的：
-
在TensorFlow中执行批量规格化的正确方法是什么？（即，我不想计算连续均值和方差）。我当前的实现基于tf。nn。batch\u normalization（批次规格化），其中x是具有形状的卷积层的输出。[批次大小、宽度、高度、通道数]。我想在通道方面执行批处理规范。 但这种实施的结果非常糟糕。与tensorflow比较。承包商。苗条的batch\u norm显示其票价较低（同样糟糕的培训表现
-
我使用Tensorflow 1.14.0和Keras 2.2.4。以下代码实现了一个简单的神经网络： 20个时代后的最终val\u损失为0.7751。当我取消注释添加批处理规范化层的唯一注释行时，val\u损失变为1.1230。 我的主要问题要复杂得多，但同样的事情也会发生。因为我的激活是线性的，所以我把批处理规范化放在激活之后还是之前并不重要。 问题：为什么批处理规范化帮不上忙？是否有什么可以更