批量规格化中的维度

Question

我试图在Tensorflow中构建一个通用的批处理规范化函数。

在这篇文章中，我学习了批处理规范化，我发现这很好。

我有一个问题与规模和beta变量的维度：在我的情况下，批处理规范化应用于每个卷积层的每个激活，因此，如果我有卷积层的输出一个大小的tersor：

[57,57,96]

我需要刻度和beta与卷积层输出具有相同的尺寸，对吗？

这是我的函数，程序可以运行，但我不知道是否正确

def batch_normalization_layer(batch):
   # Calculate batch mean and variance
    batch_mean, batch_var = tf.nn.moments(batch, axes=[0, 1, 2])

    # Apply the initial batch normalizing transform
    scale = tf.Variable(tf.ones([batch.get_shape()[1],batch.get_shape()[2],batch.get_shape()[3]]))
    beta = tf.Variable(tf.zeros([batch.get_shape()[1],batch.get_shape()[2],batch.get_shape()[3]]))

    normalized_batch = tf.nn.batch_normalization(batch, batch_mean, batch_var, beta, scale, 0.0001)

    return normalized_batch

Answer 1

来自tf的文档。nn。batch\u规范化：

平均值、方差、偏移量和比例均应为以下两种形状之一：

一般来说，它们可以具有与输入x相同的维数，对于未规范化的维度（“深度”维度），它们可以具有与x相同的尺寸，对于其他正在规范化的维度，它们可以具有与1相同的尺寸。在这种情况下，均值和方差通常是tf的输出。nn。训练期间的力矩（…，keep\u dims=True），或推断期间的运行平均值。

在通常情况下，“深度”维度是输入张量x中的最后一个维度，它们可能是与“深度”维度大小相同的一维张量。例如，对于完全连接层的通用[批次，深度]布局，以及卷积的[批次，高度，宽度，深度]布局，都是这种情况。在这种情况下，均值和方差通常是tf的输出。nn。训练期间的力矩（…，keep\u dims=False），或推理期间的运行平均值。

使用您的值（比例=1.0和偏移量=0），您也可以只提供值无。