TensorFlow中的批量规范化

Question

在TensorFlow中执行批量规格化的正确方法是什么？（即，我不想计算连续均值和方差）。我当前的实现基于tf。nn。batch\u normalization（批次规格化），其中x是具有形状的卷积层的输出。[批次大小、宽度、高度、通道数]。我想在通道方面执行批处理规范。

batch_mean, batch_var = tf.nn.moments(x, axes=[0, 1, 2])
x = tf.nn.batch_normalization(x, batch_mean, batch_var, offset=0, scale=0, variance_epsilon=1e-6)

但这种实施的结果非常糟糕。与tensorflow比较。承包商。苗条的batch\u norm显示其票价较低（同样糟糕的培训表现）。

我做错了什么，什么能解释这种糟糕的表现？

Answer 1

@Maosi的解决方案有效，但我发现它很慢。以下内容简单快速。

batch_mean, batch_var = tf.nn.moments(x, axes=[0, 1, 2])
x = tf.subtract(x, batch_mean)
x = tf.div(x, tf.sqrt(batch_var) + 1e-6)

Answer 2

您可以考虑tf。承包商。图层。layer\u norm。您可能需要将x重塑为[批次、通道、宽度、高度]，并设置begin\u norm\u axis=2，以进行通道规格化（每个批次和每个通道将独立规格化）。

以下是如何将原始订单重塑为[批次、通道、宽度、高度]的示例：

import tensorflow as tf

sess = tf.InteractiveSession()

batch = 2
height = 2
width = 2
channel = 3

tot_size = batch * height * channel * width

ts_4D_bhwc = tf.reshape(tf.range(tot_size), [batch, height, width, channel])
ts_4D_bchw = tf.transpose(ts_4D_bhwc, perm=[0,3,1,2])

print("Original tensor w/ order bhwc\n")
print(ts_4D_bhwc.eval())

print("\nTransormed tensor w/ order bchw\n")
print(ts_4D_bchw.eval())

输出：

Original tensor w/ order bhwc

[[[[ 0  1  2]
   [ 3  4  5]]

  [[ 6  7  8]
   [ 9 10 11]]]


 [[[12 13 14]
   [15 16 17]]

  [[18 19 20]
   [21 22 23]]]]

Transormed tensor w/ order bchw

[[[[ 0  3]
   [ 6  9]]

  [[ 1  4]
   [ 7 10]]

  [[ 2  5]
   [ 8 11]]]


 [[[12 15]
   [18 21]]

  [[13 16]
   [19 22]]

  [[14 17]
   [20 23]]]]