如果batch\u size等于1 in tf。图层。batch\u normalization（），是否正常工作？

Question

每个人我正在使用tensorflow 1.4来训练一个类似U-net的模型。由于硬件的限制，在培训时，batch\u大小只能设置为1，否则会出现OOM错误。

我的问题来了。在这种情况下，当batch\u size等于1时，tf。图层。batch\u normalization（）工作正常（表示移动平均值、移动方差、gamma、beta）？小batch\u大小是否会使其工作不稳定？

在我的工作中，我在训练时设置训练=真，在测试时设置训练=假。培训时，我使用

logits = mymodel.inference()
loss = tf.mean_square_error(labels, logits)
updata_ops = tf.get_collection(tf.GraphKeys.UPDATE_OPS)
with tf.control_dependencies(update_ops):
    train_op = optimizer.minimize(loss)
...

saver = tf.train.Saver(tf.global_variables())
with tf.Session() as sess:
    sess.run(tf.group(tf.global_variables_initializer(), 
                      tf.local_variables_initializer()))
    sess.run(train_op)
    ...
    saver.save(sess, save_path, global_step)

测试时，我使用：

logits = model.inference()
saver = tf.train.Saver()

with tf.Session() as sess:
    saver.restore(sess, checkpoint)
    sess.run(tf.local_variables_initializer())
    results = sess.run(logits)

谁能告诉我，我用错了吗？batch\u大小的影响程度等于tf中的1。图层。batch\u normalization（）？

任何帮助都将不胜感激！提前谢谢。

Answer 1

是，<代码>tf。图层。batch\u normalization（）可处理单个元素的批次。对这些批执行批规范化实际上被称为实例规范化（即单个实例的规范化）。

@如果您想了解更多，Maxim发表了一篇关于实例规范化的文章。您还可以在web和文献中找到更多理论，例如实例规范化：快速样式化缺少的要素。