为什么增加批次大小时TensorFlow示例失败？

Question

我在看初学者的Tensorflow
MNIST示例
，发现在这一部分中：

for i in range(1000):
  batch_xs, batch_ys = mnist.train.next_batch(100)
  sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})

将批次大小从100更改为204以上会导致模型无法收敛。它可以工作到204，但是在205以及我尝试的任何更高数字下，精度最终都将小于10％。这是错误，还是关于算法的问题，还是其他问题？

这正在运行他们的OS X二进制安装，似乎是0.5.0版。

Answer 1

您在初学者示例中使用的是非常基本的线性模型吗？

这是调试它的技巧-在增加批处理大小时观察交叉熵（第一行来自示例，第二行是我刚刚添加的）：

cross_entropy = -tf.reduce_sum(y_*tf.log(y))
cross_entropy = tf.Print(cross_entropy, [cross_entropy], "CrossE")

批次大小为204，您将看到：

I tensorflow/core/kernels/logging_ops.cc:64] CrossE[92.37558]
I tensorflow/core/kernels/logging_ops.cc:64] CrossE[90.107414]

但是在205，您会从一开始就看到这样的序列：

I tensorflow/core/kernels/logging_ops.cc:64] CrossE[472.02966]
I tensorflow/core/kernels/logging_ops.cc:64] CrossE[475.11697]
I tensorflow/core/kernels/logging_ops.cc:64] CrossE[1418.6655]
I tensorflow/core/kernels/logging_ops.cc:64] CrossE[1546.3833]
I tensorflow/core/kernels/logging_ops.cc:64] CrossE[1684.2932]
I tensorflow/core/kernels/logging_ops.cc:64] CrossE[1420.02]
I tensorflow/core/kernels/logging_ops.cc:64] CrossE[1796.0872]
I tensorflow/core/kernels/logging_ops.cc:64] CrossE[nan]

Ack-NaN出现。基本上，大批生产会产生巨大的渐变，以至于您的模型逐渐失去控制-应用的更新过大，并大大超出了方向。

实际上，有几种方法可以解决此问题。您可以将学习率从.01降低到.005，最终精度为0.92。

train_step = tf.train.GradientDescentOptimizer(0.005).minimize(cross_entropy)

或者，您可以使用更复杂的优化算法（Adam，Momentum等），尝试做更多的工作来找出梯度的方向。或者，您可以使用更复杂的模型，该模型具有更多自由参数，可以分散较大的梯度。