TensorFlow：损耗降低，但精度稳定

Question

我的团队正在Tensorflow中训练一个CNN对损坏/可接受部件进行二进制分类。我们通过修改cifar10示例代码来创建我们的代码。在我以前的神经网络经验中，我总是训练到损失非常接近于0（远低于1）。然而，我们现在在训练期间（在一个单独的GPU上）用一个验证集来评估我们的模型，看起来精度在大约6.7K步数后停止增长，而损失在超过40K步数后仍在稳步下降。这是因为过装吗？一旦损失非常接近于零，我们应该期待看到精度的另一个高峰吗？当前最大精度不可接受。我们是不是应该干掉它继续调？你推荐什么？这里是我们修改的代码和训练过程的图表。

https://gist.github.com/justineyster/6226535A8EE3F567E759C2FF2AE3776B

精度和丢失图像

Answer 1

二进制交叉熵损失的减少并不意味着精度的提高。在时间步骤1、2、3和分类阈值0.5考虑标签1，预测0.2、0.4和0.6。时间步骤1和2将减少损耗，但不增加精度。

通过过度拟合训练数据来确保您的模型有足够的容量。如果模型对训练数据过拟合，则通过使用dropout、L1和L2正则化以及数据增强等正则化技术来避免过拟合。

最后，确认您的验证数据和训练数据来自相同的分布。