如何知道是发生了不合身还是过度合身？

Question

我试着用两个类来做图像分类。我有1000张照片
均衡的班级。当我训练模型时，我得到一个低常数的验证
准确性，但验证损失减少。这是一个过度装修的迹象还是
不合身？我还应该注意到，我正在尝试重新训练《盗梦空间》
具有新类和不同数据集的V3模型。

Epoch 1/10
2/2 [==============================]2/2 [==============================] - 126s 63s/step - loss: 0.7212 - acc: 0.5312 - val_loss: 0.7981 - val_acc: 0.3889

Epoch 2/10
2/2 [==============================]2/2 [==============================] - 70s 35s/step - loss: 0.6681 - acc: 0.5959 - val_loss: 0.7751 - val_acc: 0.3889

Epoch 3/10
2/2 [==============================]2/2 [==============================] - 71s 35s/step - loss: 0.7313 - acc: 0.4165 - val_loss: 0.7535 - val_acc: 0.3889

Epoch 4/10
2/2 [==============================]2/2 [==============================] - 67s 34s/step - loss: 0.6254 - acc: 0.6603 - val_loss: 0.7459 - val_acc: 0.3889

Epoch 5/10
2/2 [==============================]2/2 [==============================] -  68s 34s/step - loss: 0.6717 - acc: 0.5959 - val_loss: 0.7359 - val_acc: 0.3889

Epoch 6/10
2/2 [==============================]2/2 [==============================] - 107s 53s/step - loss: 0.6633 - acc: 0.5938 - val_loss: 0.7259 - val_acc: 0.3889

Epoch 7/10
2/2 [==============================]2/2 [==============================] - 67s 33s/step - loss: 0.6674 - acc: 0.6411 - val_loss: 0.7160 - val_acc: 0.3889

Epoch 8/10
2/2 [==============================]2/2 [==============================] - 105s 53s/step - loss: 0.6296 - acc: 0.6562 - val_loss: 0.7099 - val_acc: 0.3889

Epoch 9/10
2/2 [==============================]2/2 [==============================] - 67s 34s/step - loss: 0.5717 - acc: 0.8273 - val_loss: 0.7064 - val_acc: 0.4444

Epoch 10/10
2/2 [==============================]2/2 [==============================] - 103s 52s/step - loss: 0.6276 - acc: 0.6875 - val_loss: 0.7035 - val_acc: 0.4444

Answer 1

什么是过度装配

过度拟合（或欠拟合）发生在模型过于特定（或不特定）时
足够具体）的训练数据，并不能很好地推断出
真域。从现在起，我只想说“过度装修”以避免我糟糕的打字
手指[]
我认为维基百科图像是
好的：
[!【维基百科过度拟合】
[曲线](https://i.stack.imgur.com/NNj3k.png？（s=256）](https://i.stack.imgur.com/NNj3k.png？s=256）
很明显，绿线，一个[决定边界](http://scikit-
learn.org/stable/auto\u examples/svm/plot\u iris.html）尝试分离红色
从蓝色的类，是“过度适合”，因为虽然它会做的很好
训练数据，缺乏
“[正规化](https://en.wikipedia.org/wiki/Regularization_\（数学）
我们想看看什么时候
概括 [*].
这些CMU幻灯片在
过度拟合/[交叉验证](https://en.wikipedia.org/wiki/Cross-
验证\（统计\）也可以清楚地说明问题：
![输入图像描述]
[这里](https://i.stack.imgur.com/eAUQt.png)
[这里有一些更好的直觉
[测量](https://stats.stackexchange.com/questions/128616/whats-a-real-world-
过度装配示例）

一般来说，什么时候会出现过度装配？

当测试误差不反映实际情况时，在数值上可以观察到过拟合现象
训练错误
显然，测试误差总是（在预期中）比
训练错误，但在一定的迭代次数下，在测试中损失较大
将开始增加，即使训练中的损失继续下降。

如何从视觉上判断模型是否过度拟合？

可以通过绘制决策边界（如
上面的维基百科图片）当维度允许时，或者通过查看测试
在装配过程中除了训练损失之外的损失
你没有给我们足够的分数来绘制这些图表，但这里有一个例子
（[有人问了类似的问题](http://forums.fast.ai/t/determing-
当你穿得太过不合身或恰到好处时/7732/9）显示什么
这些损失图看起来像：[！[过盈损失]

尽管损失曲线有时更为优美和逼真，但请注意趋势
在这里，训练误差仍在减少，但测试误差却在上升。
这是过度装修的一个大危险信号。[所以我们讨论了损失曲线

稍微干净一点、更真实的例子来自于[本期CMU关于
OVE配件

顶部的图表和以前一样，拟合过度。底部的图形不是。

什么时候会发生这种情况？
当一个模型有太多的参数时，它很容易过度拟合（比如
n次多项式到n-1点）。同样，一个模型没有足够的
参数可能不匹配。
[某些正规化]
技术](https://en.wikipedia.org/wiki/ConvolutionalŠneuralŠnetworkŠRegularizationŠmethods)
像辍学或批量归一化，或传统的l-1正则化与此战斗。我相信这超出了你的问题范围。

脚注
[]因为
两者的推理是一样的，但指标是颠倒的，显然（a）
决策边界没有足够地锁定到真实边界上，与之相反
对个别点包裹得太紧）。一般来说，
过度拟合是更常见的避免，因为“更多迭代/更多
“参数”是当前的主题。如果你有大量的数据而不是
参数，也许你真的担心不合身，但我怀疑。
[*]将黑线比黑线更可取的想法形式化的一种方法
在维基百科的第一张图片中，绿色的一张是用来惩罚
参数
必需靠你的
选型时的型号