测试精度增加，损耗增加

Question

我有一个只有完全连接/密集层的深度网络，形状为128-256-512-1024-1024所有层使用leakyrelu激活，没有dropout，最后一层使用softmax激活。

在第20次训练后，验证/测试损失开始逆转并上升，但测试精度也在继续提高。这怎么说得通？如果显示了新的数据，测试的准确性是否准确，或者是否存在某种假阳性？

我这样编译模型：

model.compile(
    loss='categorical_crossentropy',
    optimizer='adam',
    metrics=['categorical_accuracy']
 ) 

Answer 1

对于一个对错误预测和地面真实值之间的距离敏感的损失函数，这是很容易实现的。你可以得到90%的预测正确，但如果错过了离谱的远，你的损失值可以增加。这导致一些模型没有准确地识别出地面真相中的一个或两个关键因素。