为什么损耗会减少，但精度也会降低（Pytork，LSTM）？
我在Pytorch中用LSTM-线性模块构建了一个分类问题（10个类）的模型。我正在训练模型，对于每个时代，我在训练集中输出损失和准确性。产出如下：
纪元：0开始
损失：2.301875352859497
会计科目：0.1138888889
时代：1开始<损失：2.2759320735931396
会计科目：0.29
时代：2开始<损失：2.2510263919830322
会计科目：0.48722222
时代：3开始<损失：2.225804567337036
会计科目：0.606667
时代：4开始<损失：2.199286699295044
会计科目：0.6511111111
时代：5开始<损失：2.1704766750335693
会计科目：0.68555556
时代：6开始<损失：2.1381614208221436
会计科目：0.70388889
时代：7开始<损失：2.1007182598114014
会计科目：0.71944444
时代：8开始<损失：2.0557992458343506
会计科目：0.72833334
时代：9开始<损失：1.999893873596191
会计科目：0.74277778
时代：10开始<损失：1.9277743101119995
会计科目：0.75277778
时代：11开始<损失：1.8325848579406738
会计科目：0.7483333
时代：12开始<损失：1.712520718574524
会计科目：0.707777
时代：13开始<损失：1.60564858176086426
会计科目：0.6305555
时代：14开始<损失：1.5910680294036865
会计科目：0.49388889
时代：15开始<损失：1.6259561777114868
会计科目：0.415555557
时代：16开始<损失：1.892195224761963
会计科目：0.36555556
时代：17开始<损失：1.49490112994766235
会计科目：0.4794445
时代：18开始<损失：1.4332982301712036
会计科目：0.48833334
对于损失html" target="_blank">函数，我使用了nn。交叉熵和Adam优化器<尽管损失在不断减少，但精度在第10纪元之前一直在增加，然后由于某种原因开始下降。
为什么会这样？
即使我的模型拟合过度，这不意味着精度应该很高吗？？（始终强调在培训集（而非验证集）上测量的准确性和损失）
共有1个答案
减少损耗并不意味着总是提高精度。我将尝试解决这个交叉熵损失。
CE损失=总和（-log p（y=i））
注意，如果正确类的概率增加，损失会减少，如果正确类的概率减少，损失会增加。现在，当您计算平均损失时，您对所有样本进行平均，一些概率可能会增加，一些可能会减少，从而使总损失变小，但精度也会下降。
-
我的团队正在Tensorflow中训练一个CNN对损坏/可接受部件进行二进制分类。我们通过修改cifar10示例代码来创建我们的代码。在我以前的神经网络经验中，我总是训练到损失非常接近于0（远低于1）。然而，我们现在在训练期间（在一个单独的GPU上）用一个验证集来评估我们的模型，看起来精度在大约6.7K步数后停止增长，而损失在超过40K步数后仍在稳步下降。这是因为过装吗？一旦损失非常接近于零，我们
-
我在文本分类任务中使用Pytorch GRU训练模型（输出维度为5）。我的网络实现如下代码所示。 我用的是nn。损失函数的CrossEntropyLoss()和optim。SGD for optimizer。损失函数和优化器的定义是这样给出的。 我的培训程序大致如下所示。 当我训练这个模型时，验证准确性和损失是这样报告的。 它表明验证损失在第9个epoch之后不会减少，并且验证准确性自第一个epo
-
我使用的是bert lstm crf模型，其中bert模型来自https://github.com/huggingface/pytorch-pretrained-BERT/lstm crf模型是我自己编写的。 训练bert-lstm-crf模型25个周期后，训练集、开发集和测试集的性能保持不变，但损失继续减少。我应该在哪里做出改变？ 以下是表演： 第25纪元： 第26纪元： 第27纪元： 更多纪元
-
我正在学习如何使用Tensorflow，下面的一个示例构建了一个模型来执行方程y=mx c的线性回归。我生成了一个包含1999个样本的csv文件和一个模型，我可以在其中更改规范化（开/关）、层数、节点数和纪元数。我希望能够利用培训和评估的损失/准确性，在我事先不知道答案但对我的结果感到困惑的情况下，指导这些变量的选择，总结如下 规范化层节点时代开始损失结束损失精度 真正的1 200 5 0.602
-
问题内容： 从MDN文档获取标准功能以及非标准属性 强烈建议不要更改对象的[[Prototype]]，因为它非常慢且不可避免地会减慢现代JavaScript实现中的后续执行，无论如何实现。 使用添加属性是 在 添加成员函数JavaScript类的方式。然后如下图所示： 为什么不好？如果它的坏处不那么坏？ 那么为什么会这样警告：它非常慢并且不可避免地会减慢现代JavaScript实现中的后续执行 。
-
我有一个只有完全连接/密集层的深度网络，形状为128-256-512-1024-1024所有层使用激活，没有，最后一层使用激活。 在第20次训练后，验证/测试损失开始逆转并上升，但测试精度也在继续提高。这怎么说得通？如果显示了新的数据，测试的准确性是否准确，或者是否存在某种假阳性？ 我这样编译模型：