性能评估的最佳标准，错误还是准确性？

Question

使用Weka对鲍鱼数据集进行ANN和KNN。

ANN正确分类实例的结果3183 76.203%错误分类实例994 23.797%平均绝对误差0.214均方根误差0.3349相对绝对误差58.6486%

KNN结果|正确分类实例3211 76.8734%错误分类实例966 23.1266%平均绝对误差0.2142均方根误差0.3361相对绝对误差58.7113%

KNN具有较高的精度，而ANN具有较低的误差。那么，我应该说这两种算法中哪一种更好呢？准确度和误差哪个标准更可取？我的理解是，误差应该以高精度减少。但这里的结果是相反的。为什么会这样？

Answer 1

答案取决于您是想将问题视为分类（如您使用的html" target="_blank">算法所建议的）还是回归。如果这是一个分类问题，那么您应该只考虑正确/错误分类的实例的百分比。否则，错误。

为了解释，正确分类实例的百分比只考虑预测是否准确，即预测2而不是1与预测10000一样不正确。原因是，您将数据的类弄错了，并且没有关于类之间差异大小的概念。另一方面，对于回归，可以预测连续的数量和差异的大小。也就是说，如果实际值为1，预测值为2，则模型比预测值为10000时要好得多。

这样，您可以在误差更大的情况下获得更好的精度，反之亦然。结果是，总体上你得到了更正确的预测，但那些错误的预测更加离谱。

您想使用哪种性能度量实际上取决于您的特定应用程序。您只是关心是否预测了正确的类，还是还关心与正确预测的距离？如果是后者，我建议使用回归而不是分类模型。