交叉验证和测试性能的差异
共有1个答案
不看代码和你的数据，我只能给出一个有教养的猜测。首先，我们需要验证数据集的原因是调优超参数。使用交叉验证，我们试图在验证集上找到给我们最佳预测精度的最佳超参数。因此，它选择的超参数的最终模型与验证数据集匹配。因此验证数据集上的预测精度并不是模型性能的真实度量。您需要有一个从未接触过的测试数据集来评估您的模型性能。
如果只使用训练/测试分割而不使用验证集，则测试数据集的性能可能会更差，原因是
- 由于您没有验证数据集，因此未优化您的超参数
- 因为您的模型从来没有看到测试数据集，所以它并没有过度拟合测试数据集。
-
交叉验证 那么什么时候才需要交叉验证呢？交叉验证用在数据不是很充足的时候。比如在我日常项目里面，对于普通适中问题，如果数据样本量小于一万条，我们就会采用交叉验证来训练优化选择模型。如果样本大于一万条的话，我们一般随机的把数据分成三份，一份为训练集（Training Set），一份为验证集（Validation Set），最后一份为测试集（Test Set）。用训练集来训练模型，用验证集来评估模型预
-
问题内容： 我正在尝试进行交叉验证，并且遇到一个错误：“找到的输入变量样本数量不一致：[18，1]” 我在熊猫数据框（df）中使用不同的列作为要素，最后一列作为标签。这源自UC Irvine的机器学习存储库。导入我过去使用过的交叉验证程序包时，我收到了一个错误消息，说明它可能已贬值。我将运行决策树，SVM和K-NN。 我的代码是这样的： 任何帮助将是巨大的！ 问题答案： 不推荐使用该模块。新模块已
-
我有基于jMeter的性能测试，即基于并发用户负载的结果。在测试结束时，Jeter提供了汇总报告，我们可以在其中看到平均响应时间、吞吐量等。这些都很好。 我想验证这些结果，并确信我所执行的测试在配置方面是正确的，如配置的用户数量、加速时间等。(从应用程序方面来说，我可以确认事务确实在工作，我可以信任jMeter断言等，但我在这里没有看到).. 我看到一篇关于应用利特尔定律验证结果的好文章。但我相信
-
问题内容： 当我将以下代码与大小为（952,144）的数据矩阵和大小为（952）的输出向量一起使用时，度量标准将返回负值，这是意外的。你有什么主意吗？ 则所有值均为负。 问题答案： 试图解决这一问题，因此请提供David和larsmans在评论部分雄辩地描述的答案： 是的，这应该发生。实际的MSE只是您获得的号码的肯定版本。 统一评分API始终使得分最大化，因此为了使统一评分API正常工作，否定了
-
我有一个相对大的数据： 超过37万个观测数据，分类因变量有250个水平，10个自变量包括数值变量和分类变量。 下面是我的代码： 有人告诉我包'CV tools'或'cert'可以预形成k-folds CV，但我仍然不能成功地执行这些包或函数。
-
*种子为重复性设置为123，我运行的是3.63 R。