Scikit-learn中KNN分类器的网格搜索参数和交叉验证数据集

Question

1）在我读过的大多数机器学习入门页面中，似乎都在说你需要一个训练集、一个验证集和一个测试集。根据我的理解，交叉验证允许你结合训练和验证集来训练模型，然后你应该在测试集上测试它以得到一个分数。然而，我在论文中看到，在很多情况下，您可以在整个数据集上交叉验证，然后报告CV得分作为准确性。我知道在一个理想的世界里，你会想要在不同的数据上进行测试，但如果这是合法的，我想要在我的整个数据集上交叉验证并报告那些分数

2）开始流程

我定义我的KNN分类器如下

knn = KNeighborsClassifier(algorithm = 'brute')

clf = GridSearchCV(knn, parameters, cv=5)

clf.fit(X,Y)

clf.best_params_

clf.score(X,Y)

knn2 = KNeighborsClassifier(n_neighbors = 14, algorithm='brute')
cross_val_score(knn2, X, Y, cv=5)

现在我知道数据已经被交叉验证了，但我不知道使用CLF.FIT找到最佳参数，然后使用cross_val_score和一个新的knn模型是否合法？

3）我明白“正确”的做法如下

拆分为X_train,X_test,Y_train,Y_test,Scale train sets->对测试集应用转换

knn = KNeighborsClassifier(algorithm = 'brute')
clf = GridSearchCV(knn, parameters, cv=5)
clf.fit(X_train,Y_train)
clf.best_params_

clf.score(X_test,Y_test)

提前致谢

Answer 1

>

是的，您可以对您的整个数据集进行CV这是可行的，但我还是建议您至少将您的数据分成两个集一个用于CV和一个用于测试。

code>.score函数应该根据文档返回一个float值，该值是最佳估计器的得分（这是通过拟合GridSearchCV得到的最佳得分估计器）在给定的X，Y上的得分

希望这能让事情变得更清楚：）