模型拟合与交叉验证

Question

我正在训练一个数据集，然后在其他数据集上测试它。

svm = SVC(kernel='rbf', probability=True, random_state=42)

accuracies = cross_val_score(svm, data_train, lbs_train, cv=5)

pred_test = svm.predict(data_test)
accuracy = accuracy_score(lbs_test, pred_test)

Answer 1

这是正确的，cross_validate_score不会返回拟合的模型。在您的示例中，您有cv=5，这意味着模型拟合了5次。那么，你想要哪一个？最后一个？

函数cross_val_score是sklearn.model_selection.cross_validate的更简单版本。它不仅返回分数，还返回更多的信息。

所以您可以这样做：

from sklearn.model_selection import cross_validate

svm = SVC(kernel='rbf', probability=True, random_state=42)

cv_results = cross_validate(svm, data_train, lbs_train, cv=5, return_estimator=True)
# cv_results is a dict with the following keys:
# 'test_score' which is what cross_val_score returns
# 'train_score'
# 'fit_time'
# 'score_time'
# 'estimator' which is a tuple of size cv and only if return_estimator=True

accuracies = cv_results['test_score'] # what you had before

svms = cv_results['estimator']
print(len(svms)) # 5

svm = svms[-1] # the last fitted svm, or pick any that you want

pred_test = svm.predict(data_test)
accuracy = accuracy_score(lbs_test, pred_test)

注意，这里需要选择一个5匹配的SVM。理想情况下，您将使用交叉验证来测试模型的性能。所以，你不需要在最后再做一次。然后，您将再次拟合您的模型，但这一次使用的是您将在生产中实际使用的模型的所有数据。

另一个注意事项是，您提到您希望通过这个来微调您的模型的参数。也许你应该看看超参数优化。例如:https://datascience.stackExchange.com/a/36087/54395在这里您将看到如何使用交叉验证和定义参数搜索空间。