使用sklearn对网格搜索使用显式（预定义）验证集

Question

我有一个数据集，以前已将其分为3组：训练，验证和测试。必须按照给定的方式使用这些集合，以便比较不同算法之间的性能。

我现在想使用验证集优化我的SVM的参数。但是，我找不到如何将验证集显式输入到中sklearn.grid_search.GridSearchCV()。以下是我之前用于在训练集上进行K折交叉验证的一些代码。但是，对于此问题，我需要使用给定的验证集。我怎样才能做到这一点？

from sklearn import svm, cross_validation
from sklearn.grid_search import GridSearchCV

# (some code left out to simplify things)

skf = cross_validation.StratifiedKFold(y_train, n_folds=5, shuffle = True)
clf = GridSearchCV(svm.SVC(tol=0.005, cache_size=6000,
                             class_weight=penalty_weights),
                     param_grid=tuned_parameters,
                     n_jobs=2,
                     pre_dispatch="n_jobs",
                     cv=skf,
                     scoring=scorer)
clf.fit(X_train, y_train)

Answer 1

采用 PredefinedSplit

ps = PredefinedSplit(test_fold=your_test_fold)

然后设置cv=ps在GridSearchCV

test_fold：“类似数组的形状（n_samples个）

test_fold [i]给出样本i的测试集折叠。值-1表示相应的样本不属于任何测试集折叠，而是始终将其放入训练折叠中。

另见这里

使用验证集时，请将属于验证集的所有样本的test_fold设置为0，将所有其他样本的test_fold设置为-1。