将sklearn的GridSearchCV与管道一起使用，只需预处理一次

Question

我正在使用scickit-learn来调整模型的超参数。我正在使用管道将预处理器与估算器链接在一起。我的问题的一个简单版本如下所示：

import numpy as np
from sklearn.model_selection import GridSearchCV
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression


grid = GridSearchCV(make_pipeline(StandardScaler(), LogisticRegression()),
                    param_grid={'logisticregression__C': [0.1, 10.]},
                    cv=2,
                    refit=False)

_ = grid.fit(X=np.random.rand(10, 3),
             y=np.random.randint(2, size=(10,)))

在我的情况下，预处理（在玩具示例中为StandardScale（））非常耗时，并且我没有调整其任何参数。

因此，当我执行示例时，StandardScaler被执行12次。2个适合/预测 2个简历
3个参数。但是，每次对参数C的不同值执行StandardScaler时，它都会返回相同的输出，因此效率更高，只需计算一次，然后运行管道的估计器部分即可。

我可以在预处理（不调整超参数）和估计器之间手动拆分管道。但是要将预处理应用于数据，我应该只提供训练集。因此，我将不得不手动实现拆分，而根本不使用GridSearchCV。

有没有简单/标准的方法来避免在使用GridSearchCV时重复进行预处理？

Answer 1

更新
：理想情况下，不应使用以下答案，因为它会导致数据泄漏，如注释中所述。在此答案中，GridSearchCV将对已经由预处理的数据上的超参数进行调整StandardScaler，这是不正确的。在大多数情况下，这无关紧要，但是对缩放过于敏感的算法将给出错误的结果。

本质上，GridSearchCV还是一个估计器，实现管道使用的fit（）和predict（）方法。

所以代替：

grid = GridSearchCV(make_pipeline(StandardScaler(), LogisticRegression()),
                    param_grid={'logisticregression__C': [0.1, 10.]},
                    cv=2,
                    refit=False)

做这个：

clf = make_pipeline(StandardScaler(), 
                    GridSearchCV(LogisticRegression(),
                                 param_grid={'logisticregression__C': [0.1, 10.]},
                                 cv=2,
                                 refit=True))

clf.fit()
clf.predict()

它将要做的是，仅一次调用StandardScalar（），一次调用，clf.fit()而不是您所描述的多次调用。

编辑：

True当在管道内使用GridSearchCV时，将refit更改为。如文档中所述：

refit：boolean，default = True用整个数据集重新拟合最佳估计量。如果为“
False”，则拟合后将无法使用此GridSearchCV实例进行预测。

如果refit =
False，clf.fit()将不起作用，因为管道内部的GridSearchCV对象将在之后重新初始化fit()。到时refit=True，将对GridSearchCV重新拟合传入的整个数据的最佳评分参数组合fit()。

因此，如果要建立管道，仅查看网格搜索的分数，则只有refit=False合适。如果要调用该clf.predict()方法，则refit=True必须使用，否则将引发“未拟合”错误。