随机化SearchCV采样分布

Question

根据RandomizedSearchCV文件（重点是mine）：

param_distributions:字典或字典列表

使用参数名称 （str） 作为键的字典，以及要尝试的分布或参数列表。分布必须提供 rvs 方法进行采样（例如来自 scipy.stats.分布的方法）。如果给出了一个列表，则对其进行统一采样。如果给出了字典列表，则首先对字典进行统一采样，然后如上所述使用该字典对参数进行采样。

如果我对上述内容的理解是正确的，那么以下示例中的两种算法（XGB 分类器和逻辑递归）都应该以高概率 （

from sklearn.datasets import load_breast_cancer
from sklearn.preprocessing import StandardScaler
from xgboost.sklearn import XGBClassifier
from sklearn.ensemble import GradientBoostingClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.feature_selection import RFE
from sklearn.model_selection import RandomizedSearchCV
from sklearn.pipeline import Pipeline


param_grid = [
              {'scaler': [StandardScaler()],
               'feature_selection': [RFE(estimator=XGBClassifier(use_label_encoder=False, eval_metric='logloss'))],
               'feature_selection__n_features_to_select': [3],
               'classification': [XGBClassifier(use_label_encoder=False, eval_metric='logloss')],
               'classification__n_estimators': [100, 200, 300, 400, 500, 600, 700, 800, 900, 1000],
               'classification__max_depth': [2, 5, 10],
               },
              {'scaler': [StandardScaler()],
               'feature_selection': [RFE(estimator=LogisticRegression())],
               'feature_selection__n_features_to_select': [3],
               'classification': [LogisticRegression()],
               'classification__C': [0.1],
               },
              ]


pipe = Pipeline(steps=[('scaler', StandardScaler()), ('feature_selection', RFE(estimator=LogisticRegression())),
                       ('classification', LogisticRegression())])

classifier = RandomizedSearchCV(estimator=pipe, param_distributions=param_grid,
                                scoring='neg_brier_score', n_jobs=-1, verbose=10)

data = load_breast_cancer()
X = data.data
y = data.target.ravel()
classifier.fit(X, y)

但发生的事情是，每次我运行它时，XGB分类器都会被选择10/10次。我预计会有一个候选人来自逻辑回归，因为每个要抽样的字典的概率为50-50。如果两个算法之间的搜索空间更平衡（“classification__n_estimators”：[100]），则采样按预期工作。有人可以澄清这是怎么回事吗？

Answer 1

是的，这是不正确的行为。有一个问题归档：当所有条目都是列表（没有一个是 scipy 分布）时，当前代码从 ParameterGrid 中选择点，这意味着它将不成比例地从列表中较大的字典网格中选择点。

在修复程序合并之前，您也许可以通过对您不关心的内容使用scipy发行版来解决这个问题，比如说< code>verbose？