sklearn管道-如何在不同的列上应用不同的转换

Question

我对sklearn中的管道还很陌生，并且遇到了这个问题：我有一个包含文本和数字混合的数据集，即某些列仅包含文本，其余的列具有整数（或浮点数）。

我想知道是否有可能建立一个管道，例如我可以调用LabelEncoder()文本功能和MinMaxScaler()数字列。我在网上看到的示例大多指向LabelEncoder()在整个数据集而不是在选择列上使用。这可能吗？如果是这样，任何指针将不胜感激。

Answer 1

我通常的做法是使用FeatureUnion，使用aFunctionTransformer拉出相关的列。

重要笔记：

• 您必须使用来定义函数，def因为令人讨厌的是您无法使用，lambda或者partial如果要腌制模型，请在FunctionTransformer中定义

• 您需要初始化FunctionTransformer与validate=False

像这样：

from sklearn.pipeline import make_union, make_pipeline
from sklearn.preprocessing import FunctionTransformer

def get_text_cols(df):
    return df[['name', 'fruit']]

def get_num_cols(df):
    return df[['height','age']]

vec = make_union(*[
    make_pipeline(FunctionTransformer(get_text_cols, validate=False), LabelEncoder()))),
    make_pipeline(FunctionTransformer(get_num_cols, validate=False), MinMaxScaler())))
])