Scikit中跨多列的标签编码-学习

Question

我正在尝试使用Scikit-Learn的LabelEncoder来编码字符串标签的pandasDataFrame。由于dataframe有许多(50+)列，我希望避免为每个列创建LabelEncoder对象；我宁愿只有一个大的LabelEncoder对象，它可以跨我的所有数据列工作。

将整个DataFrame抛入LabelEncoder会产生以下错误。请记住,我在这里使用的是虚拟数据；实际上，我正在处理大约50列字符串标记的数据，因此需要一个不引用任何列名称的解决方案。

import pandas
from sklearn import preprocessing 

df = pandas.DataFrame({
    'pets': ['cat', 'dog', 'cat', 'monkey', 'dog', 'dog'], 
    'owner': ['Champ', 'Ron', 'Brick', 'Champ', 'Veronica', 'Ron'], 
    'location': ['San_Diego', 'New_York', 'New_York', 'San_Diego', 'San_Diego', 
                 'New_York']
})

le = preprocessing.LabelEncoder()

le.fit(df)

回溯（最近一次调用）：文件“”，第1行，在文件“/users/bbalin/anaconda/lib/python2.7/site-packages/sklearn/preprocessing/label.py”中，第103行，在fit y=column_or_1d（y,warn=true)文件“/users/bbalin/anaconda/lib/python2.7/site-packages/sklearn/utils/validation.py”，第306行，在column_or_1d中提高ValueError（“错误的输入形状{0}”。format（shape））：错误的输入形状（6,3）

对如何绕过这个问题有什么想法吗？

Answer 1

不过,您可以很容易地做到这一点,

df.apply(LabelEncoder().fit_transform)

编辑2：

在scikit-learn 0.20中，推荐的方法是

OneHotEncoder().fit_transform(df)

from collections import defaultdict
d = defaultdict(LabelEncoder)

# Encoding the variable
fit = df.apply(lambda x: d[x.name].fit_transform(x))

# Inverse the encoded
fit.apply(lambda x: d[x.name].inverse_transform(x))

# Using the dictionary to label future data
df.apply(lambda x: d[x.name].transform(x))

使用Neuraxle的Flatenforeach步骤，也可以同时对所有扁平化的数据使用相同的LabelEncoder:

FlattenForEach(LabelEncoder(), then_unflatten=True).fit_transform(df)

对于根据数据列使用单独的LabelEncoder，或者如果只需要对某些数据列进行标签编码，而不需要对其他数据列进行标签编码，则使用ColumnTransformer是一种允许对列选择和LabelEncoder实例进行更多控制的解决方案。