数据预处理 特征工程 之库sklearn-pandas

熟悉数据分析行业，python 栈，基本都会使用numpy pandas sklearn ，使用sklearn 在做特征工程时，其操作对象是 numpy 的数组，而不是 pandas 的dataframe，但是 长期以来 我们多维数据承装 的容器都是选择dataframe，其安全可靠 便捷 灵活 轻巧 等特性 秒杀其他语言的任何容器。但是在对 dataframe做特征工程时 ，简单的使用pandas自带的是可以实现的，但是稍微复杂一些的，我们就要使用sklearn 了，但是sklearn 特征工程没有办法直接操作 dataframe ，要么把dataframe 转化为 numpy 的array数组，但是会丢失索引和 列名，也担心再次组装时 会出现问题，有没有 可以让sklearn 直接操作 dataframe的可能？
有，当然有 ，那就是 sklearn-pandas ！！ 而且现在 这个包已经集成到sklearn的包中，只要本机安装了 最新版的sklearn 组件就可以直接使用，按照 其 GitHub 上的tutorial ，简单尝试 ，感觉还是非常好用的。

https://github.com/scikit-learn-contrib/sklearn-pandas
有一种冲动就是 直接汉译了 他的tutorial 方便 大家使用

导包：
from sklearn_pandas import DataFrameMapper, cross_val_score
import sklearn.decomposition
from sklearn.feature_extraction.text import CountVectorizer

%python
import pandas as pd
import numpy as np
import xgboost as xgb
import random
import os
from datetime import date,datetime
from sklearn.linear_model import LogisticRegression
from sklearn.svm import SVC
from sklearn.metrics import roc_curve,roc_auc_score
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import Normalizer
from sklearn.preprocessing import StandardScaler as SS
from sklearn.preprocessing import MinMaxScaler as MM
from sklearn.preprocessing import LabelEncoder
from sklearn.preprocessing import LabelBinarizer as LB
from sklearn.externals import joblib

创建一个dataframe 实例
data = pd.DataFrame({‘pet’: [‘cat’, ‘dog’, ‘dog’, ‘fish’, ‘cat’, ‘dog’, ‘cat’, ‘fish’],
‘children’: [4., 6, 3, 3, 2, 3, 5, 4],
‘salary’: [90, 24, 44, 27, 32, 59, 36, 27]})

打印输出：print(data)
children pet salary
0 4.0 cat 90
1 6.0 dog 24
2 3.0 dog 44
3 3.0 fish 27
4 2.0 cat 32
5 3.0 dog 59
6 5.0 cat 36
7 4.0 fish 27

然后创建一个DataFrameMapper ，它是 其中最重要的转换器，其中我们在其声明中要配置好，针对哪些列做怎么样的特征转换操作,由于我对 sklearn 的几个转化类都做了 alias ，我们可以之间使用alias

%python
mapper = DataFrameMapper([
([‘pet’], LB()),
([‘children’],SS()),
([‘children’,“salary”],MM())
])

然后执行转化操作
np.round(mapper.fit_transform(data.copy()),2)

打印输出：
array([[ 1. , 0. , 0. , 0.21, 0.5 , 1. ],
[ 0. , 1. , 0. , 1.88, 1. , 0. ],
[ 0. , 1. , 0. , -0.63, 0.25, 0.3 ],
[ 0. , 0. , 1. , -0.63, 0.25, 0.05],
[ 1. , 0. , 0. , -1.46, 0. , 0.12],
[ 0. , 1. , 0. , -0.63, 0.25, 0.53],
[ 1. , 0. , 0. , 1.04, 0.75, 0.18],
[ 0. , 0. , 1. , 0.21, 0.5 , 0.05]])

另外你可以直接看到 featureName

mapper.transformed_names_

得到结果：
[‘pet_cat’, ‘pet_dog’, ‘pet_fish’, ‘children’, ‘children_salary_0’, ‘children_salary_1’]

这个时候我们得到是只是一个numpy 的 narray 对象，可是我们需要的还是Dataframe，怎么办 ，当然最土的方法是这样的

dataArray=np.round(mapper.fit_transform(data.copy()),2)
featureList=mapper.transformed_names_
df4=pd.DataFrame(dataArray ,columns=featureList)

打印结果：打印df4
pet_cat pet_dog pet_fish children children_salary_0 children_salary_1
0 1.0 0.0 0.0 0.21 0.50 1.00
1 0.0 1.0 0.0 1.88 1.00 0.00
2 0.0 1.0 0.0 -0.63 0.25 0.30
3 0.0 0.0 1.0 -0.63 0.25 0.05
4 1.0 0.0 0.0 -1.46 0.00 0.12
5 0.0 1.0 0.0 -0.63 0.25 0.53
6 1.0 0.0 0.0 1.04 0.75 0.18
7 0.0 0.0 1.0 0.21 0.50 0.05

另外 本身 sklearn-pandas 在做转化的时候是可以配置 参数 直接生成 Dataframe，强大不强大
只要在 DataFrameMapper 声明时，配置

,df_out=True

比如
%python
mapper = DataFrameMapper([
([‘pet’], LB()),
([‘children’],ssd()),
([‘children’,“salary”],MM())

],df_out=True)

RealDF=np.round(mapper.fit_transform(data.copy()),2)

打印RealDF：
pet_cat pet_dog pet_fish children children_salary_0 children_salary_1
0 1.0 0.0 0.0 0.21 0.50 1.00
1 0.0 1.0 0.0 1.88 1.00 0.00
2 0.0 1.0 0.0 -0.63 0.25 0.30
3 0.0 0.0 1.0 -0.63 0.25 0.05
4 1.0 0.0 0.0 -1.46 0.00 0.12
5 0.0 1.0 0.0 -0.63 0.25 0.53
6 1.0 0.0 0.0 1.04 0.75 0.18
7 0.0 0.0 1.0 0.21 0.50 0.05