如何在pandas中使用sklearn fit_transform并返回dataframe而不是numpy数组？

Question

我想将缩放（使用来自sklearn.preprocessing的StandardScaler（））应用到一个pandas Dataframe。下面的代码返回一个numpy数组，因此我丢失了所有列名和indeces。这不是我想要的。

features = df[["col1", "col2", "col3", "col4"]]
autoscaler = StandardScaler()
features = autoscaler.fit_transform(features)

features = features.apply(lambda x: autoscaler.fit_transform(x))

features = features.apply(lambda x: autoscaler.fit_transform(x.reshape(-1, 1)))

但这给出了：

Traceback（最近的调用为last）：文件“./analyse.py”，第91行，在features=features.apply(lambda x：autoscaler.fit_transform(-1,1））中文件“/usr/lib/python3.5/site-packages/pandas/core/frame.py”，第3972行，在apply return self._apply_standard（f,axis,reduce=reduce）文件“”，第226行，在init mgr=self._init_dict（数据，索引，列，dtype=dtype)文件“/usr/lib/python3.5/site-packages/pandas/core/frame.py”中，第363行，在_init_dict dtype=dtype）文件“/usr/lib/python3.5/site-packages/pandas/core/frame.py”中，第5163行，在_arrays_to_mgr arrays=_homogenize（数组，索引，dtype）文件“r/lib/python3.5/site-packages/pandas/core/series.py”，第2885行，在_sanitize_a中rray引发异常（“数据必须是1维的”）异常：数据必须是1维的

我如何将缩放应用到熊猫数据表中，使数据表完好无损？如果可能，不复制数据。

Answer 1

您可以使用as_matrix()将DataFrame转换为numpy数组。关于随机数据集的示例：

编辑：将as_matrix()更改为values，这不会改变以上as_matrix()文档的最后一句话的结果：

通常，建议使用'.values'。

import pandas as pd
import numpy as np #for the random integer example
df = pd.DataFrame(np.random.randint(0.0,100.0,size=(10,4)),
              index=range(10,20),
              columns=['col1','col2','col3','col4'],
              dtype='float64')

In [14]: df.head(3)
Out[14]:
    col1    col2    col3    col4
    10  3   38  86  65
    11  98  3   66  68
    12  88  46  35  68

from sklearn.preprocessing import StandardScaler
scaled_features = StandardScaler().fit_transform(df.values)

In [15]: scaled_features[:3,:] #lost the indices
Out[15]:
array([[-1.89007341,  0.05636005,  1.74514417,  0.46669562],
       [ 1.26558518, -1.35264122,  0.82178747,  0.59282958],
       [ 0.93341059,  0.37841748, -0.60941542,  0.59282958]])

scaled_features_df = pd.DataFrame(scaled_features, index=df.index, columns=df.columns)

In [17]:  scaled_features_df.head(3)
Out[17]:
    col1    col2    col3    col4
10  -1.890073   0.056360    1.745144    0.466696
11  1.265585    -1.352641   0.821787    0.592830
12  0.933411    0.378417    -0.609415   0.592830

编辑2：

偶然发现了sklearn-pandas包。它的重点是使SCIKIT-Learning更容易与熊猫使用。sklearn-pandas在需要对dataframe的列子集应用多种类型的转换时特别有用，这是一种更常见的情况。它已经记录在案，但这就是我们刚才执行的转换的实现方式。

from sklearn_pandas import DataFrameMapper

mapper = DataFrameMapper([(df.columns, StandardScaler())])
scaled_features = mapper.fit_transform(df.copy(), 4)
scaled_features_df = pd.DataFrame(scaled_features, index=df.index, columns=df.columns)