在训练中使用一热编码后，用回归模型获得数据点预测的正确形状

Question

我正在写一个使用线性回归的应用程序。就我而言，sklearn。线性模型。屋脊。我很难将我想要预测的数据点设置为Ridge的正确形状。我简要介绍了我的两个应用程序以及问题是如何出现的：

第一次申请：

我的数据点每个只有一个特性，都是字符串，因此我使用一个热编码，以便能够将它们与Ridge一起使用。之后，数据点（X_hotcoded）各有9个特征：

import pandas as pd
X_hotEncoded = pd.get_dummies(X)

在拟合Ridge到X_hotEncoded和标签y后，我将训练好的模型保存为：

from sklearn.externals import joblib
joblib.dump(ridge, "ridge.pkl")

第二次申请：

现在我有一个训练好的模型保存在磁盘上，我喜欢在我的第二个应用程序中检索它，并预测一个数据点的y（标签）。这就是我遇到上述问题的地方：

# X = one datapoint I like to predict y for 
ridge= joblib.load("ridge.pkl")
X_hotEncoded = pd.get_dummies(X)
ridge.predict(X_hotEncoded) # this should give me the prediction

这在最后一行代码中给出了以下错误：

value错误：形状（1,1）和（9，）未对齐：1（尺寸1）！=9（尺寸0）

Ridge被训练了9个特性，因为我在所有数据点上使用了One-Hot编码。现在，当我喜欢预测一个数据点（只有一个功能）时，我很难将这个数据点设置成正确的形状，以便Ridge能够处理它。一个热编码对一个数据点没有影响，只有一个功能。

有人知道解决这个问题的好办法吗？

一个可能的解决方案可能是将列名写入第一个应用程序中的磁盘，并在第二个应用程序中检索它，然后在那里重建数据点。可以像这里所说的那样检索一个热编码数组的列名：在熊猫中逆转“一个热”编码

Answer 1

这里发生的情况如下：

在培训阶段，您决定使用编码将单个分类特征转换为9个数字特征（一个热特征）。您在这个编码上训练了回归算法。因此，为了将其用于未知（测试）数据，您必须以与培训期间完全相同的方式转换这些数据。

不幸的是，我不认为你可以保存pd.get_dummies使用的编码并重用它。您应该使用sklearn.preprocessing.OneHotEncoder（）代替。所以在训练期间：

from sklearn.preprocessing import OneHotEncoder

enc = OneHotEncoder()
X_hotEncoded = enc.fit_transform(X)

fit_transform（）首先将编码器匹配到训练数据，然后使用它来转换数据。与pd.get_dummies（）的区别在于，您现在有一个编码器对象，可以保存该对象并在以后重用：

joblib.dump(enc, "encoder.pkl")

在测试期间，您可以应用训练期间使用的相同编码，如下所示：

enc = joblib.load("encoder.pkl")
X_hotEncoded = enc.transform(X)

请注意，您不想再次安装编码器（这是pd.get_dummies（）将要做的），因为对训练和测试数据使用相同的编码是至关重要的。

注意：

如果测试数据包含训练数据中不存在的值，您将遇到问题（因为编码器不知道如何对这些未知值进行编码）。要避免这种情况，您可以：

• 为onehotcoder（）提供categories参数，并向其传递所有类别的列表