在sklearn LabelEncoder中返回标签及其编码值

Question

我正在机器学习项目中使用LabelEncoder和onehotcoder从sklearn对数据集中的标签（国家名称）进行编码。一切正常，我的模型运行良好。该项目将根据包括客户所在国家在内的许多特征（数据）对银行客户是否继续或离开银行进行分类。

当我想预测（分类）一个新客户（仅一个）时，我的问题就出现了。新客户的数据仍未预处理（即，国家名称未编码）。如下所示：

new_customer = np.array([['France', 600, 'Male', 40, 3, 60000, 2, 1,1, 50000]])

在我学习机器学习的在线课程中，讲师打开包含编码数据的预处理数据集，手动检查法国代码，并在new_customer中进行更新，如下所示：

new_customer = np.array([[0, 0, 600, 'Male', 40, 3, 60000, 2, 1,1, 50000]])

我认为这是不实际的，必须有一种方法可以自动将法国编码为原始数据集中使用的相同代码，或者至少有一种方法可以返回国家列表及其编码值。手动编码标签似乎很乏味，而且容易出错。那么，我怎样才能使这个过程自动化，或者为标签生成代码呢？提前谢谢。

Answer 1

问题是您没有对数据集的country属性进行编码。

from sklearn.preprocessing import LabelEncoder
from sklearn.preprocessing import OneHotEncoder
# define example
data = ['cold', 'cold', 'warm', 'cold', 'hot', 'hot', 'warm', 'cold', 'warm', 
'hot']
values = array(data)
print(values)
# integer encode
label_encoder = LabelEncoder()
integer_encoded = label_encoder.fit_transform(values)
print(integer_encoded)
# binary encode
onehot_encoder = OneHotEncoder(sparse=False)
integer_encoded = integer_encoded.reshape(len(integer_encoded), 1)
onehot_encoded = onehot_encoder.fit_transform(integer_encoded)
print(onehot_encoded)

输出：-

['cold' 'cold' 'warm' 'cold' 'hot' 'hot' 'warm' 'cold' 'warm' 'hot']
[0 0 2 0 1 1 2 0 2 1]
[[1. 0. 0.]
 [1. 0. 0.]
 [0. 0. 1.]
 [1. 0. 0.]
 [0. 1. 0.]
 [0. 1. 0.]
 [0. 0. 1.]
 [1. 0. 0.]
 [0. 0. 1.]
 [0. 1. 0.]]

对于您的问题，此数据=['cold'、'cold'、'warm'、'cold'、'hot'、'hot'、'warm'、'cold'、'warm'、'hot']应该是数据集的国家属性。然后可以选择整数或二进制编码方法。然后继续学习过程。

Answer 2

在机器学习中，将预处理管道保存在内存中是一种习惯，这样，在拾取其超参数并训练模型后，您可以对测试数据应用相同的预处理。

如果所有这些都在同一个python实例中运行，就像中小型项目一样，那么这意味着保持您的LabelEncoder在线或不将其发送到垃圾回收机制。如果在不同的实例中运行训练和测试，我认为最简单的解决方案是将其存储在磁盘上，并将其加载到测试脚本中。

我建议您使用pickle。这里有一个例子。

Answer 3

看起来您可能正在查找。transform（）估算器的方法。

>>> from sklearn.preprocessing import LabelEncoder

>>> c = ['France', 'UK', 'US', 'US', 'UK', 'China', 'France']
>>> enc = LabelEncoder().fit(c)
>>> encoded = enc.transform(c)
>>> encoded
array([1, 2, 3, 3, 2, 0, 1])

>>> encoded.transform(['France'])
array([1])

这将获取调用fit（c）时学习到的“映射”，并将其应用于新数据（在本例中为新标签）。您可以反向查看此映射：

>>> enc.inverse_transform(encoded)
array(['France', 'UK', 'US', 'US', 'UK', 'China', 'France'], dtype='<U6')

正如这里的答案所提到的，如果您想在Python会话之间执行此操作，可以将估计器序列化到磁盘，如下所示：

import pickle

with open('enc.pickle', 'wb') as file:
    pickle.dump(enc, file, pickle.HIGHEST_PROTOCOL)

然后将其加载到新会话中，并使用它转换传入的数据。