在训练和测试数据中保持相同的虚拟变量

Question

我正在用python构建一个预测模型，其中包含两个独立的训练集和测试集。培训数据包含数字类型分类变量，例如邮政编码[915212315112355，…]，以及字符串分类变量，例如，城市[‘芝加哥’、‘纽约’、‘洛杉矶’、…]。

为了训练数据，我首先使用“pd”。获取_dummies'以获取这些变量的虚拟变量，然后用转换后的训练数据拟合模型。

我对测试数据进行同样的转换，并使用经过训练的模型预测结果。然而，我得到了错误

ValueError: Number of features of the model must  match the input. Model n_features is 1487 and  input n_features is 1345

原因是测试数据中的虚拟变量较少，因为它的“城市”和“zipcode”较少。

我怎样才能解决这个问题？例如，“OneHotEncoder”将只对所有数字类型的分类变量进行编码DictVectorizer（）将只对所有字符串类型的分类变量进行编码。我在网上搜索，看到了一些类似的问题，但没有一个真正解决了我的问题。

使用Scikit学习处理分类特征

https://www.quora.com/If-the-training-dataset-has-more-variables-than-the-test-dataset-what-does-one-do

https://www.quora.com/What-is-the-best-way-to-do-a-binary-one-hot-one-of-K-coding-in-Python

Answer 1

train2,test2 = train.align(test, join='outer', axis=1, fill_value=0)

train2和test2具有相同的列。Fill_value指示用于缺失列的值。

Answer 2

假设在训练和测试数据集中有相同的功能名称。您可以从训练和测试中生成串联数据集，从串联数据集中获取假人，并将其拆分为训练和测试。

您可以这样做：

import pandas as pd
train = pd.DataFrame(data = [['a', 123, 'ab'], ['b', 234, 'bc']],
                     columns=['col1', 'col2', 'col3'])
test = pd.DataFrame(data = [['c', 345, 'ab'], ['b', 456, 'ab']],
                     columns=['col1', 'col2', 'col3'])
train_objs_num = len(train)
dataset = pd.concat(objs=[train, test], axis=0)
dataset_preprocessed = pd.get_dummies(dataset)
train_preprocessed = dataset_preprocessed[:train_objs_num]
test_preprocessed = dataset_preprocessed[train_objs_num:]

结果，您的训练数据集和测试数据集具有相同数量的特征。

Answer 3

您也可以只获取缺失的列并将其添加到测试数据集：

# Get missing columns in the training test
missing_cols = set( train.columns ) - set( test.columns )
# Add a missing column in test set with default value equal to 0
for c in missing_cols:
    test[c] = 0
# Ensure the order of column in the test set is in the same order than in train set
test = test[train.columns]

此代码还确保从测试数据集中的类别中产生但在训练数据集中不存在的列将被删除