熊猫数据帧编码具有数千个唯一值的类别变量

Question

我有一个关于几千个城市学校数据的数据框。学校是行标识符，城市编码如下：

school city          category   capacity
1      azez6576sebd  45         23
2      dsqozbc765aj  12         236
3      sqdqsd12887s  8          63 
4      azez6576sebd  7          234 
...

知道我有几千个城市，如何将城市变量转换为数字？我想一个热编码是不合适的，因为我会有太多的列。将千级分类变量转换为数字变量的一般方法是什么？

谢谢你。

Answer 1

在生产ML系统中使用的最佳方法

1）正面标签数目2）负面标签数目3）比率

这里有一个视频解释它——大规模学习——米哈伊尔·比伦科博士

散列编码器也适用于“city”列具有数千个不同值的情况。这种方法可以很好地扩展。您需要指定要作为输出的二进制输出列的数量。

监督学习案例的另一个选择是目标编码器或詹姆斯·斯坦编码器。此技术将每个类别替换为具有该类别的行的目标的平均值。但是如果您的数据集样本不是很大，并且每个类别只有几个示例，这种方法可能不是很有用。

这是我提到的一篇有用的博客文章——编码类别变量

Answer 2

在ML分类器的上下文中，数千列仍然是可管理的。尽管你想提防维度的诅咒。

除此之外，您不希望一个get_dummies调用导致内存井喷，所以您可以生成一个SparseDataFrame来代替-

v = pd.get_dummies(df.set_index('school').city, sparse=True)
v

        azez6576sebd  dsqozbc765aj  sqdqsd12887s
school                                          
1                  1             0             0
2                  0             1             0
3                  0             0             1
4                  1             0             0

type(v)
pandas.core.sparse.frame.SparseDataFrame

可以使用生成稀疏矩阵sdf.to_coo-

v.to_coo()

<4x3 sparse matrix of type '<class 'numpy.uint8'>'
    with 4 stored elements in COOrdinate format>

Answer 3

你可以在skLearning中使用类别dtype，应该是label编码器

df.city=df.city.astype('category').cat.codes
df
Out[385]: 
   school  city  category  capacity
0       1     0        45        23
1       2     1        12       236
2       3     2         8        63
3       4     0         7       234