在CatBoost基准中使用了哪种预处理来编码分类变量？

Question

我最近开始使用CatBoost进行机器学习模型的快速原型制作，灵感来自CatBoost与XGBoost、LightGBM和h2o相比的出色性能基准。

由于XGBoost只能接受数字特征，所以CatBoost和XGBoost之间的比较需要对分类特征进行共同的预处理。我不完全清楚在基准测试实验中使用了什么样的预处理来编码分类特征，以及不使用简单的一次热编码的理由。

我试着读了实验的留档。据我所知，对分类特征进行编码的过程大约相当于以下内容：

1. 在训练集中，将响应y分组为j，并与均值函数聚合。让我们调用结果df_agg_j
2. 左加入训练集合和df_agg_j在分类列j上，删除原来的分类列j并使用新的数字列代替
3. 左加入有效集合和df_agg_j在分类列j上，删除原来的分类列j并使用新的数字列代替

我仍然不理解“第j个分类特征和第I个对象的对象的随机排列”的必要性，以及在文档“拆分准备”部分的最终公式中，在分子处添加1，在分母处添加2的必要性。

拆分和预处理数据的代码可以在这里找到。

在这个实验中，是否有关于编码分类特征的方法的解释（或文献中的一些参考），以及这种方法和one-Hot编码之间的比较？

Answer 1

对于分类特征，使用基于目标的统计。这是目前预处理GBDT分类特征的最佳方式，比one Hot更好。这类似于目标编码，但使用置换来避免过拟合。关于这种方法的细节和比较可以在NIPS 2018年的论文《CatBoost：带分类特征的无偏提升》（https://arxiv.org/abs/1706.09516）中找到。