机器学习如何比较不同的特征集

Question

假设我有两组不同的特性A和B。我正在尝试确定哪一组特性是最好的。由于我的数据集很小，所以我使用了漏掉一个交叉验证作为最终指标。我正试图弄清楚我的实验装置，我在以下几种方式中做出选择：

1） 将特征集A赋予我的分类器（并可选地运行特征选择），将特征集B赋予同一分类器（也可选地运行特征选择），然后比较这两个分类器之间的LOOCV错误？

2） 将特征集A和B赋予分类器，然后明确地对其进行特征选择，然后根据选择的特征得出更高级别的结论。（例如，如果从A中选择更多，则特征集A似乎具有更多预测值）

3）我不知道的其他方式

Answer 1

在方法1中，我想知道为什么对不同的特征使用不同的分类器？我更喜欢你的方法2。通过在训练过程中保留所有特征，您可以更好地选择适当的特征，因为不必要特征的权重将衰减。如果你有很多功能，每一个功能都会起到一定的作用，那么它就会很好地工作。在这种方法中，还可以添加正则化因子。

Answer 2

你所描述的标准程序与方法1非常相似：

1. 分别在特征集A和B上训练同一分类器的两个实例。
2. 使用某种形式的交叉验证来评估每个，例如10倍交叉验证，或者像您一直使用的那样忽略一个。

这就是说，如果你没有严格限制在特征集A异或B上，那么你可以使用与你在2中描述的类似的方法，得到一个新的集C。

使用漏掉一个交叉验证很难相信结果，使用10倍可能更好。这可能是其中一种情况，如果你能得到更多的数据，那么这些数据将非常有帮助，如果不能，你可能无法进行分析。