R中随机森林时间序列的变重要度

Question

我的挑战是我不能使用随机森林的可变重要性特性，因为我的大多数特性都与它们最近的过去有高度的相关性。例如，一个移动平均数跨越了一个几天的窗口，这意味着它包含了我的数据集中的多个观察的信息。

这意味着随机森林生成的袋外样本将与随机森林用来训练我的模型的样本内特征相关联。因此，我从中得到的变量重要性将是高度乐观和过度适应的。

我看到的解决方案是以某种方式计算样本外测试集上的变量重要性，而不是使用OOB交叉验证。目标是确保与训练集绝对没有相关性。

Answer 1

哇，太好了，你想到了这些与示例中特性的相关性。

实际上，在测试集上运行变量重要性是一个更好的主意。我想你可以很容易地自己编程。这里有一些伪代码

check baseline performance metric
for variable in variables:
    random shuffle variable
    check performance metric
    save performance metric to disk
barplot(performance metrics)

您的性能度量可以是任何东西：交叉熵、精确度、ROC-AUC等等