r caretEnsemble警告：未在trControl中定义索引

Question

我有一些r/cerot代码来将几个交叉验证的模型适合于一些数据，但是我收到一条警告消息，说我在查找有关的任何信息时遇到了困难。这是我应该关心的事吗？

library(datasets)
library(caret)
library(caretEnsemble)

# load data
data("iris")

# establish cross-validation structure
set.seed(32)
trainControl <- trainControl(method="repeatedcv", number=5, repeats=3, savePredictions=TRUE, search="random")

# fit several (cross-validated) models 
algorithmList <- c('lda',         # Linear Discriminant Analysis 
                   'rpart' ,      # Classification and Regression Trees
                   'svmRadial')   # SVM with RBF Kernel

models <- caretList(Species~., data=iris, trControl=trainControl, methodList=algorithmList)

Warning messages:
1: In trControlCheck(x = trControl, y = target) :
  x$savePredictions == TRUE is depreciated. Setting to 'final' instead.
2: In trControlCheck(x = trControl, y = target) :
  indexes not defined in trControl.  Attempting to set them ourselves, so each model in the ensemble will have the same resampling indexes.

Answer 1

traincontrol默认情况下不会为您生成索引，它用作将所有参数传递给您正在训练的每个模型的一种方式。

当我们搜索关于错误的github问题时，我们可以找到这个特定的问题。

您需要确保每个模型都适合完全相同的重采样折叠。caretEnsemble通过合并每个交叉验证文件夹的测试集来构建集成，如果每个文件夹中有不同的观察结果，您将得到不正确的结果。

这意味着当您指定number=5和repeats=3时，模型实际上并不是为每个文件夹的样本获得预定的索引，而是独立地生成它们自己的索引。

因此，为了确保模型在哪些样本属于哪些折叠方面彼此一致，您必须在traincontrol对象中指定index=createFolds(iris$species，5)

# new trainControl object with index specified
trainControl <- trainControl(method = "repeatedcv",
                             number = 5,
                             index = createFolds(iris$Species, 5),
                             repeats = 3,
                             savePredictions = "all",
                             search = "random")