在用插入符号训练多个模型时使用相同的trainControl对象进行交叉验证是否允许精确的模型比较？

Question

我最近一直在研究R包cert，有一个关于训练过程中模型的可再现性和比较性的问题，但我还没能确定下来。

我的意图是，每个train调用以及由此产生的每个模型都使用相同的交叉验证拆分，以便交叉验证的初始存储结果与构建过程中计算的模型样本外估计具有可比性。

我见过的一种方法是，您可以在每次train调用之前指定种子：

set.seed(1)
model <- train(..., trControl = trainControl(...))
set.seed(1)
model2 <- train(..., trControl = trainControl(...))
set.seed(1)
model3 <- train(..., trControl = trainControl(...))

但是，在train调用之间共享traincontrol对象是否意味着它们通常使用相同的重采样和索引，或者是否必须将seeds参数显式传递到函数中。列控对象在使用时是否具有随机功能，还是在申报时设置？

我现在的方法是：

set.seed(1)
train_control <- trainControl(method="cv", ...)
model1 <- train(..., trControl = train_control)
model2 <- train(..., trControl = train_control)
model3 <- train(..., trControl = train_control)

这些列车呼叫是否将使用相同的拆分并具有可比性，或者我必须采取进一步的步骤来确保这一点？即在创建traincontrol对象时指定种子，还是在每个训练之前调用set.seed？还是两者兼而有之？

我正在查询的代码项目可以在这里找到。读起来可能会更容易，你就会明白了。

Answer 1

在定义traincontrol过程中不会创建CV折叠，除非使用index参数显式说明，我推荐使用该参数。可以使用专门的插入符号函数之一创建这些代码：

CreateFolds
CreateMultiFolds
CreateTimeSlices
GroupKFolds

也就是说，在traincontrol定义之前使用特定的种子不会导致相同的CV折叠。

示例：

library(caret)
library(tidyverse)

set.seed(1)
trControl = trainControl(method = "cv",
                         returnResamp = "final",
                         savePredictions = "final")

创建两个模型：

knnFit1 <- train(iris[,1:4], iris[,5],
                 method = "knn",
                 preProcess = c("center", "scale"),
                 tuneLength = 10,
                 trControl = trControl)

ldaFit2 <- train(iris[,1:4], iris[,5],
                 method = "lda",
                 tuneLength = 10,
                 trControl = trControl)

knnFit1$pred %>%
  left_join(ldaFit2$pred, by = "rowIndex") %>%
  mutate(same = Resample.x == Resample.y) %>%
  {all(.$same)}
#FALSE

set.seed(1)
knnFit1 <- train(iris[,1:4], iris[,5],
                 method = "knn",
                 preProcess = c("center", "scale"),
                 tuneLength = 10,
                 trControl = trControl)

set.seed(1)
ldaFit2 <- train(iris[,1:4], iris[,5],
                 method = "lda",
                 tuneLength = 10,
                 trControl = trControl)


set.seed(1)
rangerFit3 <- train(iris[,1:4], iris[,5],
                 method = "ranger",
                 tuneLength = 10,
                 trControl = trControl)


knnFit1$pred %>%
  left_join(ldaFit2$pred, by = "rowIndex") %>%
  mutate(same = Resample.x == Resample.y) %>%
  {all(.$same)}

knnFit1$pred %>%
  left_join(rangerFit3$pred, by = "rowIndex") %>%
  mutate(same = Resample.x == Resample.y) %>%
  {all(.$same)}