R-Catboost处理分类变量

Question

我有一个关于Catboost的问题。在建模之前，我是否要预处理分类？

如果我有86个变量，包括1个目标变量。在这85个变量中，有2个数字变量和83个分类变量（Factortype）。目标变量是二进制因子，1或0。

第1列和第4列至第85列为系数类型
第2列和第3列是数字。

我对catboost中的cat\u功能有点困惑。列车（）。在参数中，我可以设置分类特征的向量。另外，我可以在catboost中设置。加载池。

library(Catboost)
library(dplyr)

X_train <- train %>% select(-Target)
y_train <- (as.numeric(unlist(train[c('Target')])) - 1)
X_valid <- test %>% select(-Target)
y_valid <- (as.numeric(unlist(test[c('Target')])) - 1)

train_pool <- catboost.load_pool(data = X_train, label = y_train, cat_features = c(0,3:84))
test_pool <- catboost.load_pool(data = X_valid, label = y_valid, cat_features = c(0,3:84))

params <- list(iterations=500,
               learning_rate=0.01,
               depth=10,
               loss_function='RMSE',
               eval_metric='RMSE',
               random_seed = 1,
               od_type='Iter',
               metric_period = 50,
               od_wait=20,
               use_best_model=TRUE,
               cat_features = c(0,3:84))

catboost.train(train_pool, test_pool, params = params)

然而，在我运行上面的代码后，我得到了一个错误：

Error in catboost.train(train_pool, test_pool, params = params) : 
  catboost/libs/options/plain_options_helper.cpp:339: Unknown option {cat_features} with value "[0,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39,40,41,42,43,44,45,46,47,48,49,50,51,52,53,54,55,56,57,58,59,60,61,62,63,64,65,66,67,68,69,70,71,72,73,74,75,76,77,78,79,80,81,82,83,84]"

有什么帮助吗？




Answer 1

我没有在R中尝试过CatBoost，但请参见本页的示例：

https://catboost.ai/docs/concepts/r-reference_catboost-train.html

似乎您只在load_pool（）调用中传递分类变量，而不是在训练（）调用中传递分类变量。

（这与Python API的工作方式不同，后者在Pythonfit（）调用中传递cat_特性。）

建议：将所有分类变量分组到最左边的列中。这样你就有了一个更简单的向量创建。我也有一个在我的代码检查，以确保我做了正确的。。。

Answer 2

看看这个例子，cat_特性不应该进入参数

library(catboost)

countries = c('RUS','USA','SUI')
years = c(1900,1896,1896)
phone_codes = c(7,1,41)
domains = c('ru','us','ch')

dataset = data.frame(countries, years, phone_codes, domains, stringsAsFactors = T)
glimpse(dataset)

label_values = c(0,1,1)

fit_params <- list(iterations = 100,
                   loss_function = 'Logloss',
                   ignored_features = c(4,9),
                   border_count = 32,
                   depth = 5,
                   learning_rate = 0.03,
                   l2_leaf_reg = 3.5)

pool = catboost.load_pool(dataset, label = label_values, cat_features = c(0,3))
model <- catboost.train(pool, params = fit_params)
model