В чем разница между eval_metric и feval в xgboost?

#r #xgboost #kaggle

#r #xgboost #каггл #kaggle

Вопрос:

В чем разница между feval и eval_metric в xgb.train, оба параметра предназначены только для целей оценки.

Сообщение от Kaggle дает некоторое представление :

https://www.kaggle.com/c/prudential-life-insurance-assessment/forums/t/18473/custom-objective-for-xgboost

Ответ №1:

feval заключается в создании вашей собственной настроенной метрики оценки.

  • это должна быть (пользовательская) функция

eval_metric предназначен для встроенных показателей, которые реализует пакет xgboost.

  • это строка, например rmse / logloss/ mlogloss/ merror/ error/ auc/ ndcg/ ...

Ответ №2:

Они оба делают примерно одно и то же.

Eval_metri c может принимать строку (использует их внутренние функции) или определяемую пользователем функцию

feval принимает только функцию

Оба, как вы отметили, предназначены для целей оценки.

В приведенных ниже примерах вы можете видеть, что они используются очень похоже.

 ## A simple xgb.train example:
param <- list(max_depth = 2, eta = 1, silent = 1, nthread = 2, 
              objective = "binary:logistic", eval_metric = "auc")
bst <- xgb.train(param, dtrain, nrounds = 2, watchlist)


## An xgb.train example where custom objective and evaluation metric are used:
logregobj <- function(preds, dtrain) {
   labels <- getinfo(dtrain, "label")
   preds <- 1/(1   exp(-preds))
   grad <- preds - labels
   hess <- preds * (1 - preds)
   return(list(grad = grad, hess = hess))
}
evalerror <- function(preds, dtrain) {
  labels <- getinfo(dtrain, "label")
  err <- as.numeric(sum(labels != (preds > 0)))/length(labels)
  return(list(metric = "error", value = err))
}

# These functions could be used by passing them either:
#  as 'objective' and 'eval_metric' parameters in the params list:
param <- list(max_depth = 2, eta = 1, silent = 1, nthread = 2, 
              objective = logregobj, eval_metric = evalerror)
bst <- xgb.train(param, dtrain, nrounds = 2, watchlist)

#  or through the ... arguments:
param <- list(max_depth = 2, eta = 1, silent = 1, nthread = 2)
bst <- xgb.train(param, dtrain, nrounds = 2, watchlist,
                 objective = logregobj, eval_metric = evalerror)

#  or as dedicated 'obj' and 'feval' parameters of xgb.train:
bst <- xgb.train(param, dtrain, nrounds = 2, watchlist,
                 obj = logregobj, feval = evalerror)
  

https://github.com/dmlc/xgboost/blob/72451457120ac9d59573cf7580ccd2ad178ef908/R-package/R/xgb.train.R#L176