Блог

Насколько я понимаю, cross_val_score, cross_val_predict, and cross_val_validate можно использовать K-fold validation . Это означает, что обучающий набор итеративно используется частично как обучающий набор и набор тестов. Однако я не встречал никакой информации о том, как выполняется проверка. Похоже, что данные не разделены на три набора — обучающие, проверочные и тестовые наборы. Как cross_val_score, cross_val_predict и cross_val_validate заботятся об обучении, проверке и тестировании?

cross_val_score используется для оценки точности модели более надежным способом, чем при обычном разделении обучающего теста. Он выполняет ту же работу, но повторяет ее много раз. Эти «повторения» можно выполнять разными способами: CV, повторное CV, LOO и т. Д. См. 3.1.2 в Руководстве пользователя sklearn

В случае, если вам нужно перекрестно проверять гиперпараметры, вам следует выполнить вложенную перекрестную проверку с одним внешним циклом для оценки точности модели и одним внутренним циклом для получения наилучших параметров. Этот внутренний цикл CV разделит набор поездов внешнего цикла на наборы поездов и проверки. Процедура должна выглядеть примерно так:

 Outer loop:
    Split train - test
    Inner loop:
       Fix parameters      
       Split train in train2 - validation
       Train with train2 set
       Score with validation set
       Repeat Inner loop for all parameters
   Train with train set and best parameters from inner loop
   Score with test 
   Repeat outer loop until CV ends
   Return test scores
  

К счастью, sklearn all позволяет вложить GridSearchCV в cross_val_score.

 validation = GridSearchCV(estimator, param_grid)
score = cross_val_score(validation, X, y)
  

cross_val_score заботится о проверке, поскольку процесс разбивает набор данных на K части (по умолчанию 3) и выполняет время подгонки и проверки K . В документации Sklearn говорится о разделении набора данных на обучающий / тестовый набор, но не поймите неправильно название. Этот набор тестов на самом деле является набором проверки.

С помощью cross_val_score вы можете настроить гиперпараметры модели и получить наилучшую конфигурацию.

Поэтому общая процедура должна состоять в том, чтобы разделить (самостоятельно) набор данных на обучающий набор и тестовый набор.

Используйте обучающий набор для перекрестной проверки (вызова cross_val_score ), чтобы настроить гиперпараметры модели и получить наилучшую конфигурацию.

Затем используйте набор тестов для оценки модели. Обратите внимание, что набор тестов должен быть достаточно большим и репрезентативным для совокупности, чтобы получить объективную оценку ошибки обобщения.