Блог

В k раз мы имеем следующее: вы делите данные на k подмножеств (приблизительно) одинакового размера. Вы обучаете сеть k раз, каждый раз исключая одно из подмножеств из обучения, но используя только пропущенное подмножество для вычисления любого критерия ошибки, который вас интересует. Если k равно размеру выборки, это называется перекрестной проверкой «без исключения». «Leave-v-out» — это более сложная и дорогостоящая версия перекрестной проверки, которая включает в себя исключение всех возможных подмножеств v случаев.

что означают термины обучение и тестирование?Я не могу понять.

не могли бы вы рассказать мне несколько ссылок, где я могу изучить этот алгоритм на примере?

 Train classifier on folds: 2 3 4 5 6 7 8 9 10; Test against fold: 1
Train classifier on folds: 1 3 4 5 6 7 8 9 10; Test against fold: 2
Train classifier on folds: 1 2 4 5 6 7 8 9 10; Test against fold: 3
Train classifier on folds: 1 2 3 5 6 7 8 9 10; Test against fold: 4
Train classifier on folds: 1 2 3 4 6 7 8 9 10; Test against fold: 5
Train classifier on folds: 1 2 3 4 5 7 8 9 10; Test against fold: 6
Train classifier on folds: 1 2 3 4 5 6 8 9 10; Test against fold: 7
Train classifier on folds: 1 2 3 4 5 6 7 9 10; Test against fold: 8
Train classifier on folds: 1 2 3 4 5 6 7 8 10; Test against fold: 9
Train classifier on folds: 1 2 3 4 5 6 7 8 9;  Test against fold: 10  
  

Короче говоря: Обучение — это процесс обеспечения обратной связи с алгоритмом для настройки прогностической способности классификатора (ов), который он создает.

Тестирование — это процесс определения реалистичной точности классификатора (ов), которые были созданы алгоритмом. Во время тестирования классификатору (ам) предоставляются ранее не встречавшиеся экземпляры данных для окончательного подтверждения того, что точность классификатора не сильно отличается от точности во время обучения.

Однако вам не хватает ключевого шага в середине: проверки (на которую вы ссылаетесь в 10-кратной / k-кратной перекрестной проверке).

Проверка (обычно) выполняется после каждого шага обучения, и она выполняется для того, чтобы помочь определить, переобучается ли классификатор. Этап проверки не обеспечивает никакой обратной связи с алгоритмом для настройки классификатора, но помогает определить, происходит ли переобучение, и сигнализирует, когда обучение должно быть прекращено.

Подумайте о процессе следующим образом:

 1. Train on the training data set.
2. Validate on the validation data set.
if(change in validation accuracy > 0)
   3. repeat step 1 and 2
else
   3. stop training
4. Test on the testing data set.
  

В k-кратном методе вы должны разделить данные на k сегментов, k-1 из них используются для обучения, а один не учитывается и используется для тестирования. Это выполняется k раз, в первый раз первый сегмент используется для тестирования, а остальные используются для обучения, затем второй сегмент используется для тестирования, а остальные используются для обучения, и так далее. Это ясно из вашего примера 10 раз, поэтому он должен быть простым, прочитайте еще раз.

Теперь о том, что такое обучение и что такое тестирование:

Обучение классификации — это часть, в которой создается модель классификации с использованием некоторого алгоритма, популярными алгоритмами для создания обучающих моделей являются ID3, C4.5 и т. Д.

Тестирование означает оценку модели классификации путем прогона модели по тестовым данным, а затем создания матрицы путаницы и последующего вычисления точности и частоты ошибок модели.

В K-кратном методе создаются k моделей (как ясно из описания выше), и выбирается наиболее точная модель для классификации.