Блог

Деревья решений работают путем разделения обучающих подмножеств на каждом узле, перебираясь от корневых к конечным узлам, пока мы не получим результат классификации / регрессии.

Но как вычисляется фактическая граница принятия решения (веса)? Мы используем функцию стоимости для выполнения разделения на каждом узле. Помогает ли эта функция стоимости также находить веса?

Например, для построения классификатора AdaBoost обучается первый базовый классификатор (например, дерево решений), который используется для прогнозирования в обучающем наборе. Затем увеличивается относительный вес неправильно классифицированных обучающих экземпляров. Второй классификатор обучается с использованием обновленных весов и снова делает прогнозы на обучающем наборе, веса обновляются и так далее.

Как рассчитывается этот относительный вес?

В Adaboosting относительные веса вычисляются следующим образом,

Во-первых, учитывая m количество обучающих экземпляров, каждому экземпляру присваивается равный вес 1 / м.

Теперь мы определяем взвешенную частоту ошибок j-го предиктора / классификатора после обучения следующим образом:

r (j) = сумма (веса неверных экземпляров) / сумма (веса всех экземпляров)

Теперь мы определяем другой термин, вес предиктора / классификатора следующим образом :

cw (j) = скорость обучения * log ((1 — r (j)) / (rj))

Теперь для относительных весов каждого экземпляра мы вычисляем их следующим образом, где i — индекс / идентификатор экземпляра:

если w (i) было правильно классифицировано в последнем предикторе, то :

w (i) = w (i)

иначе, если w (i) было неправильно классифицировано, тогда :

w (i) = w (i) * exp(cw (j))

Это увеличило бы веса неправильно классифицированных экземпляров, если они составляют менее 50% экземпляров, если последний предсказатель классифицировал 50% правильных экземпляров, это установило бы r (j) = .5, что приводит к cw (j) = 0 и w (i) для неправильногоэкземпляры будут равны w (i) * 1, что означает отсутствие изменений в весах неправильных экземпляров.