#parameters #machine-learning #grid #decision-tree
#параметры #машинное обучение #сетка #дерево решений
Вопрос:
Я хотел бы выполнить некоторую задачу прогнозирования / классификации с использованием алгоритма DT. Однако, если я не хочу использовать метод поиска по сетке для определения оптимальных параметров, как я могу определить значение параметров (таких как глубина дерева и минимальная выборка для разделения) априори?
Ответ №1:
Вы не можете. В противном случае это были бы не гиперпараметры, а просто константы, встроенные в модель. Вся причина того, что что-то является гиперпараметром, заключается в отсутствии устоявшегося метода обучения / выбора. Помимо поиска по сетке есть много вещей, в том числе (но не ограничиваясь ими): случайный поиск, метаоптимизация, байесовская оптимизация гиперпараметров и т. Д. Но, в конце концов, вы не можете убежать от него.
Комментарии:
1. Спасибо. Но как насчет параметра регуляризации в логистической регрессии и SVM, разве не принято выбирать произвольное значение по умолчанию, скажем, в 1 априори? Если да, то почему можно выбрать какое-то значение в них, но не в DT?
2. Нет, это не обычная практика. Это распространенная ошибка. Однако некоторые модели менее чувствительны к выбору гиперпараметров (например, линейный svm), а некоторые более (dt). Более чувствительный — больше необходимости в настройке