#machine-learning #stacked #ensemble-learning
#машинное обучение #стек #ансамблевое обучение
Вопрос:
Я пытаюсь понять, как работает укладка, но пока я не уверен, правильно ли я это понимаю. Итак, вот что я понимаю до сих пор:
-
мы обучаем каждого из k базовых учащихся (уровень 0) с полным набором данных.
-
мы позволяем каждому из k базовых учащихся прогнозировать весь набор данных.
-
мы создаем новый набор данных из всех прогнозов обучаемого с k базой. Новый набор данных выглядит как наш исходный набор данных прогнозы каждого базового учащегося.
-
этот набор данных используется для обучения мета-ученика (уровень-1).
Мои вопросы:
- Это пока правильно?
- Я часто читал, что перекрестная проверка каким-то образом используется для укладки, но я не мог понять, как она используется? Или это даже важная часть, которую я пропускаю?
Большое спасибо
Ответ №1:
Ваше понимание в основном правильное! На
Новый набор данных выглядит как наш исходный набор данных прогнозы каждого базового учащегося.
Можно было бы использовать оригинальные функции предсказания каждого базового учащегося, но когда люди говорят о стекировании, они обычно используют только предсказания каждого базового учащегося.
Я часто читал, что перекрестная проверка каким-то образом используется для укладки, но я не мог понять, как она используется? Или это даже важная часть, которую я пропускаю?
Да, перекрестная проверка часто используется при стекировании. Что происходит, так это то, что когда вы делаете это так, как вы описали, метамодель (уровень 1, как вы ее называете) может не соответствовать прогнозам, сделанным базовыми моделями, поскольку каждое предсказание выполняется после просмотра всего набора данных.
Итак, что вы делаете, это перекрестная проверка и разбивка данных на k-складки. Вы используете прогнозы для k-го удерживаемого сгиба (циклически перебираете все k из них), чтобы получить (надеюсь) объективную оценку того, что модель будет предсказывать на невидимых данных. Затем вы подгоняете метамодель к ним (перекрестной проверки там нет).