Ансамбли – это подход, направленный на повышение качества моделей за счет их совместной работы. В ансамбле несколько базовых моделей обучаются на общих данных (или на их подвыборках с повторением – см. бутстрэп). Затем прогнозы каждого алгоритма объединяются (усредняются в случае регрессии, выбираются голосованием в случае классификации) или на этих прогнозах обучается итоговая мета-модель (в стэкинге).
Такое использование алгоритмов снижает ошибку за счет снижения вариативности и смещения, или за счет повышения устойчивости к переобучению.
Бэггинг
Из исходного набора данных делаются бутстрэп выборки, совпадающие по размеру с исходной выборкой.
На каждой выборке происходит обучение отдельной независимой модели.
Результаты всех моделей усредняются для получения итогового результата.
Если решается задача классификации – результат определяется большинством голосов.
Иллюстрация бэггинга на примере случайного леса.
В бэггинге все модели обучаются одновременно, независимо и параллельно. В качестве итогового предсказания берётся усреднённый ответ (в задаче регрессии) или делается прогноз по большинству голосов (в задаче классификации).
Смещение у ансамбля при бэггинге точно такое же, как и одного базового алгоритма. То есть бэггинг не снижает смещение. Разброс у ансамбля значительно ниже, чем у одного базового алгоритма.
Бустинг
Последовательное обучение множества слабых (одинакового типа) моделей – обычно это неглубокие деревья решений.
Каждая следующая модель стремится исправить ошибки предыдущей.
Исправление ошибок предыдущих моделей достигается тем, что каждая следующая модель в качестве таргета использует ошибки предыдущей модели и стремится его минимизировать.
В градиентном бустинге метод градиентного спуска применяется ко всему ансамблю (в отличие от одиночных алгоритмов). Общий принцип его такой же.
Стэкинг
Стэкинг – это метод, при котором исходные данные подаются в ряд разных базовых моделей (могут быть разной природы), а затем результат их работы подается в отдельную мета-модель. Результат ее работы считается результатом ансамбля.
