Bagging(boostrap aggregating)

• Training Set에서 중복을 허용하여 Sampling

Pasting

• 중복을 허용하지 않고 Sampling

Integration of results

• classification problem → 통계적 최빈값, 즉 많이 나온 결과
• regression problem → 평균값

Example

1. random forest
   • bagging 혹은 pasting을 적용한 decision tree 모델

Boosting

• 앞의 model을 보완해나가면서 일련의 예측기를 학습

Type of Boosting

Adaboost

이전 model이 과소적합했던 train sample의 가중치를 높이는 것

→ 새로운 model은 학습하기 어려운 sample에 점점 더 맞춰지게 됨