Ensemble

• 여러 classifiers로부터 구해진 prediction의 결과를 종합하여 prediction하는 방법
• 종류
• Bagging
• 랜덤하게 training set에서  subset을 뽑고, 각기 다른 모델을 학습시킴. 그 다음, 모델에 동일한 weights를 주고 결과를 합침.
• 각각의 모델의 독립적임.
• MSE에서 variance를 줄여줌.
• 대표적인 예: random Forests
• Boosting
• 전에 학습한 모델이 잘못 분류한 정보를 참고하여 다음 모델을 학습시킴.
• bagging보다 더 높은 정확도를 자랑하지만, overfitting되기 쉬움.
• 각 모델은 전에 수행된 모델에 종속적임.
• training examples는 매 iteration마다 다른 weights를 가짐. 즉, 분류하기 어려운 examples일수록 더 큰 weights를 가짐.
• MSE에서 bias를 줄여줌.
• 대표적인 예: AdaBoost