Boosting 알고리즘

부스팅 기법이란 여러 개의 약한 머신러닝 기법을 차례대로 학습하는 과정에서 오류를 개선해 가면서 최종 성능을 높여 가는 앙상블 기법이다. 부스팅 기법은 여러 나무를 병렬 방식으로 학습하는 랜덤 포레스트 등의 방식보다는 느릴 수밖에 없다. 그 이유는 여러 나무 또는 머신러닝 기법들을 직렬 방식으로 순차적으로 학습하기 때문이다. 그래서 속도의 문제를 해결하기 위해 새로운 부스팅 모델들이 개발되는데, 그것이 바로 XGBoost, LightGBM, CatBoost이다. 이번 글에서는 위의 세 가지 부스팅 기법이 속도의 문제와 더불어 과적합의 문제를 어떻게 해결하는지에 대해서 알아볼 것이다. XGBOOST 캐글 경연 대회에서 두각을 나타내면서 널리 알려져 각광을 받은 알고리즘으로, 특히 분류에서 뛰어난 예측 성능..