Adaboost(에이다 부스트) 란?

1. 성능이 별로 좋지 않은 결정 스텀프들을 다수 생성
2. 스텀프를 만들 때, 전 스텀프들이 예측에 틀린 데이터들의 중요도를 더 높게 설정
3. 최종 결정을 내릴 때, 성능이 좋은 결정 스텀프들 예측 의견의 비중은 높고, 그렇지 않은 결정 스텀프의 의견의 비중은 낮게 반영

Adaboost 개요

→ rf 와 다르게, root 노드 하나와 분류 노드 두 개를 갖는 얕은 결정 트리 생성

스텀프 (stump)

: 하나의 질문과 그 질문에 대한 답으로 바로 에측을 하는 결정 트리를 나무의 그루터기를 의미하는 스텀프라고 이야기함

→ 성능 : “동전 던지기 보다 조금 좋다”

→ → 주로 50% 보다 조금 나은 성능을 갖게 됨

(boosting 기법은 성능이 안 좋은 모델들(weak learner)를 사용함!)

[ 데이터셋 구성 ]

: 각 모델이 사용하는 데이터셋을 임의로 만들지 않음

: 결정 스텀프가 어떻게 분류하는냐에 따라 다음 차례에서의 중요도를 다르게 가져감

→ 옳게 분류 : 중요도 낮춤

→ 잘못 분류 : 중요도 높임

⇒ 뒤 스텀프들이 앞 스텀프들의 실수를 더 잘 맞추게 함