Ensemble6 의사결정나무(Decision Tree) (2) 1. 재귀적 분할 알고리즘 2. 분류 나무 : CART- Breiman 등이 개발- 종류 : 분류 나무, 회귀 나무- 분리 : 이진 분할- 가지치기 (교차 타당도) : 학습 데이터로 나무 생성, 검증용 데이터로 가지치기- 불순도 알고리즘 : Gini index (불확실성) 는 낮아지는게 좋음 3. 분류 나무 : C4.5(1) C4.5, C5.0- Quinlan 등이 개발- 종류: 분류 나무, 회귀 나무- 분리: 다중 분할- 불순도 알고리즘: 엔트로피(불확실성), 정보이론, 정보이론 이득률- 가지치기 (교차 타당도) : 학습 데이터만 이용하여 나무 성장 및 가지치기 수행- 정보 이론 → 엔트로피$log_2로 계산하지 않는 이유$ → bit 수로 정보 계산$-log_2로 계산하는 이유$ : $log_2(1/.. 2024. 6. 9. 의사결정나무(Decision Tree) (1) 1. 의사결정나무(1) 정의- 학습 데이터를 분석하여 데이터에 내재되어 있는 패턴을 새롭게 관측된 데이터를 예측 및 분류하는 모델- 개념적으로 질문을 던져서 대상을 좁혀 나가는 '스무고개'와 비슷한 개념- 목적(Y)과 자료(X)에 따라 적절한 분리 기준과 정지 규칙을 지정하여 의사결정나무를 생성- 의사결정방식 과정의 표현법이 나무와 같다고 해서 의사결정나무라 불림- 의사결정 규칙을 나무 모델로 표현(2) 의사결정나무의 장점- 이해하기 쉽고 적용하기 쉬움- 의사결정과정에 대한 설명(해석) 가능- 중요한 변수 선택에 유용 (상단에서 상용된 설명 변수가 중요한 변수)- 데이터의 통계적 가정이 필요 없음 (ex. LDA 가정: 데이터 정규성)(3) 의사결정나무의 단점- 좋은 모형을 만들기 위해 많은 데이터가 필.. 2024. 6. 9. 이전 1 2 다음
