machine19 앙상블(Ensemble) (1) 1. 앙상블 학습(1) 목적여러 분류기를 하나로 연결하여 개별 분류기보다 더 좋은 일반화 성능을 달성하는 것(2) 방법여러 분류 알고리즘 사용: 다수결 투표(Voting)하나의 분류 알고리즘을 여러 번 이용: 배깅(Bagging), 부스팅(Boosting)(3) 종류다수결 투표 (Majority Voting)동일한 학습 데이터 사용배깅(Bagging)알고리즘 수행마다 서로 다른 학습 데이터 샘플링하여 사용병렬적 처리부스팅(Boosting)샘플 뽑을 때 이전 모델에서 잘못 분류된 데이터를 재학습에 사용 또는 가중치 사용순차적 처리2. 배깅 (Bagging)(1) 배깅알고리즘마다 별도의 학습 데이터를 추출(샘플링)하여 모델 구축에 사용부트스트랩(Bootstrap) 사용- 학습 데이터 샘플링 시 복원 추출(중.. 2024. 6. 9. Linear SVM : Hard Margin SVM (1) 1. SVM이란?- 널리 이용되는 기계학습 방법론- 패턴인식, 자료 분석을 위한 지도 학습 모델 (Supervised Model)- 분류와 회귀 문제에 사용 (주로 분류 문제 사용)- 두 카테고리 중 어느 하나에 속한 데이터의 집합이 주어졌을 때, 주어진 데이터 집합을 바탕으로 하여 새로운 데이터가 어느 카테고리에 속할지 판단하는 비-확률적 이진 선형 분류 모델- 커널 트릭(Kernel Trick)을 활용하여 비선형 분류 문제에도 사용 가능 2. 서포트 벡터 머신 (Support Vector Machine)- SVM 학습 방향 : 마진(Margin)의 최대화- 결정 경계(Hyperplane)는 주변 데이터와의 거리가 최대가 되어야함(∵ 결정 경계 근처에 위치하는 새로운 데이터가 들어와도 강인한 분류)3... 2024. 6. 9. 의사결정나무(Decision Tree) (3) 1. 회귀나무입력 데이터(변수 값)의 결과 예측- 데이터가 도달한 끝 노드 데이터들의 평균으로 결정불순도 측정 방법- 제곱 오차 합 (the sum of the squared errors)- 오차 = 실제 값 - 예측 값성능 평가 방법- 예측 모델 평가 방법 : RMSE 2. 앙상블 (Ensemble)(1) 앙상블- 여러 모델(의사결정나무, KNN, LDA, 로지스틱 등)을 함께 사용- 설명보다는 예측이 중요할 경우 사용- 예측 알고리즘을 조합하여 예측 성능을 향상- 랜덤포레스트(Random Forest), Boosted Trees (2) Random ForestBoostrap 사용- 데이터로부터 복원 추출(뽑은 표본 원복)을 이용하여 여러 샘플을 추출Forest 생성- 무작위로 예측 변수를 선택하여 모.. 2024. 6. 9. 의사결정나무(Decision Tree) (2) 1. 재귀적 분할 알고리즘 2. 분류 나무 : CART- Breiman 등이 개발- 종류 : 분류 나무, 회귀 나무- 분리 : 이진 분할- 가지치기 (교차 타당도) : 학습 데이터로 나무 생성, 검증용 데이터로 가지치기- 불순도 알고리즘 : Gini index (불확실성) 는 낮아지는게 좋음 3. 분류 나무 : C4.5(1) C4.5, C5.0- Quinlan 등이 개발- 종류: 분류 나무, 회귀 나무- 분리: 다중 분할- 불순도 알고리즘: 엔트로피(불확실성), 정보이론, 정보이론 이득률- 가지치기 (교차 타당도) : 학습 데이터만 이용하여 나무 성장 및 가지치기 수행- 정보 이론 → 엔트로피$log_2로 계산하지 않는 이유$ → bit 수로 정보 계산$-log_2로 계산하는 이유$ : $log_2(1/.. 2024. 6. 9. 이전 1 2 3 4 5 다음
