Computer Science/Machine Learning43 앙상블(Ensemble) (1) 1. 앙상블 학습(1) 목적여러 분류기를 하나로 연결하여 개별 분류기보다 더 좋은 일반화 성능을 달성하는 것(2) 방법여러 분류 알고리즘 사용: 다수결 투표(Voting)하나의 분류 알고리즘을 여러 번 이용: 배깅(Bagging), 부스팅(Boosting)(3) 종류다수결 투표 (Majority Voting)동일한 학습 데이터 사용배깅(Bagging)알고리즘 수행마다 서로 다른 학습 데이터 샘플링하여 사용병렬적 처리부스팅(Boosting)샘플 뽑을 때 이전 모델에서 잘못 분류된 데이터를 재학습에 사용 또는 가중치 사용순차적 처리2. 배깅 (Bagging)(1) 배깅알고리즘마다 별도의 학습 데이터를 추출(샘플링)하여 모델 구축에 사용부트스트랩(Bootstrap) 사용- 학습 데이터 샘플링 시 복원 추출(중.. 2024. 6. 9. SVM 다계층 분류 (4) Multiple Classification하나-나머지 방법 (One-vs-Rest)이항 분류 값(hypothsis function)이 가장 큰 값을 그룹으로 할당하나-하나 방법주어진 특성 자료에 대해 가장 많이 할당된 그룹으로 할당 (voting 방식) 2024. 6. 9. Nonlinear SVM : Kernel SVM (3) 1. 서포트 벡터 머신 (SVM)선형 SVM vs 비선형 SVM- 선형 SVM : 하드 마진(Hard Margin) SVM, 소프트 마진(Soft Margin) SVM- 비선형 SVM : 커널(Kernel) SVM 2. 비선형 SVM(1) 비선형 SVM- 데이터를 선형으로 분류하기 위해 차원을 높이는 방법을 사용- Feature Map($\Phi$)을 통해 차원을 높임, $X$ 대신에 $ \Phi(X)$ 사용- 커널: Feature Ma의 내적 (2) 비선형 SVM의 해법- SVM 모델을 original space가 아닌 feature space에서 학습- Original Space에서 nonlinear decision boundary → Feature space에서 linear decision boun.. 2024. 6. 9. Linear SVM : Soft Margin SVM (2) 1. Hard Margin SVM vs Soft Margin SVMHard Margin SVM- 선형 분리 가능한 문제 Soft Margin SVM- 선형 분리 불가능 문제- 학습 데이터의 에러가 0이 되도록 완벽하게 나누는 것은 불가능→ 에러를 허용하자 2. Soft Margin SVM목적함수 : 에러(Penalty Term)를 허용하면서 마진을 최대화하는 것C를 통해 에러의 허용 정도 조절- C가 크면 학습 에러를 산대적으로 허용하지 않음 (Overfitting) → 마진 작아짐- C가 작으면 학습 에러를 상대적으로 허용 (Underfitting) → 마진 커짐라그랑지 승수 해법으로 해결- 제약식(constraints)을 목적식(object function)에 포함Primal Problem을 Dual.. 2024. 6. 9. 이전 1 2 3 4 5 6 7 8 ··· 11 다음
