본문 바로가기

전체 글110

Nonlinear SVM : Kernel SVM (3) 1. 서포트 벡터 머신 (SVM)선형 SVM vs 비선형 SVM- 선형 SVM : 하드 마진(Hard Margin) SVM, 소프트 마진(Soft Margin) SVM- 비선형 SVM : 커널(Kernel) SVM 2. 비선형 SVM(1) 비선형 SVM- 데이터를 선형으로 분류하기 위해 차원을 높이는 방법을 사용- Feature Map($\Phi$)을 통해 차원을 높임, $X$ 대신에 $ \Phi(X)$ 사용- 커널: Feature Ma의 내적 (2) 비선형 SVM의 해법- SVM 모델을 original space가 아닌 feature space에서 학습- Original Space에서 nonlinear decision boundary → Feature space에서 linear decision boun.. 2024. 6. 9.
Linear SVM : Soft Margin SVM (2) 1. Hard Margin SVM vs Soft Margin SVMHard Margin SVM- 선형 분리 가능한 문제 Soft Margin SVM- 선형 분리 불가능 문제- 학습 데이터의 에러가 0이 되도록 완벽하게 나누는 것은 불가능→ 에러를 허용하자 2. Soft Margin SVM목적함수 : 에러(Penalty Term)를 허용하면서 마진을 최대화하는 것C를 통해 에러의 허용 정도 조절- C가 크면 학습 에러를 산대적으로 허용하지 않음 (Overfitting) → 마진 작아짐- C가 작으면 학습 에러를 상대적으로 허용 (Underfitting) → 마진 커짐라그랑지 승수 해법으로 해결- 제약식(constraints)을 목적식(object function)에 포함Primal Problem을 Dual.. 2024. 6. 9.
Linear SVM : Hard Margin SVM (1) 1. SVM이란?- 널리 이용되는 기계학습 방법론- 패턴인식, 자료 분석을 위한 지도 학습 모델 (Supervised Model)- 분류와 회귀 문제에 사용 (주로 분류 문제 사용)- 두 카테고리 중 어느 하나에 속한 데이터의 집합이 주어졌을 때, 주어진 데이터 집합을 바탕으로 하여 새로운 데이터가 어느 카테고리에 속할지 판단하는 비-확률적 이진 선형 분류 모델- 커널 트릭(Kernel Trick)을 활용하여 비선형 분류 문제에도 사용 가능 2. 서포트 벡터 머신 (Support Vector Machine)- SVM 학습 방향 : 마진(Margin)의 최대화- 결정 경계(Hyperplane)는 주변 데이터와의 거리가 최대가 되어야함(∵ 결정 경계 근처에 위치하는 새로운 데이터가 들어와도 강인한 분류)3... 2024. 6. 9.
의사결정나무(Decision Tree) (3) 1. 회귀나무입력 데이터(변수 값)의 결과 예측- 데이터가 도달한 끝 노드 데이터들의 평균으로 결정불순도 측정 방법- 제곱 오차 합 (the sum of the squared errors)- 오차 = 실제 값 - 예측 값성능 평가 방법- 예측 모델 평가 방법 : RMSE 2. 앙상블 (Ensemble)(1) 앙상블- 여러 모델(의사결정나무, KNN, LDA, 로지스틱 등)을 함께 사용- 설명보다는 예측이 중요할 경우 사용- 예측 알고리즘을 조합하여 예측 성능을 향상- 랜덤포레스트(Random Forest), Boosted Trees (2) Random ForestBoostrap 사용- 데이터로부터 복원 추출(뽑은 표본 원복)을 이용하여 여러 샘플을 추출Forest 생성- 무작위로 예측 변수를 선택하여 모.. 2024. 6. 9.

티스토리툴바