Linear SVM : Soft Margin SVM (2)

1. Hard Margin SVM vs Soft Margin SVM

Hard Margin SVM

- 선형 분리 가능한 문제

 

Soft Margin SVM

- 선형 분리 불가능 문제

- 학습 데이터의 에러가 0이 되도록 완벽하게 나누는 것은 불가능

→ 에러를 허용하자

 

2. Soft Margin SVM

목적함수 : 에러(Penalty Term)를 허용하면서 마진을 최대화하는 것

C를 통해 에러의 허용 정도 조절

- C가 크면 학습 에러를 산대적으로 허용하지 않음 (Overfitting) → 마진 작아짐

- C가 작으면 학습 에러를 상대적으로 허용 (Underfitting) → 마진 커짐

라그랑지 승수 해법으로 해결

- 제약식(constraints)을 목적식(object function)에 포함

Primal Problem을 Dual Problem으로 변경하여 해결