Linear SVM : Hard Margin SVM (1)

1. SVM이란?

- 널리 이용되는 기계학습 방법론

- 패턴인식, 자료 분석을 위한 지도 학습 모델 (Supervised Model)

- 분류와 회귀 문제에 사용 (주로 분류 문제 사용)

- 두 카테고리 중 어느 하나에 속한 데이터의 집합이 주어졌을 때, 주어진 데이터 집합을 바탕으로 하여 새로운 데이터가 어느 카테고리에 속할지 판단하는 비-확률적 이진 선형 분류 모델

- 커널 트릭(Kernel Trick)을 활용하여 비선형 분류 문제에도 사용 가능

 

2. 서포트 벡터 머신 (Support Vector Machine)

- SVM 학습 방향 : 마진(Margin)의 최대화

- 결정 경계(Hyperplane)는 주변 데이터와의 거리가 최대가 되어야함

(∵ 결정 경계 근처에 위치하는 새로운 데이터가 들어와도 강인한 분류)

3. 용어

결정 경계 (Hyperplane)

서로 다른 클래스를 완벽하게 분류하는 기준

 

서포트 벡터 (Support Vector)

결정 경계선에 가장 가까이 있는 각 클래스의 데이터

 

마진 (Margin)

어떤 데이터도 포함하지 않는 영역, 서포트 벡터와 직교하는 직선과의 거리

 

4. 결정경계 (Hyperplane)

데이터 임베딩 공간보다 1차원 낮은 부분 공간

- 2차원 데이터 공간의 결정 경계 : 직선

- 3차원 데이터 공간의 결정 경계 : 평면

- 4차원 이상 데이터 공간의 결정 경계 : 초평면

 

5. 수학적 표현

 

6. SVM의 목적 함수

마진(Margin)의 최대화