Chapter 5 서포트 벡터 머신(svm)

 

 

서포트 벡터 머신(Support Vector Machine)

• 선형, 비선형 분류, 회귀, 이상치 탐색에도 사용가능한 다목적 머신러닝 모델
• 분류를 위한 기준 선을 정의하는 모델

svm ... 출처 : 위키백과 

• 3개의 선형 분류기에서 만들어진 결정 경계
  • 실선 : svm분류기의 결정 경계, 제일 가까운 훈련 샘플로부터 가능한 멀리 떨어진 선

svm의 다른 예.... 출처 : https://imgur.com/DrcoGVQ

• $b_{11} , b_{12}$ 사이의 거리를 마진(margin)
  • svm은 마진을 최대화 하는 분류 경계면을 찾는 기법

 

소프트 마진 분류

• 하드 마진 분류
  • 모든 샘플이 올바르게 분류
  • 문제점 :
    • 데이터가 선형적으로 구분 가능해야 한다
    • 이상치에 민감
  • 서포트 벡터와 결정 경계 사이가 매우 좁아 마진이 매우 작다
  • overfitting 문제 발생 위험성
• 소프트 마진 분류
  • 제일 가까운 훈련 샘플로부터 가장 멀리 떨어지도록 하며
  • 샘플이 경계선 중간 or 반대쪽에 없도록($마진 오류^{margin violation}$) 하는 분류
  • 마진이 너무 커지기 때문에 underfiting문제 발생 위험성

 

비선형 SVM 분류

• 선형적으로 분류할 수 없는 데이터셋은 특성을 더 추가하여 선형적으로 구분 가능하도록 한다

특성을 추가하여 선형적으로 구분되는 데이터셋 생성 ..... 출처 : 핸즈온머신러닝

 

다항식 커널

• 낮은 차수의 다항식은 복잡한 데이터셋 표현이 어려우며
• 높은 차수의 다항식은 모델을 느리게 만든다

선형으로 분류 불가능한 데이터셋... 출처 : http://hleecaster.com/ml-svm-concept/

다항식 커널로 계산하여 3차원으로 표현된 데이터셋.... 출처 : http://hleecaster.com/ml-svm-concept/

 

SVM 이론

• 선형 SVM 분류기 모델은 결정함수 $ w^T \cdot x + b = w_1x_1 + ... + w_nx_x +b$를 계산하여 새로운 샘플 x의 클래스 예측한다
• 결과값이 0보다 크면 $\hat y$ 은 양성 클래스(1), 그렇지 안흥면 음성 클래스(0) 이 된다.
• 선형 SVM 분류기의 예측식
  • $ \hat y = \begin{cases}0& w^T \cdot x + b <0 일때 \\ 1& w^T \cdot x + b \geq 0일 때 \end{cases} $

 

 

# 본 게시글은 핸즈온 머신러닝을 읽고 게시하였습니다