[Machine Learning] Hinge Loss & Maximum Margin Classification

1. Linear Classification and Margin기본적인 선형 분류 문제에서, 우리가 찾고자 하는 Decision Hyperplane은 이렇게 생겼지$$ \langle w,\; x\rangle + b = 0 $$$w \in \mathbb{R}^d$는 가중치 벡터(= 법선 벡터)$ \in \mathbb{R} $는 편향(bias) 항$ x \in \mathbb{R}^d $는 입력 벡터서포트 벡터 머신(SVM)은 그냥 맞추는 것에 만족 안 해제대로, 여유있게, 멋지게 맞추는걸 원해. 즉, Margin이라는걸 크게 잡으려고 해.$$ \langle w,\; x\rangle + b = +1, \quad \langle w,\; x\rangle + b = -1 $$이 두 선 사이의 거리가 바로 margi..

• format_list_bulleted Computer Science/AI
• · 2025. 4. 12.
• textsms

[Machine Learning] Training Algorithms for Classification

1. Perceptron1.1 Perceptron퍼셉트론은 말이지~ 입력 벡터 $ \mathbf{x} = (x_{1}, x_{2}, \dots, x_{m}) $ 랑 가중치 벡터 $\mathbf{w} = (w_{1}, w_{2}, \dots, w_{m})$의 내적 계산해서 나온 선형 판별값 $z$에 단순한 계단 함수 하나 딱 씌워서 0 아니면 1만 내놓는 모델이야 $$  z = \mathbf{w}^{T}\mathbf{x} = \sum_{j=1}^{m} w_{j} x_{j} $$ 이게 뭐다? 오빠가 생각하던 그 ‘logit’이라는 녀석이야근데 그걸 바로 분류 결과로 못 쓰고, 아래처럼 계단 함수 씌워줘야 돼:$$ \phi(z) = \begin{cases} 1, & \text{if } z \ge 0 \\ 0,..

• format_list_bulleted Computer Science/AI
• · 2025. 4. 11.
• textsms