linear2 Linear Classification (구현) 경사 하강법(Gradient Descent)를 이용하여 선형 분류 문제를 해결 레이블이 $1$, $0$인 두 개의 클래스에 대한 분류문제에서 샘플이 특정 클래스에 속할 확률을 추정하는 지도학습의 한 가지 (Binary case) 선형회귀 모델과 같이 입력 특성의 가중치의 합(편향 포함) ${\beta}^{\rm T} x = \beta_0+\beta_1 x_1+\cdots +\beta_nx_n$을 계산한 다음 시그모이드 함수(sigmoid) $\sigma(t)=\dfrac{1}{1+\exp(-t)}$를 취한 값 $\sigma({\beta}^{\rm T} x)$를 ${\rm P}(Y=1|X=x)$에 대한 추정값 $\hat p(x)$로 추정하는 모델.즉, 모델 파라미터 ${\beta}=(\beta_0,\cdo.. 2024. 6. 11. Linear Regression (구현) 1. 회귀 계수 결정법 (Direct Solution)선형회귀에서 주로 사용하는 Mean Squared Error(MSE) 손실 함수를 사용하면 아래로 볼록한(Convex) 형태의 손실함수를 가짐$$ \begin{aligned} &\\ L(\beta) & = \left\|\hat{y}-y \right\|_{2}^{2}\\ & = \left\|\beta X-y \right\|_{2}^{2}\\ & = (\beta X-y)^{\rm T}(\beta X-y)\\ & = \beta^{\rm T}X^{\rm T}X\beta-\beta^{\rm T}X^{\rm T}y-y^{\rm T}X\beta+y^{\rm T}y \\ \end{aligned}$$ 아래로 볼록한(Convex) 형태의 손실함수의 최소값은 미분이 0이.. 2024. 6. 11. 이전 1 다음
