전체 글110 Decision Tree (구현) 결정 트리(Decision Tree)는 스무고개 게임과 유사하여 룰 기반의 프로그램에 적용되는 `if`, `else`를 자동으로 찾아내(분할 규칙) 예측을 위한 알고리즘 결국 결정트리를 생성하는 것은 주어진 특성공간을 분할 규칙에 따라 분할하는 것과 같음 학습 데이터 $D=\{(x_i,y_i)|1\le i \le m\}$의 특성벡터 $x_i\, (1\le i \le m)$를 포함하는 특성공간 $\mathcal X$를 어떤 분할 규칙(splitting rule)에 따라 겹치지 않는 작은 영역 $\mathcal R_i$로 나눔 $$\mathcal X = \mathcal R_1 \cup \mathcal R_2 \cup \cdots \cup \mathcal R_N$$ 회귀문제인지 분류문제인지에 따라, 임의.. 2024. 6. 11. Linear Classification (구현) 경사 하강법(Gradient Descent)를 이용하여 선형 분류 문제를 해결 레이블이 $1$, $0$인 두 개의 클래스에 대한 분류문제에서 샘플이 특정 클래스에 속할 확률을 추정하는 지도학습의 한 가지 (Binary case) 선형회귀 모델과 같이 입력 특성의 가중치의 합(편향 포함) ${\beta}^{\rm T} x = \beta_0+\beta_1 x_1+\cdots +\beta_nx_n$을 계산한 다음 시그모이드 함수(sigmoid) $\sigma(t)=\dfrac{1}{1+\exp(-t)}$를 취한 값 $\sigma({\beta}^{\rm T} x)$를 ${\rm P}(Y=1|X=x)$에 대한 추정값 $\hat p(x)$로 추정하는 모델.즉, 모델 파라미터 ${\beta}=(\beta_0,\cdo.. 2024. 6. 11. Linear Regression (구현) 1. 회귀 계수 결정법 (Direct Solution)선형회귀에서 주로 사용하는 Mean Squared Error(MSE) 손실 함수를 사용하면 아래로 볼록한(Convex) 형태의 손실함수를 가짐$$ \begin{aligned} &\\ L(\beta) & = \left\|\hat{y}-y \right\|_{2}^{2}\\ & = \left\|\beta X-y \right\|_{2}^{2}\\ & = (\beta X-y)^{\rm T}(\beta X-y)\\ & = \beta^{\rm T}X^{\rm T}X\beta-\beta^{\rm T}X^{\rm T}y-y^{\rm T}X\beta+y^{\rm T}y \\ \end{aligned}$$ 아래로 볼록한(Convex) 형태의 손실함수의 최소값은 미분이 0이.. 2024. 6. 11. Feature Extract : CV [2D 이미지 데이터를 활용한 이미지 분류] (6) 0. Overview(1) 목적본 프로젝트를 통해 2D 이미지 데이터를 Handcrafted Feature로 기술하는 법을 알 수 있다.(2) 데이터셋Caltech101 데이터 셋101종류 영상 데이터 + 백그라운드 영상 데이터 (102번째 종류로 간주)한 종류당 40장~800장까지 영상이 모아져 있음 - 데이터셋 공식 링크리더보드에서 제공되는 가공된 데이터 셋학습과 테스트 데이터로 제공되는 image_xxxx.csv 는 기존 2D 형태인 RGB영상([256,256,3] uint8)을([HxWxChannel,1] = [196608, 1],uint64)의 형태로 가공하여 제공한다.학습 데이터 : 102개 클래스 X 각 30장 이미지 = 총 3060장의 이미지테스트 데이터 : 1712장의 이미지 (3) D.. 2024. 6. 10. 이전 1 2 3 4 5 6 7 8 ··· 28 다음
