가능도(Likelihood)와 확률(Probability)

1. Definition

Probability : 주어진 확률 분포가 고정된 상태에서, 관측되는 사건이 변화할 때, 확률을 표현하는 단어

Likelihood : 관측된 사건이 고정된 상태에서, 확률 분포가 변화될 때(= 확률분포를 모를 때(가정할 때)), 확률을 표현하는 단어

 

2. Examples

 1,2,3,4,5 정수 중에서 특정 값이 관측될 확률을 계산하는 문제

(Probability)

선택 가능한 정수의 범위를 1~5로 제한(확률 분포를 고정)한 상태에서 관측 목표값이 1~5 중에 한개 숫자(관측 되는 사건이 변화)가 될 경우, 확률에 대한 단어를 Probability로 사용한다. 이 경우 확률값은 0.2로 단순히 계산 할 수 있다.

(Likelihood)

선택 가능한 정수의 범위를 1~5가 아닌 다른 정수 범위 1~10 또는 4~50으로 바꾸면서(=확률 분포를 모름), 2가 관측될 확률을 계산(관측 사건이 고정) 할 경우, 확률에 대한 단어를 Likelihood로 사용한다.

 

3. 이산(셀 수 있는) 사건

$L(\theta |x) = P(x|\theta) = p_{\theta}(x) = p_{\theta}(X=x)$

• $L(\theta|x)$변화되는 확률분포에서 주어진 관측값이 나올 확률
• $P(x|\theta)$확률분포가 주어질 때, 변화되는 관측값이 나올 확률
• $P(\theta|x)$관측값이 주어질 때, 변화되는 확률분포가 나올 확률 ($\theta, x$ 순서 주의)
• 확률 분포가 변화되는 상황 일 때 Likelihood로 표현하고, 관측값이 변화되는 상황 일 때 Probability로 표현

이산 사건에서 확률분포 $L(\theta|x)$ 값은 $P(x | \theta)$ 값을 사용하면 됩니다.

여러 개의 사건이 동시에 발생할 확률은 각 사건에 대해 Probability $P(x|\theta)$의 곱으로 계산합니다.

 

4. 연속(셀 수 없는) 사건

Probability $P(x|\theta)$ 계산시, 특정 단일 사건(x)이 발생할 확률이 0 (=1/∞)이기 때문에 사용하지 않다.

Likelihood $L(\theta|x)$ 계산시, 특정 단일 사건(x)이 발생할 확률을 확률 밀도 함수(pdf)의 y값으로 사용한다.

Probability $P(x|\theta)$ 계산시, 사건 범위(x1~x2)가 발생할 확률을 확률 밀도 함수(pdf)의 범위 면적값으로 사용한다.

Likelihood $L(\theta|x) $ 계산시, 사건 범위(x1~x2)가 발생할 확률은 계산할 수 없다.

 

여러개의 단일 사건들에 대한 Probability $P(x|\theta)$만 아래 식으로 계산 할 수 있다.

 

1~5 실수 범위에서 2를 관측할 Probability는 0(=1/∞)이다.

1~5 실수 범위에서 2를 관측할 Likelihood는 0.25이다.

(확률 밀도 함수(pdf)는 y=0.25이다. 0.25는 1/(5-1)로 계산된다.)

1~5 실수 범위에서 2~3 실수 범위를 관측할 Probability는 0.25이다.