MLE

MLE는 frequentist approach에 해당한다.

MLE

1. Likelihood

우선 Likelihood란, 데이터가 특정 분포로부터 만들어졌을 확률을 말한다.

($\theta$가 데이터 $X$를 얼마나 잘 설명하는지라고 봐도 무방하다.)

그래서 수식 또한 $L(\theta) = p(X \mid \theta)$로 나타난다.

 

분포의 파라미터 $\theta=(\mu, \sigma)$인 정규분포라고 가정하면, 한 개의 데이터 $x_n$이 이 정규분포를 따를 확률은 다음과 같다. 

$$p(x_n \mid \theta) = \frac{1}{\sqrt{2 \pi \sigma^2}} \exp \{ -\frac{(x_n - \mu)^2}{2 \sigma^2} \}$$

 

모든 데이터 $X = \{x_1, \dots, x_n\}$이 independent하다고 가정하면 다음과 같은 likelihood를 얻을 수 있다.

$$p(X \mid \theta) = \prod_{n=1}^N p(x_n \mid \theta)$$

 

 

2. log likelihood

우리는 likelihood가 최대가 되도록하는 분포의 파라미터 $\theta^*$를 찾아야 한다

하지만, 식이 곱셈으로 연결되어 있어 미분하기 쉽지 않기에 log와 -를 붙여서 그 값이 최소가 되는 값을 구한다.

$$- \ln p(X \mid \theta) = - \sum_{n=1}^N \ln p(x_n \mid \theta)$$

 

3. Maximum Likelihood Estimation

이제 log likelihood를 최소화하면서, likelihood를 최대화하는 $\theta$를 찾을 것이다.

$$
- \frac{\partial}{\partial \theta} \sum_{n=1}^N \ln p(x_n \mid \theta) = \sum_{n=1}^N \frac{\frac{\partial}{\partial \theta} p(x_n \mid \theta)}{p(x_n \mid \theta)} \overset{!}{=} 0
$$

이 식을 만족시키는 $\theta$을 찾으면 우리는 likelihood를 최대화할 수 있다.

 

미분 과정은 다음과 같다.

\begin{align} \frac{\partial}{\partial \mu} E(\mu, \sigma) &= -\sum_{n=1}^N \frac{\frac{\partial}{\partial \mu} p(x_n \mid \mu, \sigma)}{p(x_n \mid \mu, \sigma)} \\ &= -\sum_{n=1}^N \frac{-2 (x_n - \mu)}{2 \sigma^2} \\ &= \frac{1}{\sigma^2} \sum_{n=1}^N (x_n - \mu) \\ &= \frac{1}{\sigma^2} \left( \sum_{n=1}^N x_n - N\mu \right) \end{align}

 

따라서 평균 $\mu$는 다음과 같이 나온다.

$$\hat{\mu} = \frac{1}{N} \sum_{n=1}^N x_n$$

또한 분산 $\sigma^2$ 또한 알 수 있다.

$$\hat{\sigma}^2 = \frac{1}{N} \sum_{n=1}^N (x_n - \hat{\mu})^2$$

 

이처럼 likelihood를 최대화하는 파라미터 $\theta = (\mu, \sigma)$ 값을 찾아내는 것을 maximum likelihood estimation (MLE)라고 한다.

 

 

출처 https://process-mining.tistory.com/93

Maximum Likelihood란? (MLE란?)