MLE(Maximum Likelihood Estimation)와 MAP(Maximum A Posterior)

 

확률을 이용해서 classification 문제를 푸는 방법은 2가지가 있다.

 

MLE(Maximum Likelihood)방법과 MAP(Maximum A Posterior)방법이다.

 

 

 

x : 관측 데이터

y : 분류 값인 class $(y_{1}:남자\,/\,y_{2}:여자)$

 

 

예제) 바닥에 떨어진 머리카락의 길이 x를 보고 그 머리카락이 남자인지 여자인지 성별 y를 판단하는 문제

 

MLE

 

아래 두 확률을 비교하여 가장 확률이 큰, 즉, 우도가 가장 큰 클래스를 선택하는 방법

 

$ P(x|y_{1}) $ 남자에게 그러한 머리카락이 나올 확률

$ P(x|y_{2}) $ 여자에게 그러한 머리카락이 나올 확률

 

MAP

 

아래 두 확률을 비교하여 둘 중 큰 값을 갖는 클래스를 선택하는 방법으로 사후확률을 최대화 시키는 방법

 

$ P(y_{1}|x) $ 머리카락 x가 발견되었는데 그것이 남자것일 확률

$ P(y_{2}|x) $ 머리카락 x가 발견되었는데 그것이 여자것일 확률

 

MLE와 MAP는 남녀의 성비를 고려하면 명확해진다.

만일 인구의 90%가 남자고, 여자는 10%밖에 없다고 가정하자.

 

MLE는 남녀의 성비는 무시하고, 순수하게 남자중에서 해당 길이의 머리카락을 가질 확률,

여자중에서 해당 길이의 머리카락을 가질 확률만을 비교하는 것임.

 

MAP는 각각의 성에서 해당 머리카락이 나올 뿐만 아니라, 남녀의 성비까지 고려하여 최종 클래스를 결정하는 방법.

 

 

 

결국 베이즈 이론은

 

$ Posterior = Prior * Likelihood / (const) $ 로 전개된다.

즉 Posterior 분포는 Prior와 Likelihod의 곱에 비례한다고 할 수 있음.

 

MLE는 Likelihood를, MAP는 Posterior를 각각 Maximize 시켜 추정치를 얻는 방법론임.

 

 

 

https://niceguy1575.tistory.com/87

MLE vs MAP : (Maximum Likelihood or Maximum a Posteriori)