Maximum A Posteriori Estimation

 

Likelihood : 각각 샘플이 가질 확률

Prior : 내가 기존에 가지고 있는 지식. 예측값

Evidence : 모델 파라미터를 찾을땐 주로 상수로 직업.

Posterior : 후의 지식.

Maximum A Posteriori Estimation

 

 

Maximum Likelihood Estimation의 문제점

위 Traning Data Set에서는 0.2가 MLE가 되었다.

이는 우리의 사전적인 예측과 다르다. (보통 둘 중 하나니 0.5로 예측한다.)

>> 위와 같이 MLE는 문제점이 있다.

MAPE에서의 결과값을 확인해보자.

MAPE는 예측값과 실험값을 모두 반영한 지표다.

데이터가 적을때는 Prior의 반영 비율이 크지만, 데이터가 많아진다면 Likelihood의 값이 더 중요해진다.

 

 

MAPE의 계산

- P(x)는 상수기 때문에 log를 취한다면 없어도 되는값으로 간주한다.

- log P(theta)는 a||w||^2 이 된다. (bias & weight)

- Loss function + a||w||^2은 결국 Regularizer인 아래의 식과 같다.

 

이로써 Bayesian Estimation을 통해 일반화를 더 쉽게 할 수 있다는 사실을 알 수 있다.

 

정리

MLE, MAPE 둘다 파라미터를 찾는것.

어떤 데이터 분포가 어떠한 모델의 파라미터에 의해서 설명이 될 때, 그 파라미터를 찾기 위한 방법임.

데이터만 기준으로는 MLE, 미리 예측한 값을 추가로 생각하는것은 MAPE이다.

P세타가 같을때 (모델들이 같은 확률로 선택이 가능할때) MLE와 MAPE는 같게된다.