Bayesian Estimation

Bayesian's Theorem

B가 고정되어있을때 A인 확률 = A가 고정되어있을때 B의 확률 * A확률 / B확률 = (B중 A인 확률)

예시)

Model Estimation

P(A|B) = P(θ|x)

A = Model의 파라미터 (예 : 가우시안 분포 - 평균, 표준편차, NN - Weight, Bias) = θ

B = sample(예 : 학습데이터. 이미지, 음성 등) = x

P(B|A) = P(x|θ) : Likelihood

파라미터가 주어졌을때, 그 때의 x의 확률.

모델이 주어진 상태에서, 그 때의 x의 확률.

P(x)

1차원 데이터에서의 x확률. 실제 샘플이 어떻게 분포되어있는지 설명하는 값.

P(θ)

예를들어 Normal Distribution에서의 θ는 표준편차와 평균이다.

2차원의 값이지만 평균만 생각해보자.

그러면 θ는 여러개의 평균 값이다.

즉 θ는 하나의 모델이고, P(θ)는 어떠한 한 평균을 가지고 있을 확률을 얘기하는 것이다.

예를들어 몸무게의 평균이 50kg 인 모델이고, 이것이 여러가지 모델 중 하나의 확률이 P(θ) 다.

θ : 모델. 모델의 파라미터.

x축의 한 지점이 정해지면 주어진 모델에 따른 P of x ( p(x|θ) ) 가 결정된다.

정리하자면, P(세타) 는 주어진 여러개의 모델 중 특정 파라미터 값을 가질 확률이다.

모델이 여러개 -> 모두 같은 확률을 갖는 것이 아니다.가중치를 통해 중요한 모델을 더 많이 반영한다)

-> 특정 파라미터 값을 갖는 모델이 더 유리하다.

또한 주어지는 것이 아닌 관측자가 예상하는 것이다.

Model과 P(x|θ)

P(x|θ) : 하나의 점이 아닌 연속된 값임. 여러가지 모델이 연속적으로 존재. 한 지점이자 x축의 x값.

y값은 model1, model2, model3, model4의 각각의 중요도의 확률이다.