반응형 머신러닝22 Long Short - Term Memory 기존 RNN의 문제점 기존의 RNN은 초기 입력값의 영향이 점점 사라진다. -> Back propagation을 통한 여러 번의 미분이 이유이다. (장기기억된 것은 Weight 값이 낮아진다.) Long Short - Term Memory RNN의 확장모델인 LSTM을 보자. Cell State Cell State는 Matrix / Vector 구조를 가진다. RNN & LSTM은 Sigmoid Activate Function을 이용한다. X : Pointwise 곱셈. 요소별로 곱해줌. + : Pointwise 덧셈. 요소별로 더해줌 위 식에대한 연산은 다음과 같다. 망각 게이트 (Forget Gate) 1. Concat 연산 Concat 연산의 식은 아래와 같다. 위 식의 입력값에 대한 Concat .. 2021. 6. 2. Maximum A Posteriori Estimation Likelihood : 각각 샘플이 가질 확률 Prior : 내가 기존에 가지고 있는 지식. 예측값 Evidence : 모델 파라미터를 찾을땐 주로 상수로 직업. Posterior : 후의 지식. Maximum A Posteriori Estimation Maximum Likelihood Estimation의 문제점 위 Traning Data Set에서는 0.2가 MLE가 되었다. 이는 우리의 사전적인 예측과 다르다. (보통 둘 중 하나니 0.5로 예측한다.) >> 위와 같이 MLE는 문제점이 있다. MAPE에서의 결과값을 확인해보자. MAPE는 예측값과 실험값을 모두 반영한 지표다. 데이터가 적을때는 Prior의 반영 비율이 크지만, 데이터가 많아진다면 Likelihood의 값이 더 중요해진다. MAPE.. 2021. 5. 27. Bayesian Estimation Bayesian's Theorem B가 고정되어있을때 A인 확률 = A가 고정되어있을때 B의 확률 * A확률 / B확률 = (B중 A인 확률) 예시) Model Estimation P(A|B) = P(θ|x) A = Model의 파라미터 (예 : 가우시안 분포 - 평균, 표준편차, NN - Weight, Bias) = θ B = sample(예 : 학습데이터. 이미지, 음성 등) = x P(B|A) = P(x|θ) : Likelihood 파라미터가 주어졌을때, 그 때의 x의 확률. 모델이 주어진 상태에서, 그 때의 x의 확률. P(x) 1차원 데이터에서의 x확률. 실제 샘플이 어떻게 분포되어있는지 설명하는 값. P(θ) 예를들어 Normal Distribution에서의 θ는 표준편차와 평균이다. 2차원의.. 2021. 5. 26. Maximum likelihood Estimation 2 Maximum Likelihood Estimation Pdata x : 모집단 X = x개를 랜덤으로 추출. 샘플링 위 결과를 토대로 - Traning Data가 많아지면 모델이 정확해진다. - Traning Data가 많아지면 일반화가 더 빨린된다. - Consistency : i -> 무한대 인 경우, model과 실제 data간의 차이가 없어진다. 아래 두조건을 만족해야한다. - data의 분포 종류가 모델의 분포종류와 같아야 한다. - data의 분포의 세타가 정확히 하나의 값에 대응되어야한다. (여러개의 Normal Distribution에 대응하면 안됨) Statistical efficiency - 같은 Generalization Error 에 따른 필요 m의 수 - Generalization.. 2021. 5. 16. Maximum likelihood Estimation 1 모델이 있고, 그 모델을 입력값에 원하는 출력을 맞추는 작업이다. 모델을 이루는 파라미터들(Weight 값 등)을 찾는 과정을 MLE라고 한다. Systematic Approach 체계적인 접근. 확률에 근거하여 나오는 이론. Likelihood vs Probability Probability(확률) 가방이 있고, 공이 두개(0, 1)가 있다. 가방안에 손을 집어넣고 꺼낸후 다시 집어넣는다. 확률 p(x) : x가 발견될 확률이다. Likelihood 이산수학적으로 나뉘어 있다면 확률과 Likelihood는 동일하다. 하지만 연속된 값에서는 다른 의미를 가진다. 위 그래프에서의 확률은 그래프 아래의 값(색칠된 값)이 되고, Likelihood는 Y축의 값이 된다. 특정한 x값에 대한 y의 값이다. 머신러.. 2021. 5. 15. 머신러닝이란? 모든 모델에 대한 설명이다. 수학적 모델. 입력과 출력이 결정되어 있는 상태에서 파라미터를 어떻게 Optimzer 할 것인지. 딥러닝, 머신러닝에 이론적 - 통계적으로 접근. 머신러닝이란? 기계학습. 장치가 무언가를 배우는 것 Supervised Learning : 지도학습. MNIST Data 같이 각각의 결과값을 알고 있음. 분류, 성향분석 Unsupervised Learning : 비지도학습. 비슷한 것끼리 분류하는 작업. 클러스터링 (군집) Reinforcement Learning : 강화학습. 환경과 상호작용하며 학습하는것. 게임(알파고), 자율주행 Deep Learning : 모든분야에 사용. 성능이 뛰어남 Classification 모델이 존재하고, 입력 X에 대한 결과값 Y'이 Y와 얼마나.. 2021. 5. 14. 이전 1 2 3 4 다음 반응형
