반응형 rmsprop1 Optimizer 2 Optimizer란? 기본적으로 Weight updates를 하는 도구. - loss를 줄이는 방향으로 updates. Adaptive Gradient 방식 α : Learning rate h : 기존의 h에 새로운 미분값을 더해줌. h가 커질수록 Learning rate는 작아짐. - 큰 러닝레이트는 필요한 값에 도달하지 못하고 반복하는 특징을 가지고 있음 - 러닝레이트가 갈수록 줄어든다면 값을 찾기 쉽다는 것에서 착안된 방법. RMSProp 방식 - 이동 평균으로 구하는 방식 - 기존(ph)이 크면, 기존것이 더 많이 반영, 새로운 것이 크다면 새로운것이 더 많이 반영되게 되어진 방식. Adam 방식 - AdaGrad + Momentum 방식이다. 2D 차원에서의 각 방식별 비교 - 2D에서는 Ada.. 2021. 4. 21. 이전 1 다음 반응형
