반응형 머신러닝22 Back - Propagation 3 2021. 6. 18. Back - Propagation 2 2. dsoft / do 이 경우를 2차원으로 그림으로 표현하자면, 따라서 dl/dO0 는 3. do/dw - 두번째 w값에 대한 Loss의 변화량을 구하기 위함 앞서 Output Layer에서는 ReLU를 적용시키지 않는다 하였기 때문에, 따라서 위와 같은 구조의 NN 일 경우 9개의 미분값이 나온다, 처음부터 생각하자면, 와 같은 구조가 된다. 4. dl / dL (dLoss / d L) - 하기에 앞서 do/dL을 구해야 한다. 이것을 일반화하면, 이어서 L의 변화량에 따른 loss의 변화량을 찾아야한다. 2021. 6. 18. Back - propagation 1 현재의 구조 Input과 NN - Bias는 Hidden Layer와 Output Layer(들어가지 않는 경우도 존재)에만 들어간다. (Input Layer은 사용하지 않는다.) - Weight 값은 Input -> Hidden Layer 에서 6개, Hidden -> Output Layer에서 9개 존재하고 있다. - 활성함수는 Hidden Layer에 보통 사용한다. 따라서 Output Layer에는 음수가 출력될 수 있다. Softmax와 Cross Entropy의 적용과정 - 인풋이 1개라면 Loss는 1개, 2개라면 2개이다. - Loss는 인풋에 따라 결정된다. - Loss는 Input 부터 순차적으로 값이 결정되는데 이를 Feed-Forward라고 지칭한다. - 이 과정에서 Weight, .. 2021. 6. 18. 인공신경망의 학습 Activation Function (활성함수, 역치판단) - X축 : input을 모두 더한값 - Y축 : Output Activation Function의 종류 - Sigmoid : 최댓값 1 / 최솟값 0 / 가운데 부분에서만 급격한 변화를 가짐. (0~1) - tanh (hyper tan) : 최댓값 1 / 최솟값 -1 / 가운데 부분에서 급격한 변화. (-1~1) - ReLU : 0보다 작으면 0 / 그후론 Input값 - Maxout : 입력 중 가장 큰 인풋값을 출력함 - ELU : 비연속성을 제거하기 위함. > 역전파(back propagation) 과정에서 시그모이드나 하이퍼 탄젠트는 출력이 (-1 ~ 1)로 제한되기 때문에 레이어가 깊어질수록 값이 소실이 되기에 학습이 불가능 하게됨. .. 2021. 6. 17. 인공신경망의 기초 생물학적 뉴런 (Biological Neuron) 뇌 1000억만개 (100 Billion)의 뉴런이 존재 10^15승개의 시냅스 연결 생각, 감정, 기억을 할 수 있도록 함. Biological Neuron - 외부에서 신호가 들어와 합쳐진 신호들이 Axons를 타고, 역치를 넘어서면 터미널에서 다른 뉴런들과 연결된다. - 합쳐진 신호들이 역치를 넘지 못하면 다시 가라앉고, 역치를 넘는 순간 전체의 뉴런이 흥분을 하고, 전기적 신호로 연결된다. - EPSPs, IPSPs - 신경 신호 입력 부분, 입력된 신경 신호를 더하는 부분, 역치를 판단하는 부분, 신경 신호를 내보내는 부분 으로 구성 Artificial Neuron (인공뉴런) - Unit 으로도 불림 - 출력 신호에 Weight 값이 곱해져서 .. 2021. 6. 17. 여러가지 모델 Variants of LSTM Peephole Connections - 망각, 입력, 출력게이트에 이전 Cell State의 정보가 전달되는 방식이다. - ft, it 는 Ct-1 (이전 CellState의 정보) 이 입력됨 - ot는 Ct (현재의 CellState 정보)가 입력된다. - 차원이 하나씩 증가하기 때문에, LSTM의 계산량이 늘고, 성능이 개선됨 Coupled Forget and Input Gates - LSTM에서는 망각 - 입력 - 출력게이트에서 시그모이드 함수를 사용했지만, 이것은 망각게이트와 입력게이트를 합쳐놓은 것이다. - 망각게이트는 시그모이드의 값을 입력, 입력게이트는 1-ft (반전)를 통해 입력하게 된다. Gated Recurrent Unit - LSTM보다 계산량을 줄이.. 2021. 6. 8. 이전 1 2 3 4 다음 반응형
