반응형 분류 전체보기266 Feed - Foward 정리 Feed - Foward 정리 I -> L L -> O O -> S Loss 값 2021. 6. 18. Back - Propagation 3 2021. 6. 18. Back - Propagation 2 2. dsoft / do 이 경우를 2차원으로 그림으로 표현하자면, 따라서 dl/dO0 는 3. do/dw - 두번째 w값에 대한 Loss의 변화량을 구하기 위함 앞서 Output Layer에서는 ReLU를 적용시키지 않는다 하였기 때문에, 따라서 위와 같은 구조의 NN 일 경우 9개의 미분값이 나온다, 처음부터 생각하자면, 와 같은 구조가 된다. 4. dl / dL (dLoss / d L) - 하기에 앞서 do/dL을 구해야 한다. 이것을 일반화하면, 이어서 L의 변화량에 따른 loss의 변화량을 찾아야한다. 2021. 6. 18. Back - propagation 1 현재의 구조 Input과 NN - Bias는 Hidden Layer와 Output Layer(들어가지 않는 경우도 존재)에만 들어간다. (Input Layer은 사용하지 않는다.) - Weight 값은 Input -> Hidden Layer 에서 6개, Hidden -> Output Layer에서 9개 존재하고 있다. - 활성함수는 Hidden Layer에 보통 사용한다. 따라서 Output Layer에는 음수가 출력될 수 있다. Softmax와 Cross Entropy의 적용과정 - 인풋이 1개라면 Loss는 1개, 2개라면 2개이다. - Loss는 인풋에 따라 결정된다. - Loss는 Input 부터 순차적으로 값이 결정되는데 이를 Feed-Forward라고 지칭한다. - 이 과정에서 Weight, .. 2021. 6. 18. 인공신경망의 학습 Activation Function (활성함수, 역치판단) - X축 : input을 모두 더한값 - Y축 : Output Activation Function의 종류 - Sigmoid : 최댓값 1 / 최솟값 0 / 가운데 부분에서만 급격한 변화를 가짐. (0~1) - tanh (hyper tan) : 최댓값 1 / 최솟값 -1 / 가운데 부분에서 급격한 변화. (-1~1) - ReLU : 0보다 작으면 0 / 그후론 Input값 - Maxout : 입력 중 가장 큰 인풋값을 출력함 - ELU : 비연속성을 제거하기 위함. > 역전파(back propagation) 과정에서 시그모이드나 하이퍼 탄젠트는 출력이 (-1 ~ 1)로 제한되기 때문에 레이어가 깊어질수록 값이 소실이 되기에 학습이 불가능 하게됨. .. 2021. 6. 17. 인공신경망의 기초 생물학적 뉴런 (Biological Neuron) 뇌 1000억만개 (100 Billion)의 뉴런이 존재 10^15승개의 시냅스 연결 생각, 감정, 기억을 할 수 있도록 함. Biological Neuron - 외부에서 신호가 들어와 합쳐진 신호들이 Axons를 타고, 역치를 넘어서면 터미널에서 다른 뉴런들과 연결된다. - 합쳐진 신호들이 역치를 넘지 못하면 다시 가라앉고, 역치를 넘는 순간 전체의 뉴런이 흥분을 하고, 전기적 신호로 연결된다. - EPSPs, IPSPs - 신경 신호 입력 부분, 입력된 신경 신호를 더하는 부분, 역치를 판단하는 부분, 신경 신호를 내보내는 부분 으로 구성 Artificial Neuron (인공뉴런) - Unit 으로도 불림 - 출력 신호에 Weight 값이 곱해져서 .. 2021. 6. 17. 이전 1 ··· 28 29 30 31 32 33 34 ··· 45 다음 반응형
