본문 바로가기
반응형

전체 글266

Feed - Foward 정리 Feed - Foward 정리 I -> L L -> O O -> S Loss 값 2021. 6. 18.
Back - Propagation 3 2021. 6. 18.
Back - Propagation 2 2. dsoft / do 이 경우를 2차원으로 그림으로 표현하자면, 따라서 dl/dO0 는 3. do/dw - 두번째 w값에 대한 Loss의 변화량을 구하기 위함 앞서 Output Layer에서는 ReLU를 적용시키지 않는다 하였기 때문에, 따라서 위와 같은 구조의 NN 일 경우 9개의 미분값이 나온다, 처음부터 생각하자면, 와 같은 구조가 된다. 4. dl / dL (dLoss / d L) - 하기에 앞서 do/dL을 구해야 한다. 이것을 일반화하면, 이어서 L의 변화량에 따른 loss의 변화량을 찾아야한다. 2021. 6. 18.
Back - propagation 1 현재의 구조 Input과 NN - Bias는 Hidden Layer와 Output Layer(들어가지 않는 경우도 존재)에만 들어간다. (Input Layer은 사용하지 않는다.) - Weight 값은 Input -> Hidden Layer 에서 6개, Hidden -> Output Layer에서 9개 존재하고 있다. - 활성함수는 Hidden Layer에 보통 사용한다. 따라서 Output Layer에는 음수가 출력될 수 있다. Softmax와 Cross Entropy의 적용과정 - 인풋이 1개라면 Loss는 1개, 2개라면 2개이다. - Loss는 인풋에 따라 결정된다. - Loss는 Input 부터 순차적으로 값이 결정되는데 이를 Feed-Forward라고 지칭한다. - 이 과정에서 Weight, .. 2021. 6. 18.
인공신경망의 학습 Activation Function (활성함수, 역치판단) - X축 : input을 모두 더한값 - Y축 : Output Activation Function의 종류 - Sigmoid : 최댓값 1 / 최솟값 0 / 가운데 부분에서만 급격한 변화를 가짐. (0~1) - tanh (hyper tan) : 최댓값 1 / 최솟값 -1 / 가운데 부분에서 급격한 변화. (-1~1) - ReLU : 0보다 작으면 0 / 그후론 Input값 - Maxout : 입력 중 가장 큰 인풋값을 출력함 - ELU : 비연속성을 제거하기 위함. > 역전파(back propagation) 과정에서 시그모이드나 하이퍼 탄젠트는 출력이 (-1 ~ 1)로 제한되기 때문에 레이어가 깊어질수록 값이 소실이 되기에 학습이 불가능 하게됨. .. 2021. 6. 17.
인공신경망의 기초 생물학적 뉴런 (Biological Neuron) 뇌 1000억만개 (100 Billion)의 뉴런이 존재 10^15승개의 시냅스 연결 생각, 감정, 기억을 할 수 있도록 함. Biological Neuron - 외부에서 신호가 들어와 합쳐진 신호들이 Axons를 타고, 역치를 넘어서면 터미널에서 다른 뉴런들과 연결된다. - 합쳐진 신호들이 역치를 넘지 못하면 다시 가라앉고, 역치를 넘는 순간 전체의 뉴런이 흥분을 하고, 전기적 신호로 연결된다. - EPSPs, IPSPs - 신경 신호 입력 부분, 입력된 신경 신호를 더하는 부분, 역치를 판단하는 부분, 신경 신호를 내보내는 부분 으로 구성 Artificial Neuron (인공뉴런) - Unit 으로도 불림 - 출력 신호에 Weight 값이 곱해져서 .. 2021. 6. 17.
국가적 역할의 변천, 신자유주의 국가적 역할의 변천 • 18세기에 경제적 자유주의는 자유방임적 성격을 가지고 있었다. 국가의 권력을 제한하고 최소한의 기능을 하는 최소국가를 요구. • 그런데 19세기에 들어와서 자본주의 발전되면서 사회적, 정치적 변화가 발생 - 부의 격차가 발생. 의료혜택, 교육 등 기본권을 누릴 수 없어짐. - 위와 같은 이유로 노사갈등의 본격화, 사회주의 운동, 시민들의 복지에 대한 요구가 증대됨. - 더 이상 국가는 자유방임적 경제적 자유주의, 최소국가를 유지할 수 없게 됨. • 국가는 야경국가에서 국민의 복지, 국민들이 적극적인 자유를 향유할 수 있게 하기 위해서 많은 일을 해야만 하게 됨. • 노동자에게도 시민권을 주어지고, 의무교육, 의료보험 등 새로운 제도가 발생하게 됨. • 경제가 기존의 자유만큼 돌아가.. 2021. 6. 17.
민주주의, 자유주의, 자유민주주의 민주주의 사상의 발전 • 민주주의 Democracy의 어원은 Democratia. demos(인민)과 kratos(지배)과 합해진 것. 아테네 • 고대 아테네 민주주의는 직접민주주의로 민주주의 전형으로 설명된다. • 아테네 (BC. 461-322)는 4만 시민이 살았던 도시국가. • 지배자와 피지배자의 관계가 바뀔 수 있음. • 민주주의적 제도로 민회, 평의회, 시민법정 - 민회(의회) : 20세 이상의 시민이 참여. 연설을 하고 정치적 의제를 해결. (외국인, 여성, 노령은 불가) - 평의회(행정부) : 행정기능, 추첨으로 선발되며 순환제. - 시민법정(사법부): 시민배심원, 자원자들 가운데 추첨 • 모든사람이 투표권을 같게된 시기는 18세기 경. 하지만 아테네는 B.C 5세기 경에 이정도의 민주주의는.. 2021. 6. 17.
정치 이데올로기 정치 이데올로기 • 인간사회에는 정도나 내용의 차이는 있을지 몰라도 항상 이데올로기들이 존재해 왔고 그것이 인간의 집단적 활동에 많은 영향을 미쳐왔다. • 정치사를 되돌아볼 때 이데올로기는 인류사, 사회에 긍정적인 영향을 미친 이데올로기도 있고, 부정적인 영향을 미친 것도 존재한다. - 긍정적인 이데올로기 : 민주주의의 발전에 큰 영향을 미친 프랑스 혁명(시민혁명) - 부정적인 이데올로기 : 나치즘. 수많은 사람의 학살 • 어떠한 지적, 정치적 성향을 함축하고 있든지 정치사회에서 중요한 기능을 수행했다. • 이데올로기는 사회구성원들의 신념체계에 영향을 미치며 어떤 목적을 달성하는 데 필요한 집단적 열정과 전략을 제공한다. - Ex. 대한민국은 자유민주주의를 지향하는 제도를 가지고 있고, 사회에 적용시키기.. 2021. 6. 17.
반응형

티스토리툴바