반응형 머신러닝22 Initialization 1, Optimizer 1 Data의 Input - 위 이미지에서 데이터 한개에 784개의 정수가 있는 것이다. - 따라서 input layer의 unit의 개수는 784개 이다 - 이러한 데이터가 batchsize 만큼 존재하는것. - batchsize 는 데이터를 몇 개씩 넣어줄 것인지 정해주는 요인. Initialization - 위의 그림에서 78400 / 10000 / 1000개의 Weight 값이 있따. - Weight 값을 0으로 초기화 시키면, 어떠한 숫자를 입력하여도 Output이 0이 나오게 된다. - Weight 값이 굉장히 많기 때문에, 초기화할 값이 중요하다. - 아래의 그림은 initialization의 종류이다. Optimizer - 머신러닝 학습 프로세스에서 실제로 파라미터를 갱신시키는 부분을 의미. .. 2021. 6. 19. CNN. Image Kernel Kernel 종류 No change Shift Blur Convolutional Neural Network 특징 추출 단계(Feature Extraction) - Convolution Layer : 필터를 통해 이미지의 특징을 추출. - kernel : Weight 값들로 구성. 동일한 커널로 이미지 파일 한장을 만들음. 위 그림에서는 (25*n1)개의 Weight 값이 존재. (5*5*n1) 차원 - Pooling Layer : 특징을 강화시키고 이미지의 크기를 줄임. (Convolution과 Pooling을 반복하면서 이미지의 feature를 추출) 이미지 분류 단계(Classification) - Flatten Layer : 데이터 타입을 FC네트워크 형태로 변경. 입력데이터의 shape 변경만 수.. 2021. 6. 19. Autograd, NN 모델 Autograd - 자동미분 기능 - back-propagation을 할때 사용. - 각각의 미분값을 찾을 수 있음. - 따라서 Weight값을 조정할 수 있음. NN 모듈 기초 2021. 6. 18. PyTorch Pytorch - 프로그램 라이브러리 - Deep Learning의 여러 계산을 편리하게 하기위한 라이브러리 - Feed-forward, Back Propagation 등이 존재한다. 사용법 import torch Pytorch의 구성요소 torch : Tensor를 생성하는 라이브러리 torch.autograd : 자동미분 기능을 제공 torch.nn : 신경망 생성 torch.mmultiprocessing : 병렬처리 Class : torch.Tensor - 객체 - Attribute(속성) 과 Methods를 적절히 이용. torch.empty(a) import torch x = torch.empty(3) # 초기화되지않은 tensor 생성. (1,3) Result torch.rand(a) impo.. 2021. 6. 18. Vectorization 벡터화 - Vectorization - 행렬화와 비슷하다. - 위 그림과 같은 이유로 아래와 같이 표현할 수 있다. - 벡터를 통해 Input과 Unit이 각각 3가지 라는 것을 알 수 있다. 복잡했던 기존의 식 벡터화를 통해 정리할 수 있다. 정리하자면 아래와같이 나타낼 수 있다. - 인풋이 아래와 같이 행렬형태의 벡터라면, Loss도 아래와 같이 두개가 나온다. Derivatives f(a) 를 줄이려면 a를 줄여야 하기 때문에, W를 값을 찾을 때 미분값을 찾아서 차를 구하여 계산한 것. Gradient Desent 아래와 같이 표현이 가능하다. 2021. 6. 18. Feed - Foward 정리 Feed - Foward 정리 I -> L L -> O O -> S Loss 값 2021. 6. 18. 이전 1 2 3 4 다음 반응형
