오차역전파법 (Backpropogation) chapter 4에서 배웠던 수치 미분으로 기울기를 구하는 방법은 빠르게 역전파의 기울기들을 계산하기 어렵다는 문제가 있다. 그 대신 chapter 5의 오차역전파법에서는 계산 그래프를 그려 빠르게 기울기(gradient)들을 구할 수 있다. 계산그래프 계산그래프는 위 그림과 같이 계산이 필요한 문제들을 노드와 엣지로 그린 것이다. 노드에는 연산자가 엣지에는 연산에 사용되는 수가 표시된다. 위 계산 그래프는 순전파이다. 국소적 계산 국소적 계산은 계산 그래프의 특징이다. 말 그대로 자신과 관계된 작은 범위의 계산만을 진행하는 것이 국소적 계산이다. 국소적 계산은 이후 연쇄 법칙(chain rule)에서 진가를 발휘한다. 해당 노드와 관련된 계산에만 집중해서 연..

신경망 학습 신경망의 특징은 데이터를 보고 학습할 수 있다는 점이다. 여기서 학습은 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 찾고 갱신하는 과정을 말한다. 그럼 이 학습에 대해서 좀 더 알아보자. 데이터 주도 학습 SVM, KNN과 같은 기계학습은 이미지에 포함된 중요한 특징을 사람이 직접 찾아내어 모델에 넣어줘야 하는 특징이 있다. 하지만 신경망은 입력 데이터만 정해주면 기계 자동으로 그 특징을 찾아낸다. 이런 신경망의 특성 때문에 딥러닝은 End-to-End Machine Learning(종단간 기계학습)이라고도 불린다. 훈련 데이터와 시험 데이터 신경망에 적용되는 데이터는 훈련 데이터, 시험 데이터로 나뉘게 된다. 훈련 데이터는 말 그대로 모델의 학습을 위해 사용되는 데이터로 모델 안의..