4.1
1. 신경망은 모든 문제를 주어진 데이터 그대로를 입력 데이터로 활용해 end-to-end(=사람의 개입 없이) 로 학습할 수 있음
2. 신경망 학습
-데이터를 '훈련 데이터'와 '시험 데이터'로 나눔
-이유 : 범용 능력 평가 / 오버피팅 체크
4.2
1. 신경망 학습에서는 '손실 함수'라는 지표를 기준으로 최적의 가중치 매개변수 값을 사용함.
-손실 함수 : 오차제곱합, 교차 엔트로피 오차
2. 미니배치 학습
-전체 훈련 데이터 중 일부를 무작위로 추려 전체의 근사치로 이용하는 것
(일부만 골라 학습 수행)
3. 신경망 학습 시, '정확도'를 지표로 삼으면 안 됨.
-이유 : 민감하게 반응하지 않고 불연속적으로 변화하는 특성 상,
매개변수의 미분이 대부분의 장소에서 0이 되기 때문
4.3
-수치 미분 : 아주 작은 값을 주었을 때의 차분으로 미분하는 것
-수치 미분을 이용해서 가중치 매개변수의 기울기를 구할 수 있음.
4.4
1. 기울기
-변수의 편미분을 벡터로 정리한 것
-각 장소에서 함수의 출력 값을 가장 크게 줄이는 방향(=함수 크기가 작아지는 방향)을 가리킴
2. 경사법(경사 하강법)
-경사법 : 기울기를 통해 함수의 최솟값을 찾으려는 것
(손실 함수가 최솟값이 될 때의 매개변수 값인 '최적'의 매개변수(가중치와 편향)를 찾기 위해서)
-현재 위치에서 기울어진 방향으로 일정 거리만큼 이동
-> 이동한 곳에서 기울기 구하기
-> 기울어진 방향으로 나아가기
-> ... -> 반복해서 함수의 값을 점차 줄이는 것(갱신)
3. 학습률
-함수의 값을 갱신해서 줄여나가는데, 이때 갱신해야하는 양
-특정한 값으로 '사람이' 직접 미리 설정해둬야함
-너무 크면 큰 값으로 발산하고, 너무 작으면 갱신되지 않은 채 끝남
-> 적절한 값 설정의 중요성
4.5
1. 신경망의 학습 절차
- 미니배치 : 데이터 일부 무작위로 가져오기
- 기울기 산출 : 손실 함수의 값 줄이기 위해 각 가중치 매개변수 기울기 구하기
- 매개변수 갱신 : 가중치 매개변수를 기울기 방향으로 쪼끔씩 갱신하기
- 반복 : 1~3 반복하기
: 미니배치 단위로 데이터를 무작위로 선정함 -> '확률적' 경사 하강법
2.
학습 횟수가 늘어나면서 손실 함수의 값이 줄어듦 -> 최적으로 접근 중!
정기적, 즉 1에폭별로 훈련 데이터와 시험 데이터에 대한 정확도 기록