학습 관련 기술들 - 최적화

신경망 학습은 손실 함수 값을 가능한 낮추는 매개변수, 즉 최적 매개변수를 찾는 문제이며, 이 문제를 해결하는 것을 최적화라고합니다.

 

이 방법에는 여러 가지가 있습니다.

 

1. 확률적 경사 하강법 ( SGD )

 

2. 모멘텀

 

3. AdaGrad

 

학습을 진행시키면서 학습률을 감소시키는 방법입니다.

h라는 변수에 과거의 기울기를 계속 제곱해서 더해주고, 매개변수에  1 /√h을 곱해줌으로 학습률을 조정합니다.

 

4. RMSProp

 

AdaGrad는 과거의 기울기를 계속 제곱해서 더해주기 때문에 어느 순간에 0이 되어서 매개변수가 갱신이 되지 않습니다. 

이를 개선한 방법이 RMSProp으로 먼 과거의 기울기는 잊고 새로운 기울기 정보를 크게 반영하는 지수이동평균이라는 새로운 방법입니다.

 

5. Adam