최적화함수 (Optimizer) 개념

 

 

 

확률적 경사하강법  SGD

batch size와 이전 반향을 침고하여 최적화를 진행하는 모멘텀

 

 

모멘텀 방식으로 미리 이동한다고 가정하여 계산한뒤 실제 업데이트에 반영하는 NAG

 

 

좀더 빠르게 학습하기 위한 에이다그래드

 

 

정확하게 확인하기 위한 모멘텀과 빠르게 확인하기 위한 에이다 그래드의 두개로 나뉘어서 발전해나감

지금은 활성화 함수 activation에는 Relu, 최적화 함수 optimizer 에는 Adam을 가장 많이 사용하고 있다

 

 

한번에 얼마나 학습해 나갈지를 지정하는 batch_size