Deep Learning16 최적화함수 (Optimizer) 개념 확률적 경사하강법 SGD batch size와 이전 반향을 침고하여 최적화를 진행하는 모멘텀 모멘텀 방식으로 미리 이동한다고 가정하여 계산한뒤 실제 업데이트에 반영하는 NAG 좀더 빠르게 학습하기 위한 에이다그래드 정확하게 확인하기 위한 모멘텀과 빠르게 확인하기 위한 에이다 그래드의 두개로 나뉘어서 발전해나감 지금은 활성화 함수 activation에는 Relu, 최적화 함수 optimizer 에는 Adam을 가장 많이 사용하고 있다 한번에 얼마나 학습해 나갈지를 지정하는 batch_size 2022. 9. 1. 활성화 함수의 개념 0.5를 기준으로 0과 1로 분류하는 것은 계단함수와 차이가 없으나 경사하강법을 이용하여 오차값 정도를 알 수 있다는 차이가 있다 ( 얼마나 그 값에 가까운지) 따라서 이진분류에 있어 sigmoid를 사용한다 2022. 8. 31. 인공신경망 - 퍼셉트론의 개념 선형 >> 뉴런 ( y = ax + b) 역치 (활성화 함수) 값 이상의 자극에 반응 input_dim의 개수 , 즉 피쳐의 개수들의 가중합을 활성화를 거친후 출력함 단일 퍼셉트론으로 XOR 문제를 해결할수 없음이 지적됨 >> MLP (Multy Layer Perrceptron) 다층퍼셉트론으로 XOR 문제 해결함 층을 쌓아 비선형 데이터를 분류할 수 있으나 다층이라 w가 많아지니 과대적합 가능성이 있음 2022. 8. 31. 딥러닝의 개념 바퀴, 날개, 모양 = 특성 = 피쳐 = 문제 = X = 독립변수 = 설명변수 머신러닝의 한계 :모든 규칙을 정의할 수 없음 (행과 열로) 딥러닝으로는 판별이 가능 이미지/영상, 시계열, 소리데이터등 e(error) 실제 값과 예측값의 오차를 줄이는것으로 머신러닝과 흐름은 비슷하나 MLP, CNN, RNN등으로 모델만 달라짐 컴퓨터비젼 : 사진 / 영상 자연어처리에 최근 사용되는 모델 : LSTM,KOBERT 2022. 8. 24. 이전 1 2 3 4 다음
