최적화에 대한 개념딥러닝 모델을 통한 학습으로 우리는 옵티마이저를 자주 보게 되는데(Optimization), 훈련을 처음 시작하면서 순전파 → 활성화 함수 → 출력층 → 역전파를 진행하는 과정에서 예측값과 실제값(라벨)의 차이를 통해 손실 함수를 구하게 되는데, 이 차이를 최소화 하기 위한 방법입니다. 방법 중 가장 유명하면서도 자주 쓰이는 방법이 기울기 조정이라는 것인데, 이는 우리가 고등학교 때 굉장히 괴롭힘 받았던 미분과도 굉장히 밀접한 연관이 있습니다(아예 그냥 미분이 중요함) 그렇기 때문에, 우리는 미분과 기울기에 대해서 명확히 알 필요가 있다고 생각합니다.기울기란 무엇일까?기울기는 변화율 즉 순간변화율을 나타내는 것인데, 특히 이런 순간적인 변화율 자체는 미분을 통해 계산하고 변화하는 것을 ..
