개요Adam(Adaptive Moment Estimation) Optimizer는 2014년에 발표된 최적화 알고리즘으로, Momentum과 RMSProp의 장점을 합친 방식입니다. 딥러닝 모델 학습에서 자주 사용되며, 학습률 조정 없이도 안정적이고 빠른 수렴을 기대할 수 있습니다.Adam은 다음의 두 가지 아이디어를 기반으로 합니다.1차 모멘트(평균, momentum)2차 모멘트(분산의 제곱, adaptive learning rate)수식 정리Adam의 주요 업데이트 수식은 다음과 같습니다.초기화: $$m_0 = 0,\quad v_0 = 0,\quad t = 0$$반복 업데이트 (매 step 마다):시간 스텝 증가 $$t \leftarrow t + 1$$그래디언트 계산 $$g_t = \nabla_\..