Paper Understanding
Papers
Concepts
Formulas
KO
EN
adam_param_update
Adam 파라미터 업데이트
θ
t
=
θ
t
−
1
−
α
m
^
t
v
^
t
+
ϵ
\theta_t=\theta_{t-1}-\alpha\frac{\hat{m}_t}{\sqrt{\hat{v}_t}+\epsilon}
θ
t
=
θ
t
−
1
−
α
v
^
t
+
ϵ
m
^
t
Adam 파라미터 업데이트
수식 상세 →
기호를 클릭하면 의미를 볼 수 있습니다
α
\alpha
α
ϵ
\epsilon
ϵ
단계별 설명
1
분자 m̂은 이동 방향, 분모 √v̂는 좌표별 보폭 조절.
2
유효 학습률 ≈ α · m̂ / (√v̂+ε).
관련 논문
adam