Paper Understanding
Papers
Concepts
Formulas
KO
EN
momentum_update
모멘텀 업데이트
v
t
=
β
v
t
−
1
+
g
t
,
θ
t
+
1
=
θ
t
−
α
v
t
v_t = \beta v_{t-1} + g_t,\quad \theta_{t+1} = \theta_t - \alpha\, v_t
v
t
=
β
v
t
−
1
+
g
t
,
θ
t
+
1
=
θ
t
−
α
v
t
모멘텀 업데이트
수식 상세 →
기호를 클릭하면 의미를 볼 수 있습니다
v
t
v_t
v
t
β
\beta
β
단계별 설명
1
이전 방향을 기억해 진동을 줄이고 수렴을 가속한다.
2
여전히 전역 학습률 α를 쓴다.
관련 논문
adam