Paper Understanding
Papers
Concepts
Formulas
KO
EN
adam_bias_correction
Adam 편향 보정
m
^
t
=
m
t
1
−
β
1
t
,
v
^
t
=
v
t
1
−
β
2
t
\hat{m}_t=\frac{m_t}{1-\beta_1^t},\quad \hat{v}_t=\frac{v_t}{1-\beta_2^t}
m
^
t
=
1
−
β
1
t
m
t
,
v
^
t
=
1
−
β
2
t
v
t
Adam 편향 보정
수식 상세 →
기호를 클릭하면 의미를 볼 수 있습니다
m
^
t
\hat{m}_t
m
^
t
1
−
β
t
1-\beta^t
1
−
β
t
단계별 설명
1
m₀=0 초기화 때문에 초반 m은 과소평가된다.
2
t=1, β₁=0.9이면 m̂₁=m₁/0.1 = g₁로 복원된다.
관련 논문
adam