Paper Understanding
Papers
Concepts
Formulas
KO
EN
adam_effective_lr
Adam 유효 학습률
η
t
,
i
=
α
⋅
m
^
t
,
i
v
^
t
,
i
+
ϵ
\eta_{t,i} = \alpha \cdot \frac{\hat{m}_{t,i}}{\sqrt{\hat{v}_{t,i}} + \epsilon}
η
t
,
i
=
α
⋅
v
^
t
,
i
+
ϵ
m
^
t
,
i
Adam 유효 학습률
수식 상세 →
기호를 클릭하면 의미를 볼 수 있습니다
η
t
,
i
\eta_{t,i}
η
t
,
i
v
^
t
,
i
\hat{v}_{t,i}
v
^
t
,
i
단계별 설명
1
같은 α라도 좌표마다 실제 보폭이 달라진다.
2
변동이 큰 파라미터는 안정적으로, 잔잔한 파라미터는 상대적으로 빠르게.
관련 논문
adam