Paper Understanding
Papers
Concepts
Formulas
KO
EN
adamw_update
AdamW (Decoupled Weight Decay)
θ
t
=
θ
t
−
1
−
α
(
m
^
t
v
^
t
+
ϵ
+
λ
θ
t
−
1
)
\theta_t = \theta_{t-1} - \alpha \Big(\frac{\hat{m}_t}{\sqrt{\hat{v}_t}+\epsilon} + \lambda \theta_{t-1}\Big)
θ
t
=
θ
t
−
1
−
α
(
v
^
t
+
ϵ
m
^
t
+
λ
θ
t
−
1
)
AdamW (Decoupled Weight Decay)
수식 상세 →
기호를 클릭하면 의미를 볼 수 있습니다
λ
\lambda
λ
단계별 설명
1
L2를 기울기에 섞지 않고 θ에 직접 감쇠를 적용한다.
2
BERT/GPT 등 LLM 학습의 사실상 표준.
관련 논문
adam