Paper Understanding
Papers
Concepts
Formulas
KO
EN
sgd_update
SGD 업데이트
θ
t
+
1
=
θ
t
−
α
g
t
\theta_{t+1} = \theta_t - \alpha\, g_t
θ
t
+
1
=
θ
t
−
α
g
t
SGD 업데이트
수식 상세 →
기호를 클릭하면 의미를 볼 수 있습니다
θ
\theta
θ
α
\alpha
α
g
t
g_t
g
t
단계별 설명
1
모든 파라미터에 같은 α를 곱해 한 칸 이동한다.
2
스케일이 다른 좌표에는 비효율적일 수 있다.
관련 논문
adam