Paper Understanding
Papers
Concepts
Formulas
KO
EN
bp_grad_w
가중치·편향 기울기
∂
L
∂
W
l
=
δ
l
a
l
−
1
⊤
,
∂
L
∂
b
l
=
δ
l
\frac{\partial L}{\partial W_l} = \delta_l a_{l-1}^{\top},\quad \frac{\partial L}{\partial b_l} = \delta_l
∂
W
l
∂
L
=
δ
l
a
l
−
1
⊤
,
∂
b
l
∂
L
=
δ
l
가중치·편향 기울기
수식 상세 →
기호를 클릭하면 의미를 볼 수 있습니다
a
l
−
1
a_{l-1}
a
l
−
1
단계별 설명
1
δ와 이전 활성의 외적. SGD/Adam 등은 이 기울기로 파라미터를 갱신.
관련 논문
backprop
adam