Paper Understanding
Papers
Concepts
Formulas
KO
EN
rnn_grad_chain
RNN 기울기 곱셈 체인
∂
L
∂
h
0
=
∂
L
∂
h
T
∏
t
=
1
T
∂
h
t
∂
h
t
−
1
\frac{\partial L}{\partial h_0} = \frac{\partial L}{\partial h_T} \prod_{t=1}^{T} \frac{\partial h_t}{\partial h_{t-1}}
∂
h
0
∂
L
=
∂
h
T
∂
L
t
=
1
∏
T
∂
h
t
−
1
∂
h
t
RNN 기울기 곱셈 체인
수식 상세 →
기호를 클릭하면 의미를 볼 수 있습니다
T
T
T
단계별 설명
1
야코비안 고유값 |λ|<1이면 T가 커질수록 기울기 소실.
2
|λ|>1이면 폭발. 기본 RNN은 ~10–20 스텝 이상 장거리 학습이 어렵다.
관련 논문
lstm