Paper Understanding
Papers
Concepts
Formulas
KO
EN
lstm_highway
셀 기울기 하이웨이
∂
C
t
∂
C
t
−
1
=
f
t
\frac{\partial C_t}{\partial C_{t-1}} = f_t
∂
C
t
−
1
∂
C
t
=
f
t
셀 기울기 하이웨이
수식 상세 →
기호를 클릭하면 의미를 볼 수 있습니다
f
t
f_t
f
t
단계별 설명
1
f_t≈1이면 타임스텝 간 기울기가 거의 그대로 흐른다.
2
ResNet skip의 +1과 비슷한 ‘고속도로’ 역할.
관련 논문
lstm
resnet