Paper Understanding
Papers
Concepts
Formulas
KO
EN
rnn_recurrence
기본 RNN 재귀
h
t
=
tanh
(
W
h
h
t
−
1
+
W
x
x
t
+
b
)
h_t = \tanh(W_h h_{t-1} + W_x x_t + b)
h
t
=
tanh
(
W
h
h
t
−
1
+
W
x
x
t
+
b
)
기본 RNN 재귀
수식 상세 →
기호를 클릭하면 의미를 볼 수 있습니다
h
t
h_t
h
t
x
t
x_t
x
t
단계별 설명
1
매 스텝 h_{t-1}과 x_t를 합쳐 새 은닉 상태를 만든다.
2
긴 시퀀스에서는 곱셈 체인으로 기울기가 사라지기 쉽다.
관련 논문
lstm