Paper Understanding
Papers
Concepts
Formulas
KO
EN
ln_pre
Pre-LN
P
r
e
L
N
:
y
=
x
+
S
u
b
l
a
y
e
r
(
L
N
(
x
)
)
\mathrm{PreLN}:\; y = x + \mathrm{Sublayer}(\mathrm{LN}(x))
PreLN
:
y
=
x
+
Sublayer
(
LN
(
x
))
Pre-LN
수식 상세 →
단계별 설명
1
잔차 경로에 LN이 없어 기울기가 더 잘 흐름. 현대 LLM 표준.
관련 논문
layernorm
transformer