Paper Understanding
Papers
Concepts
Formulas
KO
EN
ln_normalize
LN 정규화
x
^
i
=
x
i
−
μ
σ
2
+
ϵ
\hat{x}_i = \frac{x_i - \mu}{\sqrt{\sigma^2 + \epsilon}}
x
^
i
=
σ
2
+
ϵ
x
i
−
μ
LN 정규화
수식 상세 →
기호를 클릭하면 의미를 볼 수 있습니다
ϵ
\epsilon
ϵ
단계별 설명
1
토큰 벡터를 대략 평균 0, 분산 1로 맞춘다.
관련 논문
layernorm