Paper Understanding
Papers
Concepts
Formulas
KO
EN
rmsnorm
RMSNorm
R
M
S
N
o
r
m
(
x
)
=
x
R
M
S
(
x
)
γ
,
R
M
S
(
x
)
=
1
H
∑
i
x
i
2
\mathrm{RMSNorm}(x)=\frac{x}{\mathrm{RMS}(x)}\gamma,\quad \mathrm{RMS}(x)=\sqrt{\frac{1}{H}\sum_i x_i^2}
RMSNorm
(
x
)
=
RMS
(
x
)
x
γ
,
RMS
(
x
)
=
H
1
i
∑
x
i
2
RMSNorm
수식 상세 →
기호를 클릭하면 의미를 볼 수 있습니다
R
M
S
\mathrm{RMS}
RMS
단계별 설명
1
평균 빼기 생략 → 계산 ~30% 절감. LLaMA 등 표준.
관련 논문
layernorm
llama