Paper Understanding
Papers
Concepts
Formulas
KO
EN
llama_swiglu
SwiGLU
S
w
i
G
L
U
(
x
)
=
S
w
i
s
h
(
x
W
+
b
)
⊙
(
x
V
+
c
)
,
S
w
i
s
h
(
x
)
=
x
σ
(
x
)
\mathrm{SwiGLU}(x)=\mathrm{Swish}(xW+b)\odot(xV+c),\quad \mathrm{Swish}(x)=x\sigma(x)
SwiGLU
(
x
)
=
Swish
(
x
W
+
b
)
⊙
(
x
V
+
c
)
,
Swish
(
x
)
=
x
σ
(
x
)
SwiGLU
수식 상세 →
기호를 클릭하면 의미를 볼 수 있습니다
⊙
\odot
⊙
σ
\sigma
σ
단계별 설명
1
FFN에서 ReLU 대신 사용. LLaMA는 너비를 ~⅔×4d로 줄여 파라미터를 맞춤.
관련 논문
llama