Paper Understanding
Papers
Concepts
Formulas
KO
EN
vit_block
ViT 인코더 블록 (Pre-LN)
z
ℓ
′
=
M
S
A
(
L
N
(
z
ℓ
−
1
)
)
+
z
ℓ
−
1
z'_\ell = \mathrm{MSA}(\mathrm{LN}(z_{\ell-1})) + z_{\ell-1}
z
ℓ
′
=
MSA
(
LN
(
z
ℓ
−
1
))
+
z
ℓ
−
1
ViT 인코더 블록 (Pre-LN)
수식 상세 →
기호를 클릭하면 의미를 볼 수 있습니다
z
ℓ
−
1
z_{\ell-1}
z
ℓ
−
1
L
N
\mathrm{LN}
LN
M
S
A
\mathrm{MSA}
MSA
단계별 설명
1
논문 Eq. 2. Eq. 3은 MLP 쪽: z_ℓ = MLP(LN(z′_ℓ)) + z′_ℓ. 원 Transformer의 Post-LN과 반대.
관련 논문
vit
transformer
resnet