Paper Understanding
Papers
Concepts
Formulas
KO
EN
vit_z0
ViT 입력 임베딩
z
0
=
[
x
c
l
a
s
s
;
x
p
1
E
;
…
;
x
p
N
E
]
+
E
p
o
s
z_0 = [x_{\mathrm{class}};\, x_p^{1}E;\,\ldots;\, x_p^{N}E] + E_{\mathrm{pos}}
z
0
=
[
x
class
;
x
p
1
E
;
…
;
x
p
N
E
]
+
E
pos
ViT 입력 임베딩
수식 상세 →
기호를 클릭하면 의미를 볼 수 있습니다
x
p
i
x_p^{i}
x
p
i
E
E
E
x
c
l
a
s
s
x_{\mathrm{class}}
x
class
E
p
o
s
E_{\mathrm{pos}}
E
pos
단계별 설명
1
논문 Eq. 1. 위치는 1D 학습 임베딩. 2D-aware는 이득이 거의 없었음. 파인튜닝 해상도를 올리면 위치 임베딩을 2D 보간.
관련 논문
vit
bert
transformer