Paper Understanding
Papers
Concepts
Formulas
KO
EN
flamingo_resampler
Perceiver Resampler
Z
=
C
r
o
s
s
A
t
t
n
(
R
,
[
X
f
;
R
]
)
∈
R
64
×
d
Z = \mathrm{CrossAttn}\big(R,\; [\,X_f\,;\,R\,]\big) \in \mathbb{R}^{64 \times d}
Z
=
CrossAttn
(
R
,
[
X
f
;
R
]
)
∈
R
64
×
d
Perceiver Resampler
수식 상세 →
기호를 클릭하면 의미를 볼 수 있습니다
X
f
X_f
X
f
R
R
R
[
X
f
;
R
]
[\,X_f\,;\,R\,]
[
X
f
;
R
]
Z
Z
Z
단계별 설명
1
가변 크기 비전 특징을 항상 64 토큰으로 압축합니다. latent가 자기 자신과 특징을 함께 보게 해(concat) 반복 블록을 쌓습니다. 출력 길이가 고정이라 LLM에 붙는 cross-attention 비용이 입력 크기와 무관하게 일정합니다.
관련 논문
flamingo
vit