Paper Understanding
Papers
Concepts
Formulas
KO
EN
blip2_qformer_query
Q-Former query 추출
Z
=
Q
-
F
o
r
m
e
r
(
Q
,
F
i
m
g
)
∈
R
32
×
d
Z = \mathrm{Q\text{-}Former}(Q,\; F_{\mathrm{img}}) \in \mathbb{R}^{32 \times d}
Z
=
Q
-
Former
(
Q
,
F
img
)
∈
R
32
×
d
Q-Former query 추출
수식 상세 →
기호를 클릭하면 의미를 볼 수 있습니다
Q
Q
Q
F
i
m
g
F_{\mathrm{img}}
F
img
Z
Z
Z
d
d
d
단계별 설명
1
query는 Q-Former 안에서 서로 셀프-어텐션하고, 트랜스포머 블록을 하나 걸러 고정 이미지 특징에 크로스-어텐션합니다. 출력 Z는 이미지 인코더의 패치 수·해상도와 무관하게 항상 32×d — LLM에 넣기 전의 고정 크기 정보 병목입니다.
관련 논문
blip2
bert
flamingo