Paper Understanding
Papers
Concepts
Formulas
KO
EN
blip2_soft_prompt
소프트 시각 프롬프트
LLM input
=
[
W
Z
;
E
m
b
e
d
(
text
)
]
\text{LLM input} = [\, W Z \;;\; \mathrm{Embed}(\text{text}) \,]
LLM input
=
[
W
Z
;
Embed
(
text
)
]
소프트 시각 프롬프트
수식 상세 →
기호를 클릭하면 의미를 볼 수 있습니다
Z
Z
Z
W
W
W
E
m
b
e
d
(
text
)
\mathrm{Embed}(\text{text})
Embed
(
text
)
[
⋅
;
⋅
]
[\,\cdot\;;\;\cdot\,]
[
⋅
;
⋅
]
단계별 설명
1
2단계에서 LLM은 고정. 32개 시각 토큰을 선형 W로 LLM 차원에 맞춰 텍스트 임베딩 앞에 붙이면, LLM은 이를 프롬프트 토큰처럼 조건으로 삼아 캡션/답변을 생성합니다. 디코더 전용(OPT)은 그대로 언어 모델링, 인코더-디코더(FlanT5)는 시각 토큰+접두 텍스트를 인코더에 넣습니다.
관련 논문
blip2
t5
gpt3