Paper Understanding
Papers
Concepts
Formulas
KO
EN
blip2_itc
이미지-텍스트 대조 (ITC)
L
I
T
C
=
−
log
exp
(
s
i
m
(
z
,
t
)
/
τ
)
∑
t
′
exp
(
s
i
m
(
z
,
t
′
)
/
τ
)
\mathcal{L}_{\mathrm{ITC}} = -\log \frac{\exp(\mathrm{sim}(z, t)/\tau)}{\sum_{t'} \exp(\mathrm{sim}(z, t')/\tau)}
L
ITC
=
−
lo
g
∑
t
′
exp
(
sim
(
z
,
t
′
)
/
τ
)
exp
(
sim
(
z
,
t
)
/
τ
)
이미지-텍스트 대조 (ITC)
수식 상세 →
기호를 클릭하면 의미를 볼 수 있습니다
z
z
z
t
t
t
t
′
t'
t
′
τ
\tau
τ
단계별 설명
1
1단계 세 목표 중 하나. query와 텍스트가 서로 못 보는 단일모달 마스크를 써서, 이미지 표현과 텍스트 표현을 같은 공간으로 끌어당기고 부정 쌍은 밀어냅니다. CLIP의 대조 손실을 query 토큰 집합에 맞춰 변형한 형태입니다.
관련 논문
blip2
clip