Paper Understanding
Papers
Concepts
Formulas
KO
EN
clip_loss
CLIP 대칭 InfoNCE
L
=
1
2
N
∑
i
=
1
N
[
C
E
(
s
i
m
(
I
i
,
T
)
/
τ
,
y
i
)
+
C
E
(
s
i
m
(
T
i
,
I
)
/
τ
,
y
i
)
]
L = \tfrac{1}{2N}\sum_{i=1}^{N}\Big[\mathrm{CE}\big(\mathrm{sim}(I_i,T)/\tau,\,y_i\big) + \mathrm{CE}\big(\mathrm{sim}(T_i,I)/\tau,\,y_i\big)\Big]
L
=
2
N
1
i
=
1
∑
N
[
CE
(
sim
(
I
i
,
T
)
/
τ
,
y
i
)
+
CE
(
sim
(
T
i
,
I
)
/
τ
,
y
i
)
]
CLIP 대칭 InfoNCE
수식 상세 →
기호를 클릭하면 의미를 볼 수 있습니다
N
N
N
s
i
m
\mathrm{sim}
sim
τ
\tau
τ
y
i
y_i
y
i
단계별 설명
1
N×N 행렬에서 행·열 softmax CE를 각각 계산해 평균. 캡션 단어 예측보다 4× 효율적(Fig. 2).
관련 논문
clip
transformer