Paper Understanding
Papers
Concepts
Formulas
KO
EN
flamingo_gated_xattn
게이트 크로스-어텐션
y
←
y
+
tanh
(
α
)
⋅
C
r
o
s
s
A
t
t
e
n
t
i
o
n
(
y
,
x
v
i
s
)
y \leftarrow y + \tanh(\alpha)\cdot \mathrm{CrossAttention}(y,\, x_{\mathrm{vis}})
y
←
y
+
tanh
(
α
)
⋅
CrossAttention
(
y
,
x
vis
)
게이트 크로스-어텐션
수식 상세 →
기호를 클릭하면 의미를 볼 수 있습니다
y
y
y
x
v
i
s
x_{\mathrm{vis}}
x
vis
α
\alpha
α
tanh
(
α
)
\tanh(\alpha)
tanh
(
α
)
단계별 설명
1
고정된 Chinchilla 층 사이에 삽입되는 XATTN-DENSE 블록. α를 0으로 초기화하면 학습 시작 시 Flamingo = 원래 LM이라 발산이 없고, 학습이 진행되며 비전 정보가 점진적으로 통합됩니다. 동일한 tanh 게이트가 뒤따르는 FFN에도 별도 α로 적용됩니다.
관련 논문
flamingo
chinchilla
transformer