Paper Understanding
Papers
Concepts
Formulas
KO
EN
multihead
멀티헤드 어텐션
M
u
l
t
i
H
e
a
d
(
Q
,
K
,
V
)
=
C
o
n
c
a
t
(
h
e
a
d
1
,
…
,
h
e
a
d
h
)
W
O
\mathrm{MultiHead}(Q,K,V) = \mathrm{Concat}(\mathrm{head}_1,\ldots,\mathrm{head}_h)W^{O}
MultiHead
(
Q
,
K
,
V
)
=
Concat
(
head
1
,
…
,
head
h
)
W
O
멀티헤드 어텐션
수식 상세 →
기호를 클릭하면 의미를 볼 수 있습니다
h
e
a
d
i
head_i
h
e
a
d
i
h
h
h
W
O
W^O
W
O
단계별 설명
1
입력을 h개 부분 공간으로 나눠 병렬 어텐션을 수행한다.
2
헤드마다 구문·의미·위치 등 다른 패턴을 잡을 수 있다.
3
Concat 후 W^O로 원래 모델 차원으로 되돌린다.
관련 논문
transformer