Paper Understanding
Papers
Concepts
Formulas
KO
EN
attention_scaled_dot
스케일드 닷-프로덕트 어텐션
A
t
t
e
n
t
i
o
n
(
Q
,
K
,
V
)
=
s
o
f
t
m
a
x
(
Q
K
T
d
k
)
V
\mathrm{Attention}(Q, K, V) = \mathrm{softmax}\left(\frac{QK^{T}}{\sqrt{d_{k}}}\right)V
Attention
(
Q
,
K
,
V
)
=
softmax
(
d
k
Q
K
T
)
V
스케일드 닷-프로덕트 어텐션
수식 상세 →
기호를 클릭하면 의미를 볼 수 있습니다
Q
Q
Q
K
K
K
V
V
V
d
k
d_k
d
k
단계별 설명
1
Q와 K의 내적으로 토큰 간 유사도(어텐션 점수)를 만든다.
2
√d_k로 나눠 점수가 커져 softmax 기울기가 사라지는 것을 막는다.
3
softmax로 가중치를 만든 뒤 V의 가중합이 출력이 된다.
관련 논문
transformer