Paper Understanding
Papers
Concepts
Formulas
KO
EN
positional_encoding_sincos
사인·코사인 포지셔널 인코딩
P
E
(
p
o
s
,
2
i
)
=
sin
(
p
o
s
10000
2
i
/
d
m
o
d
e
l
)
,
P
E
(
p
o
s
,
2
i
+
1
)
=
cos
(
p
o
s
10000
2
i
/
d
m
o
d
e
l
)
PE_{(pos,2i)}=\sin\!\left(\frac{pos}{10000^{2i/d_{model}}}\right),\quad PE_{(pos,2i+1)}=\cos\!\left(\frac{pos}{10000^{2i/d_{model}}}\right)
P
E
(
p
os
,
2
i
)
=
sin
(
1000
0
2
i
/
d
m
o
d
e
l
p
os
)
,
P
E
(
p
os
,
2
i
+
1
)
=
cos
(
1000
0
2
i
/
d
m
o
d
e
l
p
os
)
사인·코사인 포지셔널 인코딩
수식 상세 →
기호를 클릭하면 의미를 볼 수 있습니다
p
o
s
pos
p
os
i
i
i
d
m
o
d
e
l
d_model
d
m
o
d
e
l
단계별 설명
1
어텐션 자체는 순서를 모르므로 위치 신호를 임베딩에 더한다.
2
사인/코사인은 상대 위치 관계를 선형으로 표현하기 쉽다.
관련 논문
transformer