Paper Understanding
Papers
Concepts
Formulas
KO
EN
llama_rope
RoPE (회전 위치)
f
q
,
k
(
x
m
,
m
)
=
R
m
x
m
f_{q,k}(x_m, m) = R_m x_m
f
q
,
k
(
x
m
,
m
)
=
R
m
x
m
RoPE (회전 위치)
수식 상세 →
기호를 클릭하면 의미를 볼 수 있습니다
R
m
R_m
R
m
x
m
x_m
x
m
단계별 설명
1
절대 PE 대신 상대 위치를 회전에 인코딩. 긴 컨텍스트 외삽에 유리.
관련 논문
llama
transformer