Paper Understanding
Papers
Concepts
Formulas
KO
EN
self_attention
셀프 어텐션
같은 시퀀스 안의 모든 위치가 서로를 참조해 표현을 갱신하는 연산.
관련 수식
스케일드 닷-프로덕트 어텐션
멀티헤드 어텐션
관련 논문
transformer