Paper Understanding
Papers
Concepts
Formulas
KO
EN
positional_encoding
포지셔널 인코딩
순서 정보를 임베딩에 주입하는 방법. 원 Transformer는 사인/코사인, ViT는 학습 1D 임베딩.
관련 수식
사인·코사인 포지셔널 인코딩
ViT 입력 임베딩
관련 논문
transformer
vit
clip