positional_encoding

포지셔널 인코딩

순서 정보를 임베딩에 주입하는 방법. 원 Transformer는 사인/코사인, ViT는 학습 1D 임베딩.

관련 논문