learnable_query_tokens

학습 가능한 query 토큰

고정 개수(BLIP-2는 32개)의 학습되는 임베딩. 크로스-어텐션의 query로 쓰여 가변 크기 인코더 출력을 고정 길이 토큰열로 압축한다. Flamingo의 Perceiver latent와 같은 계열.

관련 논문