q_former

Q-Former (Querying Transformer)

BERTbase 기반 경량 트랜스포머. 이미지 트랜스포머와 텍스트 트랜스포머가 셀프-어텐션 층을 공유하며, 32개 query가 고정 이미지 특징에 크로스-어텐션해 32 시각 토큰을 뽑는다.