two_stage_pretraining

2단계 사전학습

BLIP-2의 학습 절차. 1단계는 이미지 인코더만 고정하고 Q-Former를 이미지-텍스트 쌍으로 표현 정렬(ITC/ITM/ITG); 2단계는 LLM도 고정하고 Q-Former 출력을 LLM에 소프트 프롬프트로 연결해 생성 학습.