masked_lm

마스크 언어 모델 (MLM)

일부 토큰을 가리고 양방향 문맥으로 원본을 예측하는 사전학습 목표. BERT의 핵심.