bidirectional_encoder

양방향 인코더

매 층 self-attention이 좌·우 문맥을 동시에 보는 인코더. GPT 단방향·ELMo 얕은 양방향과 대비.