multi_head

멀티헤드

여러 어텐션 헤드를 병렬로 수행한 뒤 결합해 다양한 관계를 포착한다.

관련 논문