RNN/CNN 없이 어텐션만으로 시퀀스를 모델링한 현대 LLM의 뿌리.
Skip Connection으로 초심층 네트워크의 저하 문제를 푼 현대 CNN의 표준.
모멘텀 + RMSProp을 합친 적응형 옵티마이저. LLM 학습의 사실상 표준.
미니배치로 층 입력을 정규화해 학습을 안정·가속. 딥러닝 표준 레시피의 핵심.