Paper Understanding
Papers
Concepts
Formulas
KO
EN
pre_ln
Pre-LN
서브레이어 입력 전에 LN. 잔차 경로가 깨끗해 훈련이 안정적. 현대 LLM 표준.
관련 수식
Pre-LN
관련 논문
layernorm
transformer
gpt2