Paper Understanding
Papers
Concepts
Formulas
KO
EN
scaling_law
스케일링 법칙
모델·데이터·컴퓨트를 키울수록 성능이 예측 가능하게(멱함수적으로) 향상된다는 경험 법칙.
관련 수식
파라미터 스케일링
스케일 로그-선형 경향
관련 논문
scaling-laws
gpt3
gpt2