Paper Understanding
Papers
Concepts
Formulas
KO
EN
chinchilla_optimal
Chinchilla 최적
Hoffmann et al.: 대략 파라미터당 학습 토큰 ~20. Kaplan 대비 데이터를 더 쓰라는 수정.
관련 수식
Chinchilla 규칙 (~20 tok/param)
Chinchilla 동등 스케일
Kaplan 최적 배분
관련 논문
chinchilla
scaling-laws
gpt3
llama