Paper Understanding
Papers
Concepts
Formulas
KO
EN
sl_opt_alloc
Kaplan 최적 배분
N
∝
C
min
0.73
,
D
∝
C
min
0.27
N \propto C_{\min}^{0.73},\quad D \propto C_{\min}^{0.27}
N
∝
C
m
i
n
0.73
,
D
∝
C
m
i
n
0.27
Kaplan 최적 배분
수식 상세 →
기호를 클릭하면 의미를 볼 수 있습니다
C
min
C_{\min}
C
m
i
n
단계별 설명
1
예산↑ 때 모델을 데이터보다 더 빠르게 키우라는 Kaplan 결론(지수 비중). Chinchilla가 수정.
관련 논문
scaling-laws
chinchilla