Paper Understanding
Papers
Concepts
Formulas
KO
EN
sl_ln
파라미터 스케일링
L
(
N
)
≈
(
N
c
N
)
α
N
,
α
N
≈
0.076
L(N)\approx\left(\frac{N_c}{N}\right)^{\alpha_N},\quad \alpha_N\approx 0.076
L
(
N
)
≈
(
N
N
c
)
α
N
,
α
N
≈
0.076
파라미터 스케일링
수식 상세 →
기호를 클릭하면 의미를 볼 수 있습니다
N
N
N
L
L
L
단계별 설명
1
D·C가 병목이 아닐 때 N 멱함수. D는 α_D≈0.095, 최적 배분 연산은 α_C^min≈0.050 (일반 C는 ≈0.057).
관련 논문
scaling-laws
gpt3