Paper Understanding
Papers
Concepts
Formulas
KO
EN
chin_rule
Chinchilla 규칙 (~20 tok/param)
D
o
p
t
≈
20
N
D_{\mathrm{opt}} \approx 20\, N
D
opt
≈
20
N
Chinchilla 규칙 (~20 tok/param)
수식 상세 →
기호를 클릭하면 의미를 볼 수 있습니다
N
N
N
D
D
D
단계별 설명
1
실용 규칙. GPT-3(175B, 300B tok)는 ~3.5T가 이상적이라 데이터가 ~10× 부족.
관련 논문
chinchilla
gpt3