Paper Understanding
Papers
Concepts
Formulas
KO
EN
gpt3_scale_log
스케일 로그-선형 경향
performance
∝
log
(
N
p
a
r
a
m
s
)
\text{performance} \propto \log(N_{\mathrm{params}})
performance
∝
lo
g
(
N
params
)
스케일 로그-선형 경향
수식 상세 →
기호를 클릭하면 의미를 볼 수 있습니다
N
p
a
r
a
m
s
N_{\mathrm{params}}
N
params
단계별 설명
1
많은 NLP 태스크에서 관측된 경향 요약. Kaplan et al. 멱법칙과 맞닿아 있음.
관련 논문
gpt3