Paper Understanding
Papers
Concepts
Formulas
KO
EN
gpt2_ar_lm
자기회귀 언어 모델
P
(
x
)
=
∏
t
=
1
T
P
(
x
t
∣
x
<
t
)
P(x) = \prod_{t=1}^{T} P(x_t \mid x_{<t})
P
(
x
)
=
t
=
1
∏
T
P
(
x
t
∣
x
<
t
)
자기회귀 언어 모델
수식 상세 →
기호를 클릭하면 의미를 볼 수 있습니다
x
<
t
x_{<t}
x
<
t
단계별 설명
1
Causal mask로 미래 토큰을 가린 채 다음 토큰을 예측. GPT 계열의 기본 목적.
관련 논문
gpt2
transformer
gpt3