Paper Understanding
Papers
Concepts
Formulas
KO
EN
igpt_ptx
PTX 혼합 손실
L
t
o
t
a
l
=
L
P
P
O
+
γ
L
p
r
e
t
r
a
i
n
L_{\mathrm{total}}=L_{\mathrm{PPO}}+\gamma\,L_{\mathrm{pretrain}}
L
total
=
L
PPO
+
γ
L
pretrain
PTX 혼합 손실
수식 상세 →
기호를 클릭하면 의미를 볼 수 있습니다
γ
\gamma
γ
단계별 설명
1
정렬세(벤치 하락)를 완화하기 위해 사전학습 목적도 함께 최소화.
관련 논문
instructgpt