Paper Understanding
Papers
Concepts
Formulas
KO
EN
bert_mlm
Masked LM 목적함수
L
M
L
M
=
−
∑
i
∈
M
log
P
(
x
i
∣
x
∖
M
)
\mathcal{L}_{\mathrm{MLM}} = -\sum_{i\in\mathcal{M}}\log P(x_i\mid x_{\setminus\mathcal{M}})
L
MLM
=
−
i
∈
M
∑
lo
g
P
(
x
i
∣
x
∖
M
)
Masked LM 목적함수
수식 상세 →
기호를 클릭하면 의미를 볼 수 있습니다
M
\mathcal{M}
M
x
∖
M
x_{\setminus\mathcal{M}}
x
∖
M
단계별 설명
1
양방향 문맥으로 가려진 토큰만 예측. BERT 사전학습의 핵심 손실.
관련 논문
bert