Paper Understanding
Papers
Concepts
Formulas
KO
EN
bert_cls
BERT 분류 헤드
P
(
c
l
a
s
s
)
=
s
o
f
t
m
a
x
(
W
h
[
C
L
S
]
)
P(\mathrm{class}) = \mathrm{softmax}(W h_{[\mathrm{CLS}]})
P
(
class
)
=
softmax
(
W
h
[
CLS
]
)
BERT 분류 헤드
수식 상세 →
기호를 클릭하면 의미를 볼 수 있습니다
h
[
C
L
S
]
h_{[\mathrm{CLS}]}
h
[
CLS
]
W
W
W
단계별 설명
1
시퀀스 전체 표현으로 [CLS]를 쓰고 클래스 분포를 낸다.
관련 논문
bert