Paper Understanding
Papers
Concepts
Formulas
KO
EN
w2v_softmax
Skip-Gram 소프트맥스
P
(
w
O
∣
w
I
)
=
exp
(
v
w
O
⊤
v
w
I
)
∑
w
=
1
W
exp
(
v
w
⊤
v
w
I
)
P(w_O | w_I) = \frac{\exp(v_{w_O}^\top v_{w_I})}{\sum_{w=1}^{W} \exp(v_w^\top v_{w_I})}
P
(
w
O
∣
w
I
)
=
∑
w
=
1
W
exp
(
v
w
⊤
v
w
I
)
exp
(
v
w
O
⊤
v
w
I
)
Skip-Gram 소프트맥스
수식 상세 →
기호를 클릭하면 의미를 볼 수 있습니다
v
w
v_w
v
w
W
W
W
단계별 설명
1
내적이 클수록 함께 나타날 확률이 높다.
2
분모가 전체 어휘라 매 스텝 O(W) — 비효율.
관련 논문
word2vec