Paper Understanding
Papers
Concepts
Formulas
KO
EN
w2v_neg_sampling
Negative Sampling
L
=
log
σ
(
v
w
O
⊤
v
w
I
)
+
∑
i
=
1
k
E
w
i
∼
P
n
[
log
σ
(
−
v
w
i
⊤
v
w
I
)
]
\mathcal{L} = \log \sigma(v_{w_O}^\top v_{w_I}) + \sum_{i=1}^{k} \mathbb{E}_{w_i \sim P_n}[\log \sigma(-v_{w_i}^\top v_{w_I})]
L
=
lo
g
σ
(
v
w
O
⊤
v
w
I
)
+
i
=
1
∑
k
E
w
i
∼
P
n
[
lo
g
σ
(
−
v
w
i
⊤
v
w
I
)]
Negative Sampling
수식 상세 →
기호를 클릭하면 의미를 볼 수 있습니다
k
k
k
P
n
P_n
P
n
단계별 설명
1
진짜 문맥은 점수를 올리고, 랜덤 단어는 내린다.
2
전체 소프트맥스 대신 k+1개만 비교 → 훨씬 빠름.
관련 논문
word2vec