Paper Understanding
Papers
Concepts
Formulas
KO
EN
dropout_bernoulli
드롭아웃 마스크
y
~
i
=
r
i
⋅
y
i
,
r
i
∼
B
e
r
n
o
u
l
l
i
(
p
k
e
e
p
)
\tilde{y}_i = r_i \cdot y_i,\quad r_i \sim \mathrm{Bernoulli}(p_{keep})
y
~
i
=
r
i
⋅
y
i
,
r
i
∼
Bernoulli
(
p
k
ee
p
)
드롭아웃 마스크
수식 상세 →
기호를 클릭하면 의미를 볼 수 있습니다
r
i
r_i
r
i
p
k
e
e
p
p_{keep}
p
k
ee
p
단계별 설명
1
매 스텝마다 다른 서브네트워크가 활성화된다.
2
은닉층은 보통 p_keep=0.5, 입력은 0.8 근처.
관련 논문
dropout