Paper Understanding
Papers
Concepts
Formulas
KO
EN
bn_running
BN Running Statistics
μ
r
u
n
n
i
n
g
=
(
1
−
α
)
μ
r
u
n
n
i
n
g
+
α
μ
B
\mu_{running}=(1-\alpha)\mu_{running}+\alpha\mu_\mathcal{B}
μ
r
u
nnin
g
=
(
1
−
α
)
μ
r
u
nnin
g
+
α
μ
B
BN Running Statistics
수식 상세 →
기호를 클릭하면 의미를 볼 수 있습니다
μ
r
u
n
n
i
n
g
\mu_{running}
μ
r
u
nnin
g
α
\alpha
α
단계별 설명
1
추론 시 배치에 의존하지 않도록 running 통계를 쓴다.
2
훈련 분포와 running이 어긋나면 train/eval 갭이 생긴다.
관련 논문
batchnorm