Paper Understanding
Papers
Concepts
Formulas
KO
EN
add_norm
Add & Activate (ResNet 블록)
y
=
R
e
L
U
(
F
(
x
)
+
x
)
y = \mathrm{ReLU}(F(x) + x)
y
=
ReLU
(
F
(
x
)
+
x
)
Add & Activate (ResNet 블록)
수식 상세 →
기호를 클릭하면 의미를 볼 수 있습니다
F
(
x
)
+
x
F(x)+x
F
(
x
)
+
x
R
e
L
U
ReLU
R
e
LU
단계별 설명
1
논문 Fig.2 스타일: 두 Conv 뒤 Skip을 더하고 ReLU.
2
Transformer의 LayerNorm(x+Sublayer(x))와 같은 잔차 철학.
관련 논문
resnet
transformer