Deep Residual Learning — ResNet

ImageNet 2015·COCO를 석권했고, 이후 거의 모든 딥러닝 아키텍처에 잔차 연결이 표준이 됩니다. Transformer의 Add & Norm도 같은 아이디어의 직계입니다.

30초 비유

계단을 아주 높이 쌓을수록 오히려 더 자주 헛디딥니다(층이 깊어질수록 학습이 나빠지는 “저하” 현상). 해결책: 각 층에게 결과를 처음부터 새로 만들지 말고, 이전 결과에 살짝 고칠 부분(잔차)만 배우게 하고, 원본은 지름길로 그대로 통과시킵니다.

무엇을 제안했나

• 잔차 블록 — 층의 출력을 H(x) = F(x) + x 로. 층은 차이 F(x) 만 학습.
• Skip Connection — 입력 x 를 몇 층 건너뛰어 그대로 더함.

그래서 무엇이 달라졌나

• 100층, 152층짜리 네트워크도 안정적으로 학습됨 (그 전엔 20층만 넘어도 악화).
• 기울기가 지름길을 타고 잘 흘러 사라지지 않음. 이 “잔차 스트림” 아이디어는 Transformer 안에도 그대로 들어 있습니다.

더 공부할 가치가 있을까?

• 필수 — 이미지 인식이나 신경망 아키텍처를 다룬다면. 거의 모든 현대 CNN·Vision Transformer의 기본 골격.
• 묶어 볼 것 — BatchNorm과 함께 보면 “깊은 망을 어떻게 학습시키나”가 한 그림으로 정리됩니다.

직관적으로 층이 많을수록 더 복잡한 패턴을 배워야 합니다. 그런데 실험에서는 56층이 20층보다 나빴고, 테스트뿐 아니라 훈련 오류도 더 높았습니다. 단순 과적합이 아니라 최적화 실패입니다.

이론적 하한: 깊은 넷은 얕은 넷의 해를 포함해야 합니다(추가 층을 항등함수로 두면 됨). 그런데 SGD는 그 해를 잘 못 찾습니다.

기울기 소실: 층을 거칠수록 곱이 쌓여 앞쪽 기울기가 지수적으로 작아질 수 있습니다.

기존: 목표 매핑 H(x)를 직접 학습.

ResNet: 잔차 F(x)=H(x)−x 만 학습하고, 출력은 H(x)=F(x)+x.

• 항등이 최적이면 F(x)→0 이면 됨 (가중치를 0으로)
• H(x)=x를 직접 맞추는 것보다 훨씬 쉬움
• 기울기에 +1 항이 생겨 고속도로가 생김

BasicBlock (ResNet-18/34)

3×3 Conv → BN → ReLU → 3×3 Conv → BN → + Skip → ReLU

Bottleneck (ResNet-50/101/152)

1×1(축소) → 3×3 → 1×1(복원) → + Skip. 채널을 줄였다가 되돌려 연산량↓·깊이↑.

Projection Shortcut

차원이 안 맞으면 Skip에 1×1 Conv를 넣어 맞춥니다.

• ILSVRC 2015 분류 1위
• COCO 탐지/분할 1위
• ImageNet Detection·Localization 1위

직접적 영향

• 150층+ 초심층 학습이 현실화
• BN + Residual 조합이 표준화

파생

• WideResNet, DenseNet, SENet, EfficientNet, U-Net skip 등

Transformer

• Add & Norm = LayerNorm(x + Sublayer(x)) — ResNet 잔차의 직계
• ViT는 같은 잔차를 쓰되, JFT 규모에서는 CNN 귀납적 편향이 필수가 아님을 보임

• 학습 시 활성화 저장으로 메모리 부담 → Gradient Checkpointing
• 고정 깊이 → 동적 깊이 연구
• Pre-Activation ResNet: BN→ReLU→Conv 순서로 성능 향상