Learning Representations by Back-Propagating Errors

30초 비유

시험을 망쳤을 때, 어느 공부 습관이 몇 점씩 깎아먹었는지 뒤에서부터 되짚어 책임을 배분합니다. 신경망도 출력의 오차를 마지막 층에서 첫 층 쪽으로 거꾸로 흘려보내며, 각 가중치가 오차에 얼마나 기여했는지 계산합니다.

무엇을 제안했나

• 연쇄 법칙의 체계적 적용 — 합성함수의 미분을 층마다 이어 붙여 계산.
• forward에서 값 저장 → backward에서 재사용 — 그래서 전체 비용이 “가중치 수에 비례(O(W))”로 끝남.

그래서 무엇이 달라졌나

• 다층 신경망을 실제로 학습시킬 수 있게 됨(1986년).
• 오늘날 PyTorch·JAX·TensorFlow의 autograd가 바로 이 알고리즘.

더 공부할 가치가 있을까?

• 근본 필수 — 딥러닝을 한다면 반드시 한 번은 손으로 유도해 봐야 합니다. 기울기 폭발/소실, 그래디언트 체크 등 실전 문제의 뿌리입니다.

Minsky & Papert(1969)는 단층 퍼셉트론이 XOR을 풀 수 없음을 보였습니다. 다층망이 필요하지만, 은닉 가중치를 어떻게 고칠지 방법이 없었습니다.

핵심 질문: 출력 오차가 내부 가중치에 얼마나 기인하는가? (신용 할당)

표기: $z_l = W_l a_{l-1} + b_l$, $a_l = \sigma(z_l)$, 예측 $\hat{y}=a_L$, 손실 $L(\hat{y}, y)$.

출력에서 입력 방향으로 오차 신호 $\delta$를 흘립니다. 각 층의 기울기는 $\delta$와 이전 활성의 외적으로 나옵니다.

역전파의 수학적 핵심은 합성함수 미분입니다. 중간 결과를 재사용하므로 전체 비용이 순전파와 같은 O(W) 차수가 됩니다.

현대 프레임워크는 연산을 그래프로 기록합니다. 노드=연산, 엣지=텐서. loss.backward()는 그래프를 역순회하며 국소 미분을 누적합니다.

논문의 대표 예: 2–2–1 망으로 XOR을 학습. 은닉층이 유의미한 중간 표현을 자동으로 만듭니다 — 표현 학습의 출발점.

한계

• 순전파 중간 활성 메모리 필요 (Gradient Checkpointing으로 완화)
• 그래프를 역순으로만 처리

대안 연구

Forward-Forward (Hinton 2022), Equilibrium Propagation, PEPITA 등 — 아직 역전파가 표준입니다.

의의

은닉층 학습 가능성을 증명하고, 37년 넘게 딥러닝 학습의 사실상 유일한 표준으로 남았습니다.