5. 오차역전파법 (Backpropagation)

 

[5장] 오차역전파법 – 신경망 학습의 핵심 목차

    오차역전파는 왜 필요한가?

• 경사하강법과 기울기 계산의 어려움
• 역전파로 해결하는 방법

1. 계산 그래프와 연쇄법칙
   • 계산 그래프란? (덧셈/곱셈 노드로 쪼개기)
   • 순전파 vs 역전파
   • 연쇄법칙으로 국소 미분 곱하기
2. 역전파의 원리
   • 출력층에서 시작
   • 각 계층의 국소 미분 → 이전 계층으로 전달
   • 모든 가중치·편향의 기울기 계산
3. 주요 계층별 역전파
   • ReLU / Sigmoid: 활성화 계층
   • Affine: 완전연결층 (가중치, 편향, 입력의 기울기)
   • SoftmaxWithLoss: 출력층 + 손실 (y - t / N로 단순화)
4. 역전파 전체 흐름
   • SoftmaxWithLoss → Affine → 활성화 → 이전 계층 전달
   • 기울기 완성 후 경사하강법으로 가중치 갱신
5. 구현 관점에서 핵심
   • 계층 단위 구현: forward/backward
   • TwoLayerNet 조립: 계층 연결 + 기울기 계산
   • 학습 루프: 미니배치 → 순전파 → 역전파 → 파라미터 갱신
6. 신경망 학습 전체 그림 요약 + 핵심 요약
   • 연쇄법칙으로 국소 미분 곱하기
   • 계층별 책임 분리
   • SoftmaxWithLoss의 단순화된 역전파
   • Affine, ReLU, Sigmoid의 행렬 연산 기반 기울기 계산

오차역전파은 왜 필요할까?

• 4장에서 본 경사하강법은 ∂L/∂W (가중치에 대한 손실의 미분)이 필요하다.
• 하지만 신경망은 다층 구조 → 직접 미분하려면 너무 복잡하다. (수치 미분은 시간이 많이 걸림)
• 역전파(Backpropagation):
  • 연쇄법칙(Chain Rule)을 이용해 출력층에서 입력층으로 미분을 효율적으로 전달
  • 각 계층별 미분(국소적 미분)을 곱해 전체 미분을 계산

 

1. 계산 그래프와 연쇄법칙

계산 그래프란?

• 복잡한 연산을 덧셈/곱셈 노드로 쪼개 표현
• 순전파: 입력 → 출력 (계산 결과 구하기)
• 역전파: 출력 → 입력 (기울기 전파)

연쇄법칙 (Chain Rule)

• 여러 함수가 합성된 경우 미분은 국소적 미분을 곱해서 계산:

​

• → 이 원리로 층층이 역으로 미분을 전달

 

2. 역전파의 원리

1. 출력층에서 손실의 기울기 ∂L/∂y 를 시작점으로
2. 각 계층은 자신의 입력/출력 관계를 미분(국소 미분)
3. 기울기 전달: 이전 계층으로 곱해 전파
4. 최종적으로 모든 가중치·편향에 대한 미분 계산

 

3. 주요 계층별 역전파

(1) 활성화 함수 계층

ReLU

• 순전파: 0 이하 → 0, 그 이상 → 그대로.
• 역전파: 입력이 0 이하이면 기울기 0, 그 이상이면 그대로 통과.

Sigmoid

• 역전파:

 

(2) Affine 계층 (완전연결층)

• 순전파: 선형변환.
• 역전파:
  • 입력 x에 대한 기울기: ∂L / ∂x = ∂L / ∂y * W(T)
  • 가중치 W: ∂L / ∂W = x(T) * ∂L / ∂y​
  • 편향 b: 기울기의 합

배치 처리용 Affine

• 입력 X: (배치 × 입력차원), 가중치 W: (입력차원 × 출력차원)
• 역전파 시 행렬곱으로 한 번에 계산

 

(3) Softmax + Loss 계층 (출력 계층)

Softmax

​

• 확률로 해석 가능

Softmax + Cross-Entropy

• 역전파: (원-핫 레이블일 때) 배치처리 기준

​

→ 아주 간단한 기울기 값이 나온다(Softmax + Loss를 합치면 계산 단순화)

배치 사이즈 N 으로 나눠 주어야 배치크기가 달라도 gradient scale이 일정하고, 학습률 튜닝이 일관적일 수 있다.

(나누지 않으면 배치 합계에 대한 기울기가 되어버린다.)

 

 

4. 역전파의 전체 흐름

1. 출력층: Softmax + Loss → 기울기 계산 (y - t)
2. Affine 계층: 가중치, 입력, 편향의 기울기 계산
3. 활성화 계층: ReLU/Sigmoid 미분 적용
4. 이전 계층으로 전달
5. 모든 가중치에 대한 기울기 완성 → 경사하강법으로 갱신

 

5. 코드 구현 시 핵심 사항

(1단계) 계층 단위 구현 

목표: 각 층의 forward() / backward() 이해 & 구현

• Affine (완전연결층)
• ReLU / Sigmoid
• SoftmaxWithLoss (Softmax + CrossEntropy)

제일 중요한 단계로, 계층별 입출력과 기울기 흐름을 머릿속에 그릴 수 있어야 함

(2단계) 신경망 조립 (TwoLayerNet)

목표: 여러 계층을 리스트로 묶어서 한 네트워크로 동작시키기

• __init__()에서 Affine, ReLU, Affine, SoftmaxWithLoss 계층 생성
• predict() = 순전파 (학습 X)
• loss() = 순전파 + 손실값
• gradient() = 역전파로 모든 가중치 기울기 구하기

(3단계) 학습 루프 (Training Loop)

목표: 학습이 실제로 돌아가도록 구성.

• 미니배치 뽑기
• 순전파 → 손실 계산 → 역전파 → 기울기 계산
• 경사하강법(SGD)로 가중치 갱신
• 반복 → 손실 감소 & 정확도 상승 확인

# 순전파
for layer in layers:
    x = layer.forward(x)

# 역전파
grad = loss_layer.backward()
for layer in reversed(layers):
    grad = layer.backward(grad)

# 가중치 갱신
for layer in layers:
    if layer.has_params:
        layer.W -= lr * layer.dW
        layer.b -= lr * layer.db

 

 

 

신경망 학습의 전체 그림

한 눈에 이해를 돕기 위해 간략하게 그린 그래프입니다 * 틀린 부분이 있을 수 있어요 *

 

핵심 요약

• 연쇄법칙: 국소 미분을 곱해 전체 미분 계산
• 계층별 분리: 각 계층이 자신의 순전파/역전파 책임
• Softmax+CrossEntropy: 역전파가 깔끔하게(y-t)로 단순화됨
• Affine 계층: 가중치·입력·편향에 대한 미분을 행렬 연산으로 계산
• ReLU/Sigmoid: 활성화 함수에 따른 국소 미분 적용

즉, 오차역전파는 연쇄법칙을 이용해 계층별 국소 미분을 곱해 기울기를 효율적으로 구하는 방법이다.

 

계층별 역전파 방법 및 결과는 아래 블로그 참고 

https://sohyun119.tistory.com/133