3. 신경망

신경망이란?

• 퍼셉트론(Perceptron)에서 확장된 모델 → 여러 층(Layer)을 쌓아 복잡한 문제를 해결
• 머신러닝의 문제 풀이는 크게 학습(Training) + 추론(Inference) 으로 나뉨
  • 학습: 가중치와 편향을 데이터로부터 최적화.
  • 추론: 학습된 모델을 사용해 새로운 데이터의 출력을 계산.

각 층의 신호 전달 (순전파, Forward Propagation)

• 입력값 x가 가중치 W 와 편향 b를 거쳐 활성화 함수 f 로 변환됨:

• 이를 층(layer)마다 반복 → 최종 출력.

 

활성화 함수 (Activation Function)

• 비선형 함수 → 층을 깊게 쌓을 때 복잡한 패턴 학습 가능.

1. 계단 함수 (Step Function)

 

• 초기 퍼셉트론에서 사용.
• 단점: 미분 불가능, 학습에 부적합.

2. 시그모이드 함수 (Sigmoid)

• 0~1 사이의 연속적인 값.
• 확률적 해석 가능.
• 단점: 입력이 크거나 작으면 기울기(Gradient) 소실.

3. ReLU (Rectified Linear Unit)

• 간단하고 학습이 빠름.
• 최근 신경망에서 기본 활성화 함수로 사용.

 

다차원 배열과 행렬 연산

• 배치 처리: 한 번에 여러 입력 데이터를 묶어 계산 → 속도 향상.
• 브로드캐스팅: 차원이 다른 배열도 자동 확장해 연산 가능.
• 행렬 곱: 다수의 뉴런·다수의 입력을 한 번에 처리:

• X: 입력 데이터 (배치 × 특징수)
• W: 가중치 (특징수 × 뉴런수)

 

출력층의 설계

 

<분류 문제>
: 소프트맥스(Softmax) 함수 사용 → 각 클래스의 확률 출력

출력 합이 1, 확률로 해석 가능

 

 

<회귀 문제>

• 활성화 함수 없이 그대로 출력.

 

 

신경망의 활용

• 분류(Classification)
  • 이미지 인식, 텍스트 분류 등
  • 출력층에서 소프트맥스 + 교차엔트로피 손실 사용
  • 출력층의 뉴런 수 = 분류하려는 클래스 수 
• 회귀(Regression)
  • 연속값 예측
  • 활성화 없이 MSE(평균제곱오차) 손실.

 

핵심 흐름 정리

1. 입력 → 가중합 → 활성화 → 층 전달
2. 출력층에서 목적에 맞게 변환 (분류: Softmax / 회귀: 그대로)
3. 학습 & 추론으로 나누어 모델을 운용함

 

 

따라서 신경망은 “가중치·편향 + 활성화 함수”를 층층이 쌓아 복잡한 패턴을 학습하고, 분류·회귀 문제를 해결한다.