본문 바로가기

전체 글93

역전파 계산 방법 및 주요 계층별 순전파 & 역전파 1. 기본 연산 노드2. 주요 계층핵심 요약연쇄법칙: 상류 기울기 × 국소 미분 → 하류 전달Affine: 입력/가중치/편향 기울기 행렬 연산으로 계산ReLU/Sigmoid: 활성화 함수별 국소 미분 적용Softmax+Loss: 역전파가 y−ty - ty−t로 단순화 2025. 7. 25.

5. 오차역전파법 (Backpropagation) 더보기 [5장] 오차역전파법 – 신경망 학습의 핵심 목차 오차역전파는 왜 필요한가?경사하강법과 기울기 계산의 어려움역전파로 해결하는 방법계산 그래프와 연쇄법칙계산 그래프란? (덧셈/곱셈 노드로 쪼개기)순전파 vs 역전파연쇄법칙으로 국소 미분 곱하기역전파의 원리출력층에서 시작각 계층의 국소 미분 → 이전 계층으로 전달모든 가중치·편향의 기울기 계산주요 계층별 역전파ReLU / Sigmoid: 활성화 계층Affine: 완전연결층 (가중치, 편향, 입력의 기울기)SoftmaxWithLoss: 출력층 + 손실 (y - t / N로 단순화)역전파 전체 흐름SoftmaxWithLoss → Affine → 활성화 → 이전 계층 전달기울기 완성 후 경사하강법으로 가중치 갱신구현 관점에서 핵심계층 단위 구현: fo.. 2025. 7. 25.

4. 신경망 학습 1. 학습이란?학습이란? 가중치 매개변수의 최적값을 자동으로 획득하는 것을 뜻한다.신경망이 학습할 수 있도록 해주는 지표 중 하나가 손실함수이다.목표: 손실함수의 결과값이 가장 작게 되는 신경망의 가중치 매개변수 찾기학습 과정:순전파(Forward): 입력 → 출력 → 손실 계산손실함수(Loss): 예측과 정답 차이 계산기울기(Gradient): 손실을 줄이는 방향 탐색가중치 갱신: 경사하강법으로 조금씩 업데이트 2. 손실 함수 (Loss Function)신경망이 얼마나 정답과 멀리 있는지를 수치로 표현하는 함수이다.예측이 완벽 = 손실값이 0 (1) 오차 제곱합 (SSE)회귀 문제에서 주로 사용(2) 교차 엔트로피 오차 (Cross-Entropy Error)분류 문제에서 주로 사용원-핫(one-hot).. 2025. 7. 25.

3. 신경망 신경망이란?퍼셉트론(Perceptron)에서 확장된 모델 → 여러 층(Layer)을 쌓아 복잡한 문제를 해결머신러닝의 문제 풀이는 크게 학습(Training) + 추론(Inference) 으로 나뉨학습: 가중치와 편향을 데이터로부터 최적화.추론: 학습된 모델을 사용해 새로운 데이터의 출력을 계산.각 층의 신호 전달 (순전파, Forward Propagation)입력값 x가 가중치 W 와 편향 b를 거쳐 활성화 함수 f 로 변환됨:이를 층(layer)마다 반복 → 최종 출력. 활성화 함수 (Activation Function)비선형 함수 → 층을 깊게 쌓을 때 복잡한 패턴 학습 가능.1. 계단 함수 (Step Function) 초기 퍼셉트론에서 사용.단점: 미분 불가능, 학습에 부적합.2. 시그모이드 함수.. 2025. 7. 25.

2. 퍼셉트론 퍼셉트론(인공뉴런) 이란? 다수의 신호를 입력으로 받아 하나의 신호를 출력하는 것이다.퍼셉트론은 계단함수 형식으로 구성된다. w : 가중치, 각 신호의 영향력의 제어b : 편향, 뉴런이 얼마나 쉽게 활성화 되는지, 결정경계(Decision Boundary)를 평행이동시킴 단층 퍼셉트론선형적으로 분리 가능한 문제만 풀 수 있음1층으로만 이루어진 퍼셉트론(ex) AND, OR, NAND다층 퍼셉트론비선형, 층을 쌓아야만 해결가능하다.(ex) XOR (베타적 논리합)이론적으로는 다층 퍼셉트론을 이용하면 컴퓨터를 만들 수 있다. AND 함수 구현하기def AND(x1, x2): x = np.array([x1, x2]) w = np.array([0.5, 0.5]) b = -0.7 tmp = np.sum(w*x).. 2025. 7. 25.

신경망 학습에 필요한 함수들 지금까지 퍼셉트론, 신경망에 대해 배우고 이제 신경망 학습의 대략적인 방향에 대해 배웠다. 신경망 학습을 위해 중요한 사실들이 많지만, 그건 다른 페이지에서 정리해보도록 하고 큰 흐름은 아래와 같다. "미니배치로 데이터 뽑기 → 손실함수로 기울기 계산 → 경사하강법으로 가중치 갱신 → 반복" 여기에선 신경망 학습을 코드로 구현함에 있어 필요한 함수들을 총 정리해 보려고 한다. 1. 데이터 처리get_mini_batch()데이터셋에서 무작위로 일부 데이터를 뽑아오는 함수입력: 전체 데이터 (x, t), 배치 크기출력: x_batch, t_batch2. 순전파 (Forward propagation)predict(x)입력 데이터를 넣었을 때 출력 y를 계산내부적으로: A=XW+B → Z=f(A) →Y = s.. 2025. 7. 24.

이전 1 2 3 4 ··· 16 다음

티스토리툴바