Forward Propagation

순전파(Forward Propagation)와 오차 역전파(Backpropagation) 그리고 연쇄 법칙(Chain Rule)

순전파 (Forward Propagation) 순전파(Forward Propagation)란 입력 데이터가 신경망을 통과하면서 각 층의 가중치와 편향을 통해 연산되어 최종 출력에 도달하는 과정을 의미한다. 순전파의 목표는 주어진 입력에 따라 모델이 예측 값을 계산하는 것이다.기본적인 수식은 아래와 같다. $$ z^{(l)} = W^{(l)} a^{(l-1)} + b^{(l)} $$\(z^{(l)}\): \(l\)번째 층의 선형 결합 결과\(W^{(l)}\): \(l\)번째 층의 가중치 행렬\(a^{(l-1)}\): 이전 층의 활성화 값\(b^{(l)}\): \(l\)번째 층의 편향 벡터활성화 함수 \( \sigma \)를 적용하여 다음과 같이 출력 활성화 값을 얻을 수 있다. $$ a^{(l)} = \s..