Gradient Exploding

Data Science/ML & DL

기울기 소실(Gradient Vanishing)과 기울기 폭주(Gradient Exploding)

기울기 소실(Gradient Vanishing)과 기울기 폭주(Gradient Exploding)는 딥러닝 모델의 학습 과정에서 자주 발생하는 문제로, 특히 역전파 과정에서 기울기가 지나치게 작아지거나 커지는 현상을 의미한다. 이러한 문제들은 주로 깊은 신경망(Deep Neural Networks)이나 순환 신경망(RNN)에서 발생한다. 이 두 가지 현상은 가중치 업데이트가 효과적으로 이루어지지 않아 학습 속도를 늦추거나 학습이 제대로 이루어지지 않게 만드는 원인이 된다. 이러한 이유로 결국 모델이 최적해에 도달하지 못하게 만든다.  기울기 소실(Gradient Vanishing)기울기 소실 (Gradient Vanishing)은 역전파(Backpropagation) 과정에서 기울기가 점점 작아져, 초기..

Data Science/ML & DL

순전파(Forward Propagation)와 오차 역전파(Backpropagation) 그리고 연쇄 법칙(Chain Rule)

순전파 (Forward Propagation) 순전파(Forward Propagation)란 입력 데이터가 신경망을 통과하면서 각 층의 가중치와 편향을 통해 연산되어 최종 출력에 도달하는 과정을 의미한다. 순전파의 목표는 주어진 입력에 따라 모델이 예측 값을 계산하는 것이다.기본적인 수식은 아래와 같다. $$ z^{(l)} = W^{(l)} a^{(l-1)} + b^{(l)} $$\(z^{(l)}\): \(l\)번째 층의 선형 결합 결과\(W^{(l)}\): \(l\)번째 층의 가중치 행렬\(a^{(l-1)}\): 이전 층의 활성화 값\(b^{(l)}\): \(l\)번째 층의 편향 벡터활성화 함수 \( \sigma \)를 적용하여 다음과 같이 출력 활성화 값을 얻을 수 있다. $$ a^{(l)} = \s..

AlienCoder
'Gradient Exploding' 태그의 글 목록
상단으로
loading

티스토리툴바