Data Science/ML & DL
Local Minima Problem(지역 최소 or 지역 극소 문제)
Local Minima Problem(지역 최소 or 지역 극소 문제)는 최적화 과정에서 손실 함수의 Global Minima에 도달한 것이 아니지만 현재 위치 주변에서 더 나아가기도 어려운 위치를 의미한다. 손실 함수가 매우 복잡하고 비선형일 때, 특히 여러 층을 가진 심층 신경망에서는 손실 함수의 표면에 여러 지역 최소값이 형성될 수 있다. 모델이 이 지점에 도달하면 기울기가 거의 0에 가까워져서 학습이 정체되거나 더 나은 최적점을 찾기 어렵게 된다.발생 원인은 다음과 같다.비선형 구조: 심층 신경망은 비선형 활성화 함수를 사용하기 때문에 손실 함수가 복잡해지고, 그 결과 지역 최소값 문제가 발생할 수 있다.고차원 매개변수 공간: 신경망이 깊어질수록 매개변수 공간이 고차원이 되며, 이는 손실 함수 표..
