MLE

[Python] 로지스틱 회귀(Logistic Regression)와 이진 교차 엔트로피(Binary Cross Entropy)의 이해와 구현

2022.03.02

주요 개념분류 알고리즘로지스틱 회귀(Logistic Regression)비용 함수 or 손실 함수(Cost Function or Loss Function)이진 교차 엔트로피(Binary Cross Entropy)경사 하강법(Gradient Descent)지역 최소(Local Minimum) 로지스틱 회귀(Logistic Regression) 로지스틱 회귀(Logistic Regression)는 범주형 변수를 예측하기 위해 설계된 알고리즘으로 선형 회귀 모델을 변형하여 확률 기반의 예측을 수행한다. 주로 이진 분류(binary classification) 문제에 사용되지만 다중 범주형 변수도 예측할 수 있다. 예를 들어 "합격/불합격", "스팸/비스팸", "긍정/부정"과 같은 이진 분류 문제 외에도 다중 ..

Data Science/Data Analysis

[Python] 최대 우도(가능도) 추정(Maximum Likelihood Estimation, MLE)과 우도 함수(Likelihood Function)

2022.01.10

주요 개념최대 우도 추정(Maximum Likelihood Estimation)우도 함수(Likelihood Function) 최대 우도(Maximum Likelihood)란 도출된 결과의 각 가설마다 계산된 가능도(우도) 값 중 가장 큰 값을 말한다. 즉 발생할 확률이 가장 큰 가설이라 할 수 있다. 하지만 만약 모수가 알려지지 않은 어떤 \( \theta \)인 확률분포가 있다면 여기서 뽑은 표본들을 이용해 \( \theta \)를 추정할 수 있다. 이를 최대 우도 추정(Maximum Liklihood Estimation, MLE)라고 한다. 우도 또한 정확한 수치가 아닌 추정에 가깝기 때문에 이러한 방식을 적용하기에 적절하다 볼 수 있다. 가장 대표적인 예시인 동전던지기를 예를 들어보자. 만약 10..

[Python] 로지스틱 회귀(Logistic Regression)와 이진 교차 엔트로피(Binary Cross Entropy)의 이해와 구현

[Python] 최대 우도(가능도) 추정(Maximum Likelihood Estimation, MLE)과 우도 함수(Likelihood Function)

티스토리툴바