딥러닝이나 머신러닝 모델을 다루다 보면 Logit(로짓)과 Odds(오즈)라는 용어를 자주 접하게 된다. 이 두 개념은 특히 분류 문제에서 모델의 예측 결과를 해석하거나 후처리하는 데 중요한 역할을 한다. 이 글에서는 logits와 odds의 정의부터 계산 방식, 그리고 실전 활용 예까지 정리하였다.
Odds(오즈)
Odds(오즈)는 어떤 사건이 일어날 확률 대비 일어나지 않을 확률의 비율이다. 확률과는 다른 개념으로, 주로 통계학과 로지스틱 회귀에서 사용된다. 정의는 다음과 같다.
$$ p(x) = wx+b $$
$$ \text{odds} =\frac{p(x)}{1-p(x)} $$
여기서 \( p \)는 특정 사건이 발생할 확률이다.
예제 1
\( p = 0.8 \)이라면 odds는 다음과 같다.
$$ \text{odds} = \frac{0.8}{1 - 0.8} = \frac{0.8}{0.2} = 4 $$
이는 사건이 발생할 가능성이 발생하지 않을 가능성보다 4배 크다는 의미이다.
예제 2
\( p = 0.5 \)라면 odds는 다음과 같다.
$$ \text{odds} = \frac{0.5}{1 - 0.5} = \frac{0.5}{0.5} = 1 $$
이는 발생/비발생 확률이 동일하다는 의미이다.
Logit(로짓)
Logit은 통계학에서 표준 로지스틱 분포의 분위수함수이며, 오즈비(odds ratio)의 자연로그이다. 즉, 로짓이란 오즈의 로그값이다. 로짓(logit)이란 말도 log + odds에서 나온 말이다. 딥러닝에선 주로 Softmax 또는 Sigmoid 함수에 입력되기 직전의 값으로 사용된다.
Odds에 log를 취하여 Logit을 구하는 것은 확률(\( p \))을 실수선 전역으로 확장하여, 선형 모델이 분류 문제를 다룰 수 있게 해준다는 의미가 있다. 즉, logit은 확률을 예측 가능한 연속적 수치로 바꾸는 핵심 도구이다.
- 확률(\( p \)): \( 0 < p < 1 \)
- Logit: \( -\infty < \text{logit}(p) < \infty \)
이를 통해 선형 회귀처럼 출력값이 제한 없는 모델에서도 확률 기반 분류 문제를 처리할 수 있게 해준다.
Logit의 수식은 다음과 같이 정의할 수 있다.
$$ \text{logit}(p) = log \left( \frac{p}{1-p} \right) = log(odds) = z $$
여기서 \( p \) 는 어떤 클래스에 속할 확률이며, logit은 이 확률을 log(odds)로 변환한 값이다. 다중 분류(multi-class classification)에서는 softmax 전에 나오는 각 클래스에 대한 실수 값 출력 벡터가 logit이다.
여기서 반대로 오즈는 로짓의 지수(exp)를 취하면 되면 다음과 같다.
$$ \text{odds} = e^{\text{logit}(p)} $$
다시 말해, 오즈는 확률을 로그로 변환한 logit 값을 다시 원래대로 복원한 값이라는 뜻이다.
Sigmoid(시그모이드)
이진 분류에 자주 사용되는 Sigmoid 함수는 로짓 함수의 역함수이다.
Logit을 자연로그로 표현하면 다음과 같다.
$$ \text{logit}(p) = \ln\left( \frac{p}{1 - p} \right) = L $$
여기서 역함수를 만들면 다음과 같다. 이는 Sigmoid 함수의 형태이기도 하다.
$$ p = \frac{e^L}{1 + e^L} = \frac{1}{1 + e^{-L}} $$
예제
이진 분류 모델(여기선 Sigmoid 사용)을 사용한다고 가정한다. Sigmoid의 정의는 다음과 같다.
$$ p = \sigma(z) = \frac{1}{1 + e^{-z}} $$
여기서 \( z \)는 logit값이다.
모델 출력이 logit = 2.197 일 때 다음과 같다.
$$ \sigma(z) = \frac{1}{1 + e^{-2.197}} \approx 0.9 $$
$$ \text{odds} = \frac{0.9}{0.1} = 9 $$
따라서 이 클래스일 가능성이 아닐 가능성보다 9배 높다는 뜻이다.
관련 포스팅
참고 자료
https://www.linkedin.com/pulse/understanding-sigmoid-function-logistic-regression-piduguralla/
https://en.wikipedia.org/wiki/Sigmoid_function
