주요 개념단순 선형 회귀(SLR)다중 선형 회귀(Multiple Linear Regression, MLR)경사 하강법(Gradient Descent) 다중 선형 회귀(Multiple Linear Regression, MLR)는 단순 선형 회귀(SLR)와 달리 여러 입력변수가 들어간다. 따라서 다중 선형 회귀는 시각적으로 표현하기 힘들다. 하지만 시각화만 못할 뿐이지 기본 개념은 이전과 같다. 다중 선형 회귀를 이용해 도출되는 방정식은 아래와 같다.$$ f(x)=w_{n}x_{n}+w_{n-1}x_{n-1}+...+w_2x_2+w_1x_1+b $$늘어난 입력 변수와 그에 따른 가중치의 개수가 늘어난 것 외에 큰 차이는 없다. 단지 입력 변수가 많은 일차 함수일 뿐이다. 결국 최적의 가중치와 편향 값을 경사..
주요 개념상관관계 분석(correlation analysis)회귀 분석(Regression Analysis)선형 회귀(Linear Rregression) 대표적인 데이터 분석 방법으로 예측에 이용되는 회귀 분석(Regression Analysis)과 상관계수를 이용한 상관관계 분석(Correlation analysis)이 있다.연속형 또는 순위 자료로 이루어진 두 변수간 상호 관계 정도를 알아보고자 할 때는 상관관계 분석(correlation analysis)을 이용두 변수간 인과 관계와 같이 한 변수가 다른 변수에 주는 영향력을 알아보고자 할 때는 회귀 분석법(regression analysis)을 이용 그중 선형 회귀(Linear Rregression)는 종속 변수 y와 한 개 이상의 독립 변수 x와..
회귀분석을 하며 여러 모델들을 만들고 실제 성능이 어느정도인지 판단하기 위한 지표들이 필요하다.위 9가지 방식의 특징을 알아보려 한다. 아래 수식들의 n은 모두 데이터 수를 의미한다. 1. ME(Mean of Error)ME(Mean of Error)는 평균 제곱 오차를 의미한다. 예측오차의 산술평균을 의미하고 다음과 같이 산정된다. $$ ME=\frac{\sum_{i=1}^n{e_i}}{n}=\frac{\sum _{i=1}^n\left(Y_i-\hat{Y_i}\right)}{n} $$ def ME(y, t): return (y-t).mean(axis=None) 2. MAE(Mean Absolute Error)MAE(Mean Absolute Erro)는 예측값과 실제값의 모든 차이의 합이다. 인간이..
최소 자승법(LSM or OLS)최소 제곱법, 최소 자승법, Least Square Method(LSM), Ordinary Least Square(OLS) 모두 같은 말이다. 최소자승법(Least Square Method)은 모델의 파라미터를 구하기 위한 대표적인 방법 중 하나로서 모델과 데이터와의 잔차(residual) 제곱 합 또는 평균을 최소화하도록 파라미터를 결정하는 방법이다.가장 간단한 관계식 \(f(x) = \beta x+\alpha\)이고, \( y_i = \alpha+\beta x_i+u_i \)가 있다고 가정한다. 위의 그래프 주어진 데이터 산포도를 그리고 임의의 회귀식(y=x, y=x+2, y=2x+1)을 그래프에 그린 것이다. 이 중 y+2를 기준으로 설명하자면 따라서 \( \alp..
회귀 분석을 수행하며 자주 보이는 r2 score와 관련된 지표인 SST, SSE, SSR이 가지는 의미에 대해 살펴본다.SST는 총 제곱합, SSR은 회귀식 추정 값과 관측값의 평균 간 차이인 회귀 제곱합을 나타낸다. SSE는 잔차 제곱합이다. 경우에 따라 SSE와 SSR을 바꿔 표기하는 경우도 있는데 이때 식을 잘 봐야 한다. 수식에 사용되는 값은 아래와 같다.\( {y}_i \): 관측값\( \overline{y} \): 관측값의 평균\( \hat{y_i}\): 예측값 SST(Total Sum of Squares)우선 SST(Total Sum of Squares)는 관측값에서 관측값의 평균(혹은 추정치의 평균)을 뺀 결과의 총합인 총 제곱합이다. 이는 전체(Total)에 대한 변동성을 나타낸다. 그..
모든 데이터를 하나의 회귀식으로 설명하기는 힘들다. 또한 절대적인 회귀식을 도출하는 것도 쉽지 않다. 일반적으로 표본이란 것 자체가 대표성을 갖긴 하지만 모집단 그 자체가 될 순 없기 때문이다. 그러므로 관측값과 기댓값의 차이를 어느 정도 인정하고 진리에 가까울 것으로 추정되는 회귀식을 도출한다. 이때 차이를 의미하는 단어들이 있다. 편차(Deviation)와 표준편차(SD, Standard Deviation) 우선 편차(deviation)는 관측치가 평균으로 부터 떨어져 있는 정도, 즉 평균과 관측치와의 차이를 의미한다. 이 중 표준편차(SD, Standard Deviation)는 이러한 편차들의 평균값으로 평균으로부터 얼마나 떨어져 있는가에 대한 정보를 제공한다. 또한 표준편차를 통해 관측값들이 집합..
