분류 전체보기

Data Science/Statistics

[Python] 이상치(Outlier) 탐색을 위한 IQR(Interquartile Range)

주요 개념 이상치(Outlier) IQR(Interquartile Range) 이상치(Outlier)는 현재 가지고 있는 데이터 표본에 일관성 또는 연관성이 떨어지는 부분이다. 데이터 수집 장치 또는 수신부의 이상으로 인해 노이즈가 섞이는 경우 등 이런 이상치가 포함될 수 있다. 따라서 데이터를 정제하는 과정 중 이상치 제거는 필수적인 부분이다. EDA 과정 중 1차적으로 결측치와 이상치 등을 판단해 필터링을 수행해야 하는데, 이때 IQR(Interquartile Range)을 통해 이상치에 대한 판단을 할 수 있다. IQR은 분위(Quantile)라는 개념에 기초한다. 전체 데이터들을 오름차순으로 정렬하고, 정확히 4등분(25%, 50%, 75%, 100%)으로 나누는데 이 때 Q3(75%) - Q1(..

Data Science/Statistics

[Python] 분산 분석을 위한 ANOVA(Analysis Of Variance)

주요 개념귀무가설대립가설ANOVA(Analysis Of Variance, 분산 분석) ANOVA(Analysis Of Variance, 분산 분석)은 독립 변수가 하나이고 측정 집단이 3개 이상인 다수 집단의 평균(또는 산술 평균)에서 분산 값을 비교하는 데 사용되는 통계 공식이다.  A 그림: ANOVA 분석 결과, 그룹 사이의 차이가 없음B 그림: ANOVA 분석 결과, 그룹 사이의 유의한 차이가 존재 예를 들어, 과학자들은 다양한 당뇨병 약물의 효과를 연구할 목적으로 약물 유형과 그에 따른 혈당 수치 사이의 관계를 설정하고 실험하여 조사했다 가정한다. 이때 표본 집단은 사람들의 집합이다. 샘플 모집단을 여러 그룹으로 나누고 각 그룹은 시험 기간 동안 특정 의약품을 투여받는다. 시험 기간이 끝나면 각..

Data Science/Statistics

[Python] 결정계수 R2 score(R-squared)와 조정된 결정계수(Adjusted R-squared)의 이해

결정계수 - R2 score(R-squared)결정계수는 상관계수를 제곱한 값으로 보면 된다. 하지만 결정계수는 상관계수와 달리 변수간 영향을 주는 정도 또는 인과 관계의 정도를 정량화해서 나타낸 수치라는 것이다. 따라서, 결정계수는 상관 분석이 아닌 회귀 분석에서 사용하는 수치라고 할 수 있다. 결정 계수를 나타내는 R2 score(R-squared)는 회귀 모델의 성능에 대한 평가 지표이다.결정계수(R-squared)란 일반적으로 \( R^2 \)으로 표기된다. 회귀모델에서 독립 변수가 종속 변수를 얼마나 잘 설명해주는지 보여주는 지표이다. 결정계수가 높을수록 독립 변수가 종속 변수를 잘 설명한다는 뜻인데, 이때 독립 변수의 개수가 증가하면 함께 증가한다. 그러므로 결정계수에만 의존하여 회귀 모델을 ..

Data Science/Statistics

[Python] 길이가 다른 데이터 유사도 측정을 위한 DTW(Dynamic Time Warping)

DTW(Dynamic Time Warping, 동적 시간 워핑) DTW(Dynamic Time Warping, 동적 시간 워핑)란 두 개의 시계열이 존재할 때 상호 간 얼마나 유사한지 측정하기 위한 방식이다. 길이가 동일한 시계열의 유사도를 측정하는 방법은 다양하다. 코사인 유사도를 사용해도 되고, 유클리드 거리(Euclidean Distance)를 이용해 계산하면 유사도를 판단할 수 있다. 유클리드 거리는 두 점사이의 거리를 계산할 때 사용하는 방법인데 수식은 아래와 같다. $$ d = \sqrt{(a_1-b_1)^2+(a_2-b_2)^2+...+(a_n-b_n)^2} $$ 유클리드 거리는 계산이 쉽고 연산 속도가 빠르다는 장점이 있다. 하지만 유클리드 거리는 같은 시점의 거리를 계산하기 때문에 속도를..

Data Science/Statistics

[Python] 유클리드 거리(Euclidean Distance), 맨하탄 거리(Manhattan Distance), 해밍 거리(Hamming Distance)를 이용한 두 점 사이의 거리 구하기

주요 개념 유클리드 거리(Euclidean Distance) 맨하탄 거리(Manhattan Distance) 해밍 거리(Hamming Distance) 두 점 사이의 거리를 구하는 방법은 유사도(Similarity)와 관련이 있다. 거리가 가까울수록 해당 데이터가 가지고 있는 특징(feature)이 유사할 가능성이 크기 때문이다. 두 점사이 거리를 구하기 위한 대표적인 방법으로 아래 세 가지가 있다. 하지만 아래 방식들은 데이터의 차원과 요소 개수가 동일해야 한다. 유클리드 거리(Euclidean Distance) 우선 유클리드 거리(Euclidean Distance)는 아래 그림과 같이 계산할 수 있다. 피타고라스 정리와 크게 다르지 않다. 다만 차수가 많아져도 아래와 같이 계산할 수 있다. $$ d ..

Languages/JavaScript

[JavaScript] "?"의 기능들

1. 삼항 연산자(Ternary Operator) if-else 문으로 처리할 수 있지만 삼항 연산자를 사용하면 가독성은 떨어질 수 있지만 간결하게 표현이 가능하다. 브런치(Branch)문의 원래 기능처럼 런타임에 변수나 상태 등을 변경할 때 사용할 수 있다. const actions = ["Work", "Eat", "Leave"]; console.log(actions.includes("Eat") ? "Hamburger" : "Coding"); // "Hamburger" 2. 선택적 체인(Optional Chaining) 존재하지 않는 속성(property)을 호출하면 오류를 반환한다. 이때 오류가 아닌 undefined를 반환하도록 하는 선택적 체인(Optional Chaining) 방법이 있다. An..

AlienCoder
'분류 전체보기' 카테고리의 글 목록 (26 Page)
loading