분류 전체보기

Languages/Python

[Python Error] Json 데이터 파싱(parsing) 에러 - JSONDecodeError

Error: json.decoder.JSONDecodeError: Expecting property name enclosed in double quotes: line 1 column 366 (char 365) Json으로 데이터를 load하여 parsing할 때 발생할 수 있는 에러이다. api의 결과값을 잘 가져와 값을 수신한 것처럼 보이는데 막상 json.loads로 파싱해보면 에러가 나는 경우가 많다. 위의 에러 또한 json 데이터를 파싱할 때 나온 에러이다. 직관적으로 해당 string 데이터의 해당 위치의 +- 5 이내로 print하여 보면 어떠한 문자가 빠졌는지 알 수 있다. 하지만 나는 json 데이터 사용에 익숙하지 않아서인지 이 방식만으로는 아래와 같이 출력되어 발견하기 힘들었다. pr..

etc

티스토리 수학기호 입력하는 방법 (with MathJax)

1. script코드 입력하기- 블로그 관리 - 왼쪽 바에서 꾸미기 -> 스킨 편집 - html - script 코드 삽입 위 스크립트 코드는 html의 head 태그 안에 작성하면 된다. MathJax는 수학기호 입력을 위한 LaTex를 사용하게 해주는 JavaScript 라이브러리이다. 2. 수식 입력하기$$ math(\displaystyle F\left(s\right) = \mathcal{L}\left\{ f\right\} \left(s\right) \equiv \int_{0}^{\infty}e^{-st}f\left(t\right)dt) $$ 위와 같이 $$ 기호 사이에 수식을 적으면 된다.여러 기호가 많이 들어가 있는 라플라스 변환을 표현해 보았다.$$ math(\displaystyle F\lef..

Data Science/Statistics

[Python] 정상성(Stationarity) 데이터를 얻기 위한 로그 변환(Log transformation)과 차분(Differencing)

정상성(Stationarity)정상성(Stationarity)이란 언제 관측되는지에 관계없이 어떤 시점에 관찰하더라도 예측할 수 있는 패턴을 발견할 수 없는 것을 뜻한다.정상성에 대한 자세한 사항은 여기를 참조하면 된다. 로그 변환(Log Transform)비정상성 시계열을 정상성으로 변환하는 방법은 로그 변환(Log Transformation)과 차분(Differencing) 2가지가 있다.우선 로그 변환(Log Transformation)이란 변동폭이 일정하지 않은 경우 사용할 수 있는데 일반적인 수학의 x를 log(x)로 바꾸는 변환 방식이다. 로그 변환은 원본 데이터의 왜곡을 줄이거나 제거하는데 여기서 주의할 점은 원 데이터가 로그 정규 분포를 따르거나 대략 따라줘야 한다. 그렇지 않으면 로그 변..

Data Science/Statistics

[Python] 정상성(Stationarity)과 비정상성(Non-Stationary)

시계열 데이터(Time Series Data)정상성과 비정상성에 대한 구별에 앞서 시계열 데이터의 특징에 대해 간략하게 알고 넘어가는 것이 좋다. 시계열 데이터에 대한 대표적인 특징은 아래와 같다.Trend(추세성)Seasonality(계절성)Aberration(이변성)Volatility(변동성)Non-linearity(비선형성)시계열 데이터는 크게 정상성 데이터와 비정상성 데이터로 나눌 수 있다. 정상성(Stationarity)정상성(Stationarity)이란 사전적 정의로는 일정하여 늘 한결같은 성질을 의미한다. 시계열 데이터를 다룰 때 정상성 데이터는 해당 데이터가 관측된 시간과 무관한 데이터를 뜻한다. 직관적으로 보자면 데이터의 분포에서 평균과 분산이 일정하면 정상성이라고 볼 수 있다.  예를 ..

Data Science/Statistics

귀무가설(Null Hypothesis) vs 대립가설(Alternative Hypothesis), 그리고 p-value(유의확률)

주요 개념귀무가설(Null Hypothesis)대립가설(Alternative Hypothesis) 귀무가설(H0)은 영 가설이라고도 한다. 통계학에서 처음부터 버릴 것이라 생각하고 설정하는 가설이다.반대로 대립가설(H1)은 귀무가설이 기각되었을 때 자동으로 참이 되는 가설을 뜻한다.기본적으로는 참으로 추정하고 이를 기각하기 위해서 증거가 필요하다.예를 들어 "재실자수 증가는 이산화탄소 수치의 증가에 영향을 끼치지 않는다."라는 귀무가설이 있다고 하자. H0 = 귀무가설,μ1 = 이산화탄소 수치,μ2 = 재실자 수 이면H0 : μ1∝1/μ2 이다. 그렇다면 이 상황에선 "재실자수 증가는 이산화탄소 수치에 영향을 끼친다."가 대립가설이 되고 이는 연구자가 연구를 통해 입증되기를 기대하는 예상이나 주장하는 내..

Data Science/Statistics

CDA(Confirmatory Data Analysis)와 EDA(Exploratory Data Analysis)를 통한 데이터 분석

CDA(Confirmatory Data Analysis)와 EDA(Exploratory Data Analysis)는 데이터 분석을 위한 2가지 방법이다.따라서 이러한 과정들을 토대로 데이터의 유의미한 패턴을 찾아 인사이트를 도출할 수 있다.  CDA(Confirmatory Data Analysis)우선 CDA(Confirmatory Data Analysis)는 확증적 데이터 분석인데 가설을 세운 후 이를 데이터를 통해 검증하는 방식이다.목적을 가지고 데이터를 확보하여 분석하는 방법관측된 형태나 효과의 재현성 평가, 유의성 검정, 신뢰구간 추정 등 통계적 추론을 하는 단계가설검정, 보통은 설문조사, 논문에 대한 내용을 입증하는데 많이 사용 따라서 사회과학에서 많이 사용되는 연역적 방법과 같이 선이론-후조사..

AlienCoder
'분류 전체보기' 카테고리의 글 목록 (30 Page)
loading