Cross Entropy와 KL(Kullback–Leibler) Divergence는 머신 러닝과 딥러닝 분야뿐만 아니라 여러 분야에서 사용된다. 특히 분류 문제나 확률 분포를 다루는 모델에서 자주 등장하는 개념이다. 두 개념 모두 확률 분포 간의 차이(Divergence)를 측정하는 방법이라는 공통점이 있지만 목적과 수식 구조, 해석 관점에서는 차이가 있다. 위 주요 개념들에 대해 살펴보기 전에 정보량과 Entropy가 무엇인지 알고 넘어가자. 정보량(Information Quantity)정보량(Information Quantity)이라는 개념은 다소 추상적으로 느껴지지만, 실제로는 매우 논리적인 수식으로 설명이 가능하다. 정보량을 직관적 이해해 보자. 예를 들어, 어떤 사람이 대학교에서 수업에 지각했..
LTI(Linear Time-Invariant) Systems에 대해 확인하기 전 여기서 System이 뭘 의미하는지 살펴보자. System은 신호를 처리하여 새로운 신호 또는 새로운 신호 표현을 생성하는 방식으로 동작한다. 시스템의 입력과 출력이 모두 이산시간 신호일 경우, 해당 시스템을 이산시간 시스템(discrete-time system)이라고 부른다. 이런 시스템의 특성을 가진 LTI 시스템(Linear Time-Invariant System)은 이름에 나오듯 선형(linear)성과 시간 불변성(time-invariance)을 만족하는 시스템이다. 저 특성들에 의해 어떤 시스템을 Predictable하게 해주는 것이 핵심이라 생각한다. LTI에 대해 이해하기 전에 Causality(인과성)와 ..
기본적으로 변환(Transform)이라는 말이 붙은 모든 것들은 기존의 풀거나 해석하기 어려웠던 형태를 보다 더 쉬운 형태로 바꿔주는 수학적 기법들이다. Z Transform(Z 변환)은 좁게는 선형 차분 방정식(Linear Difference Equation)을 쉽게 풀 수 있게 만들어 주는 테크닉이라고 할 수도 있고, 좀 더 넓은 의미에서는 DTFT(Discrete Time Fourier Transform)의 일반화된 형태라고 할 수도 있다. Z 변환에는 One-Sided Z-Transform, Two-Sided Z-Transform이 있다. One-Sided Z-TransformOne side Z 변환은 +영역만을 사용하는 변환이다.$$ X(z) = \sum_{n=0}^{\infty} x[n] z..
Discrete-Time Fourier Transform(DTFT)와 Discrete Fourier Transform(DFT)는 모두 이산 신호의 주파수 특성을 분석하기 위한 도구로 사용된다. 항목DTFTDFT신호 길이무한유한 (N개)주파수 축연속적 (무한)이산적 (N개)존재 이유이론적 분석 (연속 주파수)실제 계산 및 구현계산 가능성불가능가능 (FFT 사용) Discrete-Time Fourier Transform(DTFT)Discrete-Time Fourier Transform(DTFT)는 무한 길이의 이산 신호를 연속적인 주파수 변수(ω)에 대해 변환하는 수학적 도구이다. 시간 이산 신호 \( x[n] \)에 대한 DTFT는 다음과 같이 정의된다.$$ X(e^{j\omega}) = \sum_{n=-..
푸리에 변환에 대해 정리해보려 한다. 주파수 분해를 위해 사용되는 여러 가지 공학분야에서 없어서는 안되는 수식 중 하나이다. 일반적으로 우리가 푸리에 변환(Fourier Transform)이라 부르는 것은 Continuous Fourier Transform(CFT)이며 이는 Continuous-Time Fourier Transform(CTFT)로 불리기도 한다. 푸리에 변환 이론 자체가 처음에는 연속 신호를 다루는 데서 출발했기 때문이다. 푸리에 변환을 진행하기 전 사전지식이 어느 정도 필요하다. 바로 복소수와 복소 공간 그리고 오일러 공식에 대한 이해이다. 복소평면(Complex Plane)먼저 복소 공간이란 복소수로 구성된 수학적 공간을 의미한다. 복소수는 실수부와 허수부를 가지는 수로, 다음과 같이..
신호처리를 처음 접했던 이후 언젠가 푸리에 변환에 대한 제대로 된 이해와 정리가 필요하다 느꼈다. 푸리에 변환에 대해 공부하기 전 사전 지식으로 푸리에 급수(Fourier Series)와 푸리에 계수(Fourier Coefficient)에 대해 먼저 정리하려 한다. 푸리에 급수와 푸리에 계수에 대한 설명 이전에 이해를 돕기 위해 Sinusoids(정현파)와 Periodic Waveforms(주기 신호)에 대해서 간단히 설명하려 한다. 우선 Sinusoids이다. 이는 시간에 따라 변하는 신호를 설명하는 기본적인 수학적 표현이다. 즉, 코사인파(cosine wave) 또는 사인파(sine wave)를 수식으로 나타낸 것이다. $$ x(t) = A \cos(2\pi f t + \phi) = A \cos(\o..
