LTI(Linear Time-Invariant) Systems에 대해 확인하기 전 여기서 System이 뭘 의미하는지 살펴보자. System은 신호를 처리하여 새로운 신호 또는 새로운 신호 표현을 생성하는 방식으로 동작한다. 시스템의 입력과 출력이 모두 이산시간 신호일 경우, 해당 시스템을 이산시간 시스템(discrete-time system)이라고 부른다. 이런 시스템의 특성을 가진 LTI 시스템(Linear Time-Invariant System)은 이름에 나오듯 선형(linear)성과 시간 불변성(time-invariance)을 만족하는 시스템이다. 저 특성들에 의해 어떤 시스템을 Predictable하게 해주는 것이 핵심이라 생각한다. LTI에 대해 이해하기 전에 Causality(인과성)와 ..
기본적으로 변환(Transform)이라는 말이 붙은 모든 것들은 기존의 풀거나 해석하기 어려웠던 형태를 보다 더 쉬운 형태로 바꿔주는 수학적 기법들이다. Z Transform(Z 변환)은 좁게는 선형 차분 방정식(Linear Difference Equation)을 쉽게 풀 수 있게 만들어 주는 테크닉이라고 할 수도 있고, 좀 더 넓은 의미에서는 DTFT(Discrete Time Fourier Transform)의 일반화된 형태라고 할 수도 있다. Z 변환에는 One-Sided Z-Transform, Two-Sided Z-Transform이 있다. One-Sided Z-TransformOne side Z 변환은 +영역만을 사용하는 변환이다.$$ X(z) = \sum_{n=0}^{\infty} x[n] z..
Discrete-Time Fourier Transform(DTFT)와 Discrete Fourier Transform(DFT)는 모두 이산 신호의 주파수 특성을 분석하기 위한 도구로 사용된다. 항목DTFTDFT신호 길이무한유한 (N개)주파수 축연속적 (무한)이산적 (N개)존재 이유이론적 분석 (연속 주파수)실제 계산 및 구현계산 가능성불가능가능 (FFT 사용) Discrete-Time Fourier Transform(DTFT)Discrete-Time Fourier Transform(DTFT)는 무한 길이의 이산 신호를 연속적인 주파수 변수(ω)에 대해 변환하는 수학적 도구이다. 시간 이산 신호 \( x[n] \)에 대한 DTFT는 다음과 같이 정의된다.$$ X(e^{j\omega}) = \sum_{n=-..
푸리에 변환에 대해 정리해보려 한다. 주파수 분해를 위해 사용되는 여러 가지 공학분야에서 없어서는 안되는 수식 중 하나이다. 일반적으로 우리가 푸리에 변환(Fourier Transform)이라 부르는 것은 Continuous Fourier Transform(CFT)이며 이는 Continuous-Time Fourier Transform(CTFT)로 불리기도 한다. 푸리에 변환 이론 자체가 처음에는 연속 신호를 다루는 데서 출발했기 때문이다. 푸리에 변환을 진행하기 전 사전지식이 어느 정도 필요하다. 바로 복소수와 복소 공간 그리고 오일러 공식에 대한 이해이다. 복소평면(Complex Plane)먼저 복소 공간이란 복소수로 구성된 수학적 공간을 의미한다. 복소수는 실수부와 허수부를 가지는 수로, 다음과 같이..
신호처리를 처음 접했던 이후 언젠가 푸리에 변환에 대한 제대로 된 이해와 정리가 필요하다 느꼈다. 푸리에 변환에 대해 공부하기 전 사전 지식으로 푸리에 급수(Fourier Series)와 푸리에 계수(Fourier Coefficient)에 대해 먼저 정리하려 한다. 푸리에 급수와 푸리에 계수에 대한 설명 이전에 이해를 돕기 위해 Sinusoids(정현파)와 Periodic Waveforms(주기 신호)에 대해서 간단히 설명하려 한다. 우선 Sinusoids이다. 이는 시간에 따라 변하는 신호를 설명하는 기본적인 수학적 표현이다. 즉, 코사인파(cosine wave) 또는 사인파(sine wave)를 수식으로 나타낸 것이다. $$ x(t) = A \cos(2\pi f t + \phi) = A \cos(\o..
Transformer 관련 논문을 읽어보다 표에서 Inductive Bias라는 항목을 보아 무엇인지 좀 더 상세히 알아보려 한다. 머신러닝 모델이 새로운 데이터를 학습할 때, 단순히 모든 가능성을 고려하는 것이 아니라 특정한 방향성을 가지고 일반화하는 경향이 있다. 이러한 경향성을 Inductive Bias(귀납적 편향)이라고 한다. 즉, 모델이 학습되지 않은 데이터에 대해 합리적인 예측을 수행하기 위해 가지는 선험적 가정(Prior Assumption)이다. 쉽게 말해 학습 알고리즘에서 학습자가 아직 접하지 않은 주어진 입력의 출력을 예측하기 위해 사용하는 일련의 가정이다. 우선 Bias(편향)이란 어떤 것인지 먼저 살펴보자. Bias(편향)이란?Bias는 일반적으로 데이터 또는 모델이 특정 방향으로..
