2020년 11월 2일 월요일

조르당의 보조 정리(Jordan's Lemma)

[경고] 아래 글을 읽지 않고 "조르당의 보조 정리"를 보면 바보로 느껴질 수 있습니다.


[그림 1] 복소 평면 상에서 반원을 따라가는 닫힌 경로(출처: wikipedia.org)

실수 함수(real function)에 대한 적분을 복소 함수(complex function)의 적분으로 확장할 때는 [그림 1]과 같은 적분 경로를 많이 만난다. 왜냐하면 실수 영역에서는 적분이 매우 어렵지만 복소 함수의 근원적 특성인 유수 정리(residue theorem)로 인해 복소 적분(complex integration)이 매우 쉬워질 수 있기 때문이다. 예를 들어, 우리가 구하고 싶은 적분이 실수 경로 $c_2$를 따라가는 적분이라면, 유수 정리에 따라 원래 적분을 다음처럼 다시 쓸 수 있다.

                  (1)

여기서 $a > 0$, $z_m$은 $m$번째 극점(pole)이다. 식 (1)의 마지막식에서 복소 적분이 어려운 부분은 복소 경로 $c_1$을 따라가는 적분 $I_1$이다. 반원의 반지름 $R$이 무한대로 갈 때 $I_1$이 $0$이라면, $c_1$과 $c_2$가 만드는 닫힌 경로 안에 있는 유수만으로 다음처럼 $I_2$를 편하게 구한다.

                  (2)

복소 함수론의 유수 정리를 이용해 실수 영역에 정의된 이상 적분(improper integral)을 식 (2)처럼 간단하게 계산하려면, 무한히 커지는 반원 $c_1$ 상을 따라 적분하는 $I_1$의 크기를 결정해야 한다. 이런 경우에 쓰이는 무한한 반원 상의 복소 적분 크기에 대한 부등식 관계는 조르당의 보조 정리(Jordan's lemma)라 한다. 당연히 조르당의 보조 정리는 수학자 조르당Camille Jordan(1838–1922)이 매우 큰 기여를 했다[1].
조르당의 보조 정리를 증명하기 위해 $R$이 고정된 상태에서 반원 상의 적분인 $I_1$을 편각(argument) $\phi$에 대한 적분으로 바꾼다.

                  (3)

식 (3)의 크기를 정하기 위해서, $R$이 커질 때 $f(z)$ < $\epsilon$이 항상 성립한다고 가정한다. 수학적으로 더 정확히 쓰면, 임의로 작은 양의 실수 $\epsilon$에 대해  $R$ > $R_\epsilon$이면 $|f(z)|$ < $\epsilon$을 만족하는 $R_\epsilon$이 항상 존재한다. 그래서 식 (3)의 크기는 다음처럼 제한된다.

                  (4)

여기서 사인 함수의 부등식 $2 \phi / \pi$ $\le$ $\sin \phi$이 성립한다. 식 (4)의 증명에 쓰인 사인 함수의 부등식은 조르당의 부등식(Jordan's inequality)이라고도 한다. 식 (4)에 의해 $R \to \infty$로 가면, $\epsilon$은 $0$에 근접해서 $|I_1|$은 $0$에 수렴한다. 그래서 조르당의 보조 정리를 다음처럼 명확히 기술한다.

                  (5)

식 (5)를 더 일반화해서 조르당의 보조 정리를 $I_1$의 크기에 대한 부등식 관계로 바꿀 수 있다. 만약 $c_1$ 상에서 $f(z)$의 크기가 $0$으로 가지 않고 유한한 최대값 $M$을 가지면, $I_1$의 크기는 다음과 같은 부등식을 만족한다.

                  (6)

여기서 $M$ = $\max(|f(z)|)$이다. 식 (5)의 확장인 식 (6)도 조르당의 보조 정리가 된다. 즉 무한히 커지는 $R$ 상에서 $|f(z)|$가 항상 0이면, 식 (6)에 의해 $I_1$ = $0$이 성립한다. 이 결과는 식 (5)와 동일해서 식 (6)은 식 (5)의 일반화이다.

[그림 2] 표본화 함수의 적분을 위한 닫힌 경로

조르당의 보조 정리는 다양한 실수 함수의 적분에 사용될 수 있다. 식 (2)를 기반으로 표본화 함수 $\operatorname{Sa}(x)$ = $\sin x / x$의 무한 적분을 해본다.

                  (7)

여기서 조르당의 보조 정리에 의해 $c_3$ 상의 복소 적분은 $0$이다.

[참고문헌]
[1] C. Jordan, Cours d'Analyse de l'École Polytechnique (Course of Analysis at the École Polytechnique), Paris: Gauthier-Villars, 1894, pp. 285–286.

2020년 11월 1일 일요일

Z 변환(Z-transform)

[경고] 아래 글을 읽지 않고 "Z 변환"을 보면 바보로 느껴질 수 있습니다.


[그림 1] 연속 함수의 이산화 예시(출처: wikipedia.org)

연속적인 푸리에 변환(Fourier transform)을 이산화(離散化, discretization)해서 이산 푸리에 변환(discrete Fourier transform, DFT)을 만들 수 있다면, 라플라스 변환의 이산화 형태는 Z 변환(Z-transform)이 될 수 있다. 컴퓨터 시대와 함께 등장한 디지털 신호 처리(digital signal processing, DSP)의 기본 도구인 Z 변환은 의외로 오래된 역사를 가지고 있다. 드 무아브르Abraham de Moivre(1667–1754)가 1730년드 무아브르 63세, 조선 영조 시절에 확률(probability) 이론에 사용하려 Z 변환과 비슷한 생성 함수(generating function) 개념을 제안했다. 생성 함수는 멱급수(power series)로 전개한 항이 특정 수열(sequence)을 표현하는 함수이다. 예를 들어, 수열 $a_n$을 만드는 생성 함수 $G(a_n; x)$는 다음처럼 정의한다.

                  (1)

한참 후인 1812년라플라스 63세, 조선 순조 시절부터 라플라스Pierre-Simon Laplace(1749–1827)도 드 무아브르의 생성 함수를 열심히 사용했다. 이산 신호(discrete signal) 혹은 표본화(sampling)에 쓰이는 현재와 비슷한 Z 변환은 후레비츠Witold Hurewicz(1904–1956)가 1947년후레비츠 43세, 미군정 시절에 다시 제안했다.
리만 적분(Riemann integral)으로 표현된 식 (2)의 라플라스 변환(Laplace transform)을 다시 무한 급수(infinite series)로 바꾸어서 Z 변환을 자연스럽게 정의할 수 있다.

                  (2)

                  (3)

여기서 $T$는 [그림 1]에 보여진 이산화 간격이다. 주기 $T$는 계속 반복되므로 생략해서 식 (3)을 Z 변환으로 정의한다.

                  (4)

여기서 연속 함수 $x(nT)$의 수열 형태가 $x[n]$이다. 복소 함수론(complex analysis) 관점으로 식 (4)는 로랑 급수(Laurent series)를 표현한다. 식 (4)에 정의된 로랑 급수의 수렴 반경(radius of convergence) 안에서 유수 정리(residue theorem)에 의해 Z 역변환(inverse Z-transform)을 구할 수 있다.

                  (5)

여기서 $X(z)$의 수렴 반경은 $r_1 < |z| < r_2$로 표기한다. 식 (4), (5)에 있는 Z 변환과 역변환은 멜린 변환(Mellin transform)과 무척 닮아있다. 이런 유사성은 우연의 일치가 아니고, Z 변환과 멜린 변환의 초기 기여자가 라플라스이기 때문에 필연적이다.

[그림 2] 토끼 쌍으로 표현한 피보나치 수(출처: wikipedia.org)

Z 변환은 차분 방정식(difference equation)을 풀 때 매우 유용하다. 유명한 수열인 피보나치 수(Fibonacci number)의 일반항을 Z 변환으로 구해보자. 피보나치 수는 다음 관계를 만족한다.

                  (6)

식 (2.1)에 있는 단위 충격 함수(unit impulse function)를 이용해, 식 (6)을 Z 변환하기 편한 수열 $f[n]$으로 다시 쓴다.

                  (7)

여기서 $n < 0$인 $f[n]$은 $0$이다. 식 (7)에 식 (1.1)과 (1.2)를 적용해서 Z 변환한다.

                  (8)

Z 역변환을 위해서는 부분 분수 분해가 필요해서 식 (8)의 분모 다항식에 대한 근을 구한다.

                  (9)

신기하게도 다항식 근 중의 하나는 유명한 황금비(golden ratio) $\varphi$ = $\frac{1+\sqrt{5}}{2}$이다. 일단 식 (9)를 이용해서 식 (8)을 부분 분수로 분해한다.

                  (10)

마지막으로 식 (2.4)를 참고해서 식 (10)을 Z 역변환하면, 피보나치 수의 일반항 $f[n]$을 얻을 수 있다.

                  (11)

여기서 $u[n]$은 식 (2.2)에 나온 수열에 대한 단위 계단 함수이다.

 
   1. 기본(basics)   

[선형 사상(linear mapping or linearity)]

                  (1.1)

여기서 $Y(z)$는 $y[n]$의 Z 변환, $X(z)$와 $Y(z)$에 대한 수렴 반경의 교집합에서만 선형 사상이 성립한다.

[시간 이동(time shifting)]

                 (1.2)

[증명]
시간 지연(time delay)은 간단하므로, 시간 선행(time advance)에 대한 Z 변환을 증명한다.

                  (1.3)
______________________________

[비율 조정(scaling)]

                  (1.4)

여기서 $X(z)$의 수렴 반경은 $r_1 < |z| < r_2$, $X(a^{-1}z)$는 $|a|r_1 < |z| < |a|r_2$에서 수렴한다.

[켤레 복소수(complex conjugate)와 대칭성(symmetry)]

                  (1.5)


   2. 초등 함수의 변환(transform of elementary functions)   

[단위 충격 함수(unit impulse function)]

                  (2.1)

여기서 $\delta[n-n_0]$ = $\delta_{n n_0}$, $\delta_{nm}$은 크로네커 델타(Kronecker delta)이다.

[단위 계단 함수(unit step function)]

                  (2.2)

여기서 $u[n]$ = $u(n+0^+)$, $u(t)$는 연속적인 단위 계단 함수(unit step function), $|z| > 1$이다.

[증명]
공비(common ratio)가 $z^{-1}$인 무한 등비 급수(infinite geometric series)로 계산한다.

                  (2.3)
______________________________

[지수 함수(exponential function)]

                  (2.4)

여기서 $|z| > a$이다.

[증명]
식 (2.2)에 식 (1.4)를 대입해서 증명한다.
______________________________


   3. 길쌈(convolution)   

[정의]

                  (3.1)

[대수적 성질(algebraic properties)]

                  (3.2)

[길쌈 정리(convolution theorem)]

                  (3.3)

여기서 $X(z)$와 $Y(z)$에 대한 수렴 반경의 교집합에서만 길쌈 정리가 성립한다.

[증명]

                  (3.4)
______________________________

길쌈 정리를 적용하면 복잡해보이는 수열이 Z 변환된 급수의 곱으로 간편하게 표현된다.


[참고문헌]
[1] J. R. Ragazzini and L. A. Zadeh, "The analysis of sampled-data systems," Trans. Am. Inst. Electr. Eng., vol. 71, no. 5, pp. 225–234, Nov. 1952.

2020년 10월 26일 월요일

급속 하강 방법(Method of Steepest Descent)

[경고] 아래 글을 읽지 않고 "급속 하강 방법"을 보면 바보로 느껴질 수 있습니다.


임의의 함수를 엄밀하게 적분하기(integration)는 거의 불가능한 수학적 목표이다. 하지만 특별한 조건에서는 모든 함수를 아주 쉽게 적분할 수 있다. 먼저 특정 경로 $c$에 대한 복소 적분(complex integration)을 생각한다.

                      (1)

여기서 $x$는 매우 큰 양의 실수, $f(t)$는 해석적인(analytic) 복소 함수(complex function), $g(t)$는 $e^{x f(t)}$보다 천천히 변한다. 추가적으로 $x$가 커짐에 따라 $e^{x f(t)}$는 ($+$)와 ($-$)값 사이를 매우 빠르게 진동한다고 가정한다.[혹은 지수 항 $x f(t)$가 복소수(complex number)라서 복소 지수 함수(complex exponential function)의 특성을 가진다고 가정한다.]

[그림 1] 함수 $f(t)$ = $\cos (x t^2)$의 변화

예시적으로 [그림 1]에서 함수 $f(t)$ = $\cos (x t^2)$이 $t$ $\approx$ $0$ 근방에서 변화되는 특성을 관찰한다. 값 $t$ = $0$에서 멀어짐에 따라 함수는 매우 빠르게 변하지만, $t$ $\approx$ $0$ 근방에서는 함수값이 천천히 바뀐다. 큰 수 $x$를 계속 더 증가시키면, 적분값 $\int_c f(t) dt$는 $t$ $\approx$ $0$ 근방만 계산해도 된다. 오일러의 공식(Euler's formula)을 이용해 실 함수(real function)를 복소 영역으로 확장해도 마찬가지이다. 즉 복소 함수 $f(t)$ = $e^{ix t^2}$은 $\cos (x t^2) + i \sin (x t^2)$으로 바꿀 수 있어서 $t$ $\approx$ $0$ 근방에서는 $f(t)$ $\approx$ $\cos (x t^2)$만 생각해도 된다. 그래서 매우 큰 $x$에 대해 적분값 $\int_c f(t) dt$는 $\int_c \cos (x t^2) dt$와 거의 같다. 더 나아가서 [그림 1]에서 찾은 경험적 관찰이 수학적으로 타당한지 검증해본다. 이를 위해 해석 함수(analytic function) $f(t)$를 복소 영역에서 테일러 급수(Taylor series)로 전개한다.

                      (2)

여기서 $f'(t)$와 $f''(t)$는 각각 $f(t)$의 1계 및 2계 미분(the first and second differentiation)이다.

[그림 2] 안장점(saddle point)은 $x$ = $0$(출처: wikipedia.org)

[그림 1]과 같은 형태로 만들기 위해 $f'(t_s)$ = $0$이라 가정한다. 그러면 $f(t)$는 $t$ $\approx$ $t_s$ 근처에서 다음처럼 근사화된다.

                      (3)

이때 [그림 2]와 같은 $f(t)$의 모양에서 $t$ = $t_s$는 안장(saddle)과 같은 형태라서 안장점(saddle point)이라 한다. 안장점은 [그림 3]의 말 안장처럼 복소 함수의 어떤 단면에서는 최소값이고 다른 단면에서는 최대값인 점이다. 예를 들어, $z^2$ = $x^2 - y^2 + i 2xy$를 고려한다. 단면 $x$ = $0$에서 실수부는 최대값을  $y$ = $0$에서 가진다. 단면을 $y$ = $0$으로 선택하면, 실수부는 $x$ = $0$에서 최소값이 된다. 그러면 안장점 정의에 따라 원점인 $z$ = $0$이 안장점이다. 안장점을 찾는 쉬운 방법은 편미분이다. 이때 곡면의 접선 기울기가 0이 되면서 극값(extreme value)은 아닌 점이 안장점이다.[∵ 극값이면 단순히 최대값이나 최소값만을 가지기 때문에 급속 하강 경로가 생기지 않는다.] 1변수인 경우에 안장점이 생기는 특별한 예는 [그림 2]에 보인 $f(x)$ = $x^3$이다. 점 $x$ = $0$에서 $f'(x)$ = $0$이면서 극값은 생기지 않아서, 이 점이 바로 안장점이다. 
안장점 부근에는 [그림 2]처럼 함수가 급격히 하강하는 경로인 급속 하강 경로(steepest descent path, SDP)가 존재한다. 원래 함수의 적분 경로를 잘 변형해서 급속 하강 경로를 따라 점근적으로 적분하는 방법이 바로 급속 하강 방법(method of steepest descent)이다. 급속 하강 방법은 리만Bernhard Riemann(1826–1866)이 1863년리만 37세, 조선 철종 시절에 제안한 방법을 바탕으로 디바이Peter Debye(1884–1966)가 1909년디바이 25세, 대한제국 시절에 처음으로 사용하였다.

[그림 3] 말 안장(출처: wikipedia.org)

안장점은 함수값이 증가하지도 감소하지도 않는 점일 수 있어서 정상점(stationary point)에 포함된다. [그림 4]에서는 증가하지도 감소하지도 않아서 미분값이 $0$인 빨간색 이 정상점이다. 다만 정상점 중에서 극값이 없어야 안장점이 되므로, 정상점은 안장점이 되기 위한 필요 조건이다. [그림 4]처럼 적분 경로를 따라갈 때, 안장점은 여러 개일 수 있어서 $f(t)$의 안장점은 $N$개라고 가정한다. 예를 들어, $n$번째 안장점은 $t$ = $t_n$이다.

[그림 4] 정상점의 예시(출처: wikipedia.org)

식 (3)을 이용해서 $x$가 매우 커질 때, 식 (1)을 점근적으로 쓰면 다음과 같다.

             (4)

여기서 $\delta$는 임의로 작은 양의 실수이다. 식 (4)에 나온 적분을 계산하려면, 적절한 변수 치환을 해야 한다. 복소 함수론 관점에서 변수 치환은 적분 경로의 변경이다. 급속 하강 방법에서는 원래 적분 경로를 식 (3)으로 표현된 급속 하강 경로로 바꾸어 계산한다. 그래서 다음과 같은 변수 치환 혹은 적분 경로 변경을 이용해 식 (4)의 적분을 다시 표현한다.

                      (5)

여기서 $|u_{\max}|$ = $\sqrt{x |f''(t_n)|} \delta$, 실수인 $u$는 항상 $-\infty$에서 $\infty$로 변하며, 마지막 적분은 가우스 함수(Gaussian function)로 유도한다. 식 (5)의 첫째식은 $t$에 대한 복소 적분 경로[$\int_c \,dt$]가 $u$에 대한 실수 적분 경로[$\int_{-\infty}^\infty \,du$]로 바뀜을 의미한다. 또한 식 (5)에 있는 부호 $\pm$는 ($+$)와 ($-$) 둘 다 가능하다는 뜻이 아니다. 변수 $t$에서 $u$로 적분 경로를 변형할 때는 해석적이어야 하므로, ($+$)와 ($-$) 둘 중 하나만 잘 선택해서 $t$와 $u$의 적분 경로가 서로 일관되도록 계산해야 한다. 일례로 $f(z)$ = $z$ = $x +iy$를 기준으로 $z^*$ = $x -iy$는 코쉬–리만 방정식(Cauchy–Riemann equation)을 만족하지 못해서 해석적이 아니다. 또한 기하학적으로 $z$가 복소 평면에서 반시계 방향으로 회전한다면, $z^*$는 시계 방향으로 돈다. 그래서 적분 경로가 돌아가는 방향에 따라 해석적이 될 수도 있고 아닐 수도 있다. 이러한 해석적인 선택을 의미하는 표식이 식 (5)의 부호 $\pm$이다. 이를 종합해서 식 (5)를 식 (4)에 대입해서 급속 하강 방법을 이용한 적분 결과를 다음처럼 공식화할 수 있다.

                      (6)

여기서 변수 치환은 $t$ = $\pm i u / \sqrt{x f''(t_n)}$, 부호 $\pm$ 중에서 변수 치환한 적분 경로가 서로 일관되도록 ($+$) 혹은 ($-$)값을 선택한다.
식 (6)에 증명한 급속 하강 방법을 이용해 전자파(electromagnetic wave) 산란에 자주 등장하는 2차원 적분의 점근식(漸近式, asymptote)을 유도해본다.

                      (7)

여기서 $k^2$ = $\xi^2 + \eta^2$, $\rho^2$ = $x^2 + y^2$이다. 식 (7)의 좌변을 식 (1)처럼 만들기 위해 다음처럼 변수 치환한다.

                      (8)

여기서 $y \ge 0$, $\xi$ = $k \sin w$, $\eta$ = $\sqrt{k^2 - \xi^2}$ = $k \cos w$, $x$ = $\rho \cos \phi$, $y$ = $\rho \sin \phi$, $\eta$에 의해 [그림 5]와 같은 가지 자름(branch cut)이 생긴다.

[그림 5] 급속 하강 방법을 위한 급속 하강 경로

[그림 5]에 표현한 변수 $\xi$를 변형한 급속 하강 경로(SDP)는 다음처럼 정의할 수 있다.

                      (9)

제곱근 함수에 의해 생기는 가지 자름을 가진 $\eta$의 관계식은 다음과 같다.

                      (10)

식 (10)과 [그림 5]의 SDP를 보면, $\eta$의 실수부는 모든 경로에서 $0$보다 크고 허수부는 $0$보다 크거나 같다. 즉 $\eta$ = $k \cos w$는 전자파의 복사 조건(radiation condition)을 만족하도록 택한다는 뜻이다. 식 (8)에 있는 지수를 복소 영역에서 테일러 급수(Taylor series)로 전개해서 안장점 $w_s$를 구한다.

             (11)

식 (11)을 식 (8)과 (6)에 대입해서 정리한다.

                      (12)

여기서 $f''(w_s)$ = $-i$, 변수 치환은 $w$ = $w_s \pm i u/\sqrt{-i}$이다. 변수 $u$는 항상 $-\infty$에서 $\infty$인 경로를 택하므로, [그림 5]에 의해 $u > 0$인 경우는 안장점 근처에서 $w$의 실수부는 양, 허수부는 음이다. 그래서 변수 치환의 부호를 ($-$)로 택해서 $-e^{i3\pi/4}$ = $e^{-i \pi/4}$를 얻는다. 비슷한 방법으로 식 (7)과 약간 다른 복사 적분의 점근식도 쉽게 유도할 수 있다.

                      (13)

여기서 $k^2$ = $\xi^2 + \zeta^2$, $r^2$ = $\rho^2 + z^2$, $z \ge 0$, $\xi$ = $k \sin w$, $\zeta$ = $k \cos w$, $\rho$ = $r \sin \theta$, $z$ = $r \cos \theta$이다. [그림 5]와 동일한 SDP로 식 (13)의 적분 경로를 바꾼다.

                      (14)

식 (11)과 비슷하게 식 (14)를 위한 안장점을 구한다.

             (15)

변수 치환 $w$ = $w_s \pm i u/\sqrt{-i}$의 부호를 ($-$)로 선택한 후 식 (15)를 식 (6)에 대입하면, 식 (13)을 증명할 수 있다.
전자파 산란 적분이 이중 적분 형태이더라도 식 (7) 혹은 (13)을 차례로 적용해서 점근식을 구한다. 예를 들어, 다음과 같은 3차원 적분의 점근식을 구해보자.

                      (16)

여기서 $k^2$ = $\xi^2 + \eta^2 + \zeta^2$, $r^2$ = $x^2 + y^2 + z^2$, $z \ge 0$이다. 먼저 $\xi$에 대한 무한 적분에 식 (7)을 적용한다.

                      (17)

여기서 $\kappa^2$ = $k^2 - \eta^2$, $s^2$ = $r^2 - y^2$, $\xi$ = $\kappa \sin w$, $\zeta$ = $\kappa \cos w$, $x$ = $s \cos \alpha$, $y$ = $s \sin \alpha$이다. 다시 식 (17)에 식 (13)을 대입해서 적분을 모두 없앤다.

                      (18)

여기서 $\eta$ = $k \sin w$, $\kappa$ = $k \cos w$, $y$ = $r \sin \beta$, $s$ = $r \cos \beta$이다. 식 (18)에 나오는 각도 $\alpha, \beta$는 생소하기 때문에, 다음 관계식을 이용해 통상적인 구 좌표계(spherical coordinate system)로 바꾸면 식 (16)이 증명된다.

                      (19)

이를 모두 종합하면, 식 (13)은 2차원 공간, 식 (16)은 3차원 공간에 대한 푸리에 변환을 급속 하강 방법에 따라 점근적으로 구한 획기적인 결과이다. 식 (16)에 나온 적분 변수는 좌표 성분의 선택에 따라 다음처럼 표현할 수도 있다.

                      (20)

                      (21)

따라서 $r$이 커질 때에 이중 적분에 최종적으로 기여하는 성분은 정확히 $\bar k$ = $k \hat r$이다.

[다음 읽을거리]