2021년 3월 27일 토요일

적분 방정식의 의미(Integral Equation)

[경고] 아래 글을 읽지 않고 "적분 방정식의 의미"를 보면 바보로 느껴질 수 있습니다.


적분 방정식(積分方程式, integral equation)은 미지 함수(unknown function)를 구하기 위한 방정식이 적분(integration) 형태로 구성된다. 비슷한 개념으로 미분 방정식(微分方程式, differential equation)이 있다. 미분 방정식에서는 미분(differentiation) 연산자를 중심으로 미지 함수에 대한 방정식을 구성한다. 미분과 적분은 서로 역연산이기 때문에, 적분 방정식을 미분하면 관련된 미분 방정식이 나온다고 가볍게 생각할 수 있다. 하지만 여기서 말하는 적분은 보통 정적분(definite integral)이기 때문에, 적분 방정식을 아무리 미분해도 적분 자체를 없앨 수는 없다. 따라서 적분 방정식을 풀기 위해서는 미분 방정식과는 다른 접근법이 필요하다. 보통은 푸리에 변환(Fourier transform)과 같은 적절한 적분 변환(integral transform)을 도입해서 적분 방정식을 해결한다. 또한 적분 방정식은 주로 미분 방정식에 경계 조건을 결합해서 생성된다. 즉, 미분 방정식이 같더라도 경계면의 위치나 조건에 따라 여러 개의 적분 방정식이 만들어질 수 있다. 이는 우리가 선택한 경계면의 좌표계에 따라 다양한 적분 방정식이 만들어짐을 뜻한다.
적분 방정식이 널리 사용되는 중요한 예는 다음과 같은 그린 함수(Green's function)이다.

                  (1)

여기서 $b(\bar r)$은 아는 함수(known function) 혹은 경계 함수(boundary function), $f(\bar r')$은 미지 함수, $G(\bar r, \bar r')$은 그린 함수이다. 전형적인 적분 방정식인 식 (1)을 잘 풀면 미지 함수 $f(\bar r')$을 결정할 수 있다. 하지만 식 (1)은 $x, y, z$에 대해 아무리 미분해도 정적분이 없어지지 않는다. 왜냐하면 정적분은 $x', y', z'$에 대해 정의되기 때문이다. 따라서 식 (1)을 풀기 위해서는 미분이 아닌 적분을 적절히 사용해야 한다. 예를 들어, 3차원으로 표현된 식 (1)을 2차원으로 간략화하고 $y$ = $y_0$에서 $b(x, y)$의 모든 특성을 안다고 가정한다. 이 경우 2차원 자유 공간 그린 함수(2D free-space Green's function)를 이용해서 식 (1)을 다시 표현할 수 있다.

             (2)

여기서 $\eta$ = $\sqrt{\kappa^2 - \xi^2}$, $\Im[\eta] \ge 0$, $\kappa$는 2차원 파동의 파수(wavenumber), $f(x, y)$는 $y \ge y_0$인 영역에서만 함수값이 있고 나머지 부분에서는 $0$이다. 식 (2)의 마지막식에 푸리에 변환 $\int_{-\infty}^\infty (\cdot)e^{-i \xi' x}\,dx$를 적용한다.

                  (3)

여기서 $B(\xi)$는 $b(x, y_0)$의 푸리에 변환이다. 단위 계단 함수(unit step function) $u(\cdot)$를 도입해서, 식 (2)에서 정의한 푸리에 변환 $F(\xi)$를 한켈 변환(Hankel transform) 형태로 바꾸어 생각한다.

                  (4)

                       (5)

여기서 $g(\rho, \phi)$ = $f(x,y+y_0)u(y)$, $\rho$ = $\sqrt{x^2 + y^2}$, $\kappa$ = $\sqrt{\xi^2 + \eta^2}$, $\Phi$는 복소수까지 확장된다. 한켈 함수의 개념에 따라 식 (4)를 주기 함수 $g(\rho, \phi)$로 다시 쓴다.

                      (6)

                      (7)

여기서 $\mathfrak{H}[g(\rho)]$는 $g(\rho)$의 한켈 변환이다. 근사이기는 하지만 식 (2)에 $|\xi| \le \kappa$라는 조건을 추가하면, $\eta$는 항상 실수가 되어서 식 (7)의 $\Phi$도 실수가 된다. 이 경우 식 (7)에 $1/(2 \pi)\int_0^{2 \pi} (\cdot)e^{in' \Phi}\,d\Phi$ 적분을 적용해서 $\mathfrak{H}[g_n(\rho)]$를 $B(\xi)$ 관점으로 근사화한다.

                      (8)

여기서 $\xi$ = $\kappa \cos \Phi$이다. 마지막 단계로 한켈 역변환을 이용해서 $g_n(\rho)$를 구한 후에 적분 방정식의 해인 $f(x, y)$를 결정할 수 있다.
만약 $f(x, y)$가 2차원 표면이 아닌 1차원 직선상에서만 값이 있으면, 푸리에 변환을 사용해 적분 방정식을 더 쉽게 풀 수 있다. 예를 들어, $y$ = $y_s$에서만 $f(x, y)$가 정의되는 경우에 식 (2)는 다음과 같이 바뀐다.

                      (9)

식 (3)처럼 식 (9)에 푸리에 변환을 적용한 후에 푸리에 역변환으로 $F(\xi)$를 $f(x, y_s)$로 바꾸면 적분 방정식의 해가 바로 얻어진다.

                      (10)

                      (11)

1차원과 2차원 적분 방정식의 해인 식 (11)과 (8)은 결과식이 매우 다르다. 하지만 적절한 적분 변환을 사용해서 문제의 영역을 바꾸어 푼다는 측면에서는 본질적으로 동일한 과정을 따르고 있다.
다음에 제시한 선형 상미분 방정식(linear ordinary differential equation)을 정적분해서 새로운 적분 방정식을 정의할 수도 있다.

                      (12)

식 (12)를 $a$에서 $x$까지 정적분하면 다음과 같은 적분 방정식이 얻어진다.

                      (13)

여기서 $\gamma$는 상수인 매개변수이다. 식 (13)에서 과감하게 $k(x')$의 입력 변수를 $k(x, x')$로 바꾸어서 식 (13)을 다시 쓴다.

                      (14)

여기서 $k(x, x')$는 적분 방정식의 적분 핵심(integral kernel), $d(x)$는 아는 함수 혹은 자료 함수(data function), $f(x)$는 미지 함수 혹은 해 함수(solution function)이다. 새롭게 정의한 식 (14)는 제2종 볼테라 방정식(Volterra equation of the second kind)이라 부른다. 식 (14)를 더 간략하게 표현한 경우는 제1종 볼테라 방정식(Volterra equation of the first kind)이 된다.

                      (15)

식 (14)와 (15)를 함께 표현할 때는 간단히 볼테라 적분 방정식(Volterra integral equation)이라 할 수 있다. 제2종 볼테라 방정식을 미분해서 선형 상미분 방정식과 관계를 구하면 다음과 같다.

                      (16)

여기서 정적분의 미분 공식을 사용한다. 식 (16)에서 사라지지 않고 남아있는 적분 항만큼 식 (12)에 있는 선형 상미분 방정식과 볼테라 적분 방정식이 달라진다. 볼테라Vito Volterra(1860–1940)가 제안한 볼테라 적분 방정식과 범함수(汎函數, functional)는 1887년볼테라 27세, 조선 고종 시절 무렵 함수 해석학(functional analysis)이라는 새로운 세계를 열었다. 범함수는 정의역이 함수인 함수이며, 치역은 주로 실수(real number)가 된다. 범함수 개념을 쓰면, 식 (14)와 같은 적분 방정식을 연산자(operator) 형태로 쉽게 표현할 수 있다. 함수 해석학은 함수로 만든 수학적 공간을 해석학 관점으로 연구하는 분야이다. 함수 공간(function space)은 선형 대수학처럼 보통 기저 함수의 선형 결합(linear combination)으로 만든다. 또한 볼테라는 1881년에 미분 가능(differentiable)과 리만 적분 가능(Riemann integrable)이 서로 별개임을 보이는 볼테라 함수(Volterra function)도 고안했다.
식 (12)에 제시한 적분 방정식의 구간을 바꾸어서 다른 적분 방정식을 정의하기도 한다[1][4].

                      (17)

식 (17)은 제1종 프레드홀름 방정식(Fredholm equation of the first kind)이라 부른다. 만약 $k(x, x')$이 병진 불변 핵심(translation-invariant kernel)[병진 연산만으로는 함수값이 바뀌지 않는 핵심]이면, 식 (17)의 해 $f(x)$는 길쌈(convolution)에 대한 푸리에 변환으로 구한다.

                      (18)

여기서 $D(\xi), K(\xi), F(\xi)$는 각각 $d(x), k(x)$, $f(x)[u(x-a) - u(x-b)]$의 푸리에 변환이다. 적분 핵심이 병진 불변인 경우, $k(x, x')$을 그린 함수 $G(x, x')$이라 간주할 수 있다. 제2종 프레드홀름 방정식(Fredholm equation of the second kind)은 식 (14)의 적분 구간을 약간 바꾸어 다시 정의한다.

                      (19)

여기서 $\gamma$는 상수인 매개변수, $\delta(\cdot)$는 디랙 델타 함수(Dirac delta function)이다. 식 (19)의 둘째식에 나온 피적분 함수 $\delta(x-x')-\gamma k(x, x')$를 새로운 적분 핵심으로 간주하면, 식 (19)의 둘째식은 식 (17)과 같은 제1종 프레드홀름 적분 방정식이 된다. 즉, 제1종 프레드홀름 적분 방정식은 제2종 프레드홀름 적분 방정식의 특별한 경우이다. 식 (18)과 비슷하게 $k(x, x')$이 병진 불변이면, $f(x)$는 다음과 같이 공식화된다.

                      (20)

프레드홀름 적분 방정식(Fredholm integral equation)은 식 (17)과 (19)를 모두 포함한 이름이다.

[참고문헌]
[1] I. Fredholm, "Sur une classe d'équations fonctionnelles (On a class of functional equations)," Acta Math., vol. 27, pp. 365–390, 1903.
[2] F. Smithies, "The Fredholm theory of integral equations," Duke Math. J., vol. 8, no. 1, pp. 107–130, Mar. 1941.
[3] G. W. Stewart, "Commentary on Fredholm, Hilbert, Schmidt: three fundamental papers on integral equations," University of Maryland, USA, 2011. (방문일 2021-03-27)
[4] J. Wong, Fredholm Integral Equations, Math 551 Lecture Notes, Duke University, USA, 2019. (방문일 2021-03-30)

[다음 읽을거리]

2021년 3월 20일 토요일

콘토로비치–레베데프 변환(Kontorovich–Lebedev Transform)

[경고] 아래 글을 읽지 않고 "콘토로비치–레베데프 변환"을 보면 바보로 느껴질 수 있습니다.


[그림 1] 나무를 쪼개기 위해 사용되는 쐐기(출처: wikipedia.org)

콘토로비치–레베데프 변환(Kontorovich–Lebedev Transform)원통 좌표계(circular cylindrical coordinate system)로 정의된 쐐기(wedge) 형태의 경계 조건을 위한 적분 변환(integral transform)이다[1]–[7]. 비슷한 적분 변환인 한켈 변환(Hankel transform)도 원통 좌표계를 위해 쓰이지만, 한켈 변환은 방위각(azimuth) $\phi$방향으로 완전한 주기[$0 \le \phi < 2 \pi$]를 형성한다. 하지만 콘토로비치–레베데프 변환은 $\phi$방향의 일부 영역만 사용하므로[예를 들어, 쐐기 각도가 $\phi_0$인 경우는 방위각의 정의역이 $0 \le \phi \le \phi_0$일 수 있다.], [그림 1]에 보여준 쐐기와 같은 경계 조건을 가진 문제를 풀 때 적합하다. 역사적으로도 콘토로비치–레베데프 변환은 수학적 고민이 아닌 회절 문제를 풀기 위해 1938년일제 식민지 시절에 제안되었다. 그래서 콘토로비치–레베데프 변환은 적절한 적분 공식을 이용해서 증명하지 않고, 풍부한 물리적 개념을 보여주는 그린 함수(Green's function)가 증명의 뼈대를 이룬다[2]–[5].

[콘토로비치–레베데프 변환(Kontorovich–Lebedev Transform)] [3], [4]

                  (1a)

                  (1b)

                  (2a)

                  (2b)

여기서 $\xi$ = $i \mu$이다.

[증명]
통상적인 경우와 다르게 콘토로비치–레베데프 변환의 증명은 그린 함수로부터 시작한다. 적분 변환과 역변환이 일대일로 대응되는 성질은 디랙 델타 함수(Dirac delta function)와 직접 연결된다. 그래서 정의역이 유한한 경우는 그린 함수와 디랙 델타 함수의 관계를 설명하는 다음 복소 적분을 사용한다.

                     (3)

여기서 $\lambda$는 미분 방정식의 고유치(eigenvalue), $\psi_m(x)$는 제$m$번 고유 함수(eigenfunction), $r(x)$는 스튀름–리우빌 이론(Sturm–Liouville theory)에 나온다. 식 (3)을 이용하기 위해서는 원통 좌표계의 그린 함수를 먼저 구해야 한다. 최소수 $x_<$와 최대수 $x_>$를 이용한 그린 함수의 정의를 사용한다.

                     (4)

여기서 $x_<$ = $\min(x, x')$, $x_>$ = $\max(x, x')$, $g_l(x; \lambda)$와 $g_u(x; \lambda)$는 각각 $x \le x'$와 $x \ge x'$ 구간에서 그린 함수의 특성을 표현, $W(u, v)$는 함수 행렬식(Wronskian), $p(x)$는 스튀름–리우빌 이론(Sturm–Liouville theory)에 등장한다. 원통 좌표계를 위한 스튀름–리우빌 미분 방정식(Sturm–Liouville differential equation)은 다음과 같은 베셀의 미분 방정식(Bessel's differential equation)이다.

                       (5)

여기서 $\lambda$ = $-n^2$, $p(x)$ = $x$, $r(x)$ = $1/x$이다. 따라서 파동의 복사 조건(radiation condition)과 식 (4)를 고려해서 원통 좌표계를 위한 그린 함수 $g(x, x'; \lambda)$를 공식화한다.

                       (6)

여기서 $\lambda$ = $-\nu^2$, $\nu$ = $i \sqrt{\lambda}$, $\nu$는 임의의 실수, 베셀 함수의 함수 행렬식에 의해 $W[J_\nu(x), H_\nu^{(1)}(x)]$ = $2i/(\pi x)$이다. 식 (3)과 유사하게 식 (6)에 유도한 $g(x, x'; \lambda)$를 복소 적분한다. 다만 베셀 함수의 차수 $\nu$는 감마 함수(gamma function)의 입력 변수이므로, 감마 함수를 정의하는 한켈 경로(Hankel contour) $\mathcal{H}$에 생기는 가지 자름(branch cut)을 돌아가면서 [그림 2]처럼 복소 적분을 해야 한다.

[그림 2] 그린 함수와 디랙 델타 함수의 관계를 위한 적분 경로

또한 고유치를 베셀 함수의 차수로 선택한 원통 좌표계의 반지름은 무한대까지 커질 수 있기 때문에, 그린 함수의 정의역은 유한하지 않고 무한해진다. 이로 인해 식 (3) 대신 다음과 같은 복소 적분을 도입한다.

                     (7)

식 (7)을 한켈 경로 $\mathcal{H}$에 대한 복소 적분으로 바꾸기 위해 [그림 2]에 제시한 경로에 코쉬의 적분 정리(Cauchy's integral theorem)를 적용한다.

                       (8)

그러면 가지 자름을 우회하면서 $-\mathcal{H}$를 따라 $g(x, x'; \lambda)$를 경로 적분한 결과는 디랙 델타 함수로 정확히 연결된다.

                       (9)

식 (9)에 식 (6)을 대입해서 디랙 델타 함수를 위한 적분을 공식화한다.

                       (10)

[그림 2]에 있는 한켈 경로를 양의 실수축에 최대한 근접시켜서 식 (10)을 간단한 형태로 정리한다.

                       (11)

여기서 $\phi$ = ${\rm arg}(\lambda)$, $-2\pi < \phi < 0$, $-\pi/2 < {\rm arg}(i\sqrt{\lambda}) < \pi/2$이다. 고유치 $\lambda$의 편각을 $-2\pi < \phi < 0$로 선택한 이유는 제1종 베셀 함수 차수 $i\sqrt{\lambda}$의 실수부를 양수로 만들기 위해서이다.[$\because$ 음수인 차수의 크기가 커지면, 제1종 베셀 함수는 발산한다.] 식 (11)에서 변수 치환을 $\mu$ = $\sqrt{\lambda}$로 정의해서 식 (10)과 결합한다.

                       (12a)

                       (12b)

식 (12b)의 적분 구간을 다시 바꾸면, 결과식이 더 간단해진다.

                       (13)

여기서 $H_{-i \mu}^{(1)}(\cdot)$ = $e^{-\mu \pi}H_{i \mu}^{(1)}(\cdot)$이다. 다음 단계로 제1종 한켈 함수를 제1종 베셀 함수와 제2종 한켈 함수로 바꾸어쓴다.

                       (14)

여기서 $H_{-i \mu}^{(1)}(x') H_{-i \mu}^{(2)}(x)$ = $H_{i \mu}^{(1)}(x') H_{i \mu}^{(2)}(x)$이기 때문에 $H_{i \mu}^{(1)}(x') H_{i \mu}^{(2)}(x) \mu$는 기함수(odd function)이다. 따라서 디랙 델타 함수를 생성하는 또 하나의 적분이 정의된다.

                       (15)

디랙 델타 함수의 정의를 이용해서 $f(x)$를 다시 표현하면 식 (1)이 증명된다.

                       (16)

식 (1)의 변수를 $\xi$ = $i \mu$로 치환해서 식 (2)도 유도한다.
______________________________

[그림 3] 경계 조건이 쐐기인 원통 좌표계

콘토로비치–레베데프 변환을 이용하면, [그림 3]처럼 경계 조건이 쐐기 형태인 원통 좌표계를 위한 파동 함수 $f(\rho, \phi)$를 편리하게 정의할 수 있다.

                       (17)

                       (18)

식 (18)을 식 (17)에 대입해서 간략히 정리한다.

                       (19)

다시 식 (19)를 식 (17)에 대입해서 $F(\phi; \mu)$에 대한 미분 방정식을 얻는다.

                       (20)

따라서 [그림 3]에 나온 경계 조건을 풀기 위한 파동 표현식은 다음과 같다.

                       (21)

여기서 $F_{\pm}(\mu)$는 경계 조건 $\phi$ = $0$과 $\phi_0$에 콘토로비치–레베데프 변환을 적용해서 결정한다. 식 (20)에 의해 파동 표현식 $f(\rho, \phi)$는 방위각 $\phi$에 대해 주기성이 없다. 그래서 [그림 3]과 같은 쐐기 경계 조건이 없는 구조에는 콘토로비치–레베데프 변환을 사용할 수 없다. 

[참고문헌]
[1] M. I. Kontorovich and  N. N. Lebedev, "A method for the solution of problems in diffraction theory and related topics," Zh. Eksper. Teor. Fiz. (Journal of Experimental and Theoretical Physics), vol. 8, no. 10–11, pp. 1192–1206, 1938. (In Russian)
[2] L. B. Felsen and N. Marcuvitz, Radiation and Scattering of Waves, Oxford University Press, 1994.
[3] D. G. Dudley, Mathematical Foundations for Electromagnetic Theory, IEEE Press, 1994.
[4] 김진주, 슬롯이 있는 도체 쐐기에서의 전자파 산란 (Electromagnetic Scattering from Slotted Conducting Wedge), KAIST 박사 학위 논문, 2010. (방문일 2021-03-20)
[5] D. S. Jones, "The Kontorovich–Lebedev transform," J. Inst. Math. Appl., vol. 26, no. 2, pp. 133–141, Sep. 1980.
[6] M. A. Salem, A. H. Kamel, and A. V. Osipov, "Electromagnetic fields in the presence of an infinite dielectric wedge," Proc. R. Soc. A, vol. 462, no. 2072, pp. 2503–2522, Mar. 2006.
[7] M. A. Nethercote, R. C. Assier, I. D. Abrahams, "Analytical methods for perfect wedge diffraction: a review," Wave Motion, vol. 93, 2020.

2021년 3월 4일 목요일

행렬 노름과 조건수(Matrix Norm and Condition Number)

[경고] 아래 글을 읽지 않고 "행렬 노름과 조건수"를 보면 바보로 느껴질 수 있습니다.


[그림 1] 3차원에서 정의한 유클리드 거리(출처: wikipedia.org)

벡터(vector) $\bar r$의 크기 $|\bar r|$은 유클리드 거리(Euclidean distance) 혹은 피타고라스 거리(Pythagorean distance)를 이용하여 정의한다. 유클리드 거리는 피타고라스의 정리(Pythagorean theorem)를 [그림 1]처럼 연속적으로 적용해서 만든다.

                  (1)

피타고라스의 정리가 매우 오래 되었기 때문에, 유클리드 거리의 역사도 길다고 오해할지 모른다. 하지만 벡터에는 좌표계(coordinate system)라는 개념이 꼭 필요하므로, 식 (1)과 같은 정의는 데카르트René Descartes(1596–1650)데카르트 좌표계(Cartesian coordinate system)를 발명한 1637년데카르트 41세, 조선 인조 시절(삼전도의 굴욕) 이후에나 등장한다. 우리가 현실에서 보는 좌표계는 2차원 혹은 3차원이라서 식 (1)의 정의만 사용해도 충분하다. 하지만 수학자들의 상상력은 끝이 없어서 식 (1)을 $n$차원 유클리드 거리까지 확장한다.

                  (2)

$n$차원 벡터 공간에 사용되는 식 (2)는 현실 세계의 자유로운 확장이다. 그래서 기하학에 바탕을 둔 유클리드 거리 이외에 다양한 거리 개념을 만들 수 있다. 수학에서는 유클리드 거리를 일반화해서 계량하는 함수를 노름(norm)이라 한다. 이 노름의 치역은 음이 아닌 실수로 정의한다. 노름의 어원은 표준을 뜻하는 라틴어 노르마(norma)이다. 그래서 노름 대신에 규준(規準)이란 용어를 쓰기도 한다. 노름 개념이 벡터에 쓰이면 벡터 노름(vector norm), 행렬까지 확장하면 행렬 노름(matrix norm)이라 한다. 노름은 거리를 일반화하기 때문에 표기법도 유클리드 거리와는 달라진다. 예를 들어, 식 (2)로 정의한 유클리드 거리는 벡터 노름의 일종이라서 다음처럼 유클리드 노름(Euclidean norm)으로 표현할 수 있다.

                  (3)

제곱과 제곱근을 사용한 유클리드 노름을 더 일반화해서 정의한 $p$-노름($p$-norm)도 있다.

                  (4)

차수 $p$가 계속 커지면, 좌표 성분중에서 큰 값이 우세해진다. 그래서 최대 노름(maximum norm) 혹은 무한대 노름(infinity norm)을 다음처럼 정의한다.

                  (5)

$p$-노름의 차수를 $1$로 선택하면 절대값으로 계산하는 택시 노름(taxicab norm)을 얻는다.

                  (6)

사각형으로 도시 계획된 도로를 지나는 택시의 이동 거리와 비슷하다고 해서 식 (6)을 택시 노름이라 부른다. 택시 노름 대신 사각형 도로로 유명한 맨해튼의 거리에 빗대서 맨해튼 노름(Manhattan norm)이라고도 한다.
벡터 노름이 $0$이 되는 벡터는 영 벡터(null vector)라고 한다. 성분이 모두 $0$인 벡터도 영 벡터(zero vector)라고 한다. 여기서 영 벡터의 영어 표현을 보면 다른 용어가 사용됨을 관찰할 수 있다. 우리말 표현은 같더라도 영어로는 벡터 노름이 $0$인 벡터를 영(零) 벡터(zero vector)와 다르게 (無) 벡터(null vector)라고 부른다. 우리가 자주 쓰는 $p$-노름에서는 무 벡터가 영 벡터이기 때문에 용어를 섞어쓰더라도 관계는 없다. 하지만 엄밀하게는 쓸 때는 구별해야 한다. 벡터 노름 정의는 여러 개가 있기 때문에, 벡터 노름을 $0$으로 만드는 무 벡터는 영 벡터만 유일하다고 할 수는 없다. 즉, 영 벡터는 항상 무 벡터이지만, 무 벡터라고 해서 영 벡터라는 보장은 없다.
벡터 노름은 유클리드 거리를 유추해서 손쉽게 정의할 수 있지만, 행렬 노름의 정의에는 수준이 다른 고민이 숨어있다. 왜냐하면 행렬은 행과 열에 모두 원소가 있기 때문에 단순히 벡터 노름을 변형해서 정의하기 어렵다. 그래서 연립 방정식 ${\bf Ax}$ = $\bf b$에 등장하는 행렬의 곱 ${\bf Ax}$를 이용해서 행렬을 벡터로 바꾼 후 행렬 노름을 다음처럼 멋드러지게 정의한다.

                  (7)

여기서 $\bf x$는 임의의 모든 열 벡터(column vector)이다. 열 벡터에 따라 벡터 노름 $\|{\bf Ax}\|$는 달라지므로, 행렬 $\bf A$가 $\|{\bf x}\|$를 기준으로 $\|{\bf Ax}\|$를 최대로 증폭하는 비율로써 행렬 노름 $\|{\bf A}\|$를 정의한다. 또한 행렬 노름은 벡터 노름을 바탕으로 정의하므로, $p$-노름을 강조해서 다음처럼 식 (7)을 다시 쓸 수 있다.

                  (8)

행렬 노름의 개념은 조건수(條件數, condition number) 정의에 필수적이다. 연립 방정식 ${\bf Ax}$ = $\bf b$에서 입력 열 벡터 $\bf b$의 작은 변화 $\Delta {\bf b}$에 대해, 연립 방정식을 풀어서 얻는 출력 열 벡터 $\bf x$의 변화 비율로 조건수를 정의한다. 즉, 조건수는 행렬 연산에 필연적으로 생기는 수치 계산의 오차율을 의미한다. 조건수를 엄밀히 정의하기 위해, 다음과 같은 연립 방정식의 계산 오차 $\Delta {\bf b}$와 $\Delta {\bf x}$를 고려한다.

                  (9)

여기서 불필요하게 생기는 입력 오차 $\Delta {\bf b}$에 의해 해 $\bf x$가 변하는 출력 오차를 $\Delta {\bf x}$라 한다. 식 (9)의 유도 과정을 행렬 노름으로 깔끔하게 표현한다.

                  (10)

식 (10)의 두 부등식을 나누어서 오차를 오차율로 바꾼다.

                  (11)

식 (11)에 등장한 행렬과 역행렬의 행렬 노름 곱을 행렬 $\bf A$의 조건수 ${\rm cond}({\bf A})$라 한다.

                  (12)

여기서 ${\rm cond}({\bf A})$는 $\kappa({\bf A})$로 표기하기도 한다. 식 (11)에 따라 조건수 ${\rm cond}({\bf A})$는 입력 열 벡터의 변화 비율 $\| \Delta {\bf b}\|/\|  {\bf b}\|$이 행렬 $\bf A$에 의해 증폭되어 나타나는 출력 열 벡터의 변화 비율 $\| \Delta {\bf x}\|/\|  {\bf x}\|$에 대한 최대 한계를 규정한다. 다만 조건수를 정의할 때에 사용한 행렬 노름은 $p$-노름을 사용하므로, 행렬 $\bf A$가 동일하더라도 차수 $p$에 따라 조건수는 달라질 수 있다.
행렬 노름의 정의에 식 (3)에 나온 유클리드 노름을 선택할 경우는 주로 행렬의 고유치(eigenvalue)와 고유 벡터(eigenvector) 개념을 이용한다. 먼저 대칭 행렬(symmetric matrix)을 만들기 위해 행렬 노름의 제곱을 고려한다.

                  (13)

여기서 $\bf S$ = ${\bf A}^T {\bf A}$는 대칭 행렬이다. 대칭 행렬의 고유치는 실수이고 서로 다른 고유치를 가진 대칭 행렬의 고유 벡터는 서로 직교한다. 이 성질을 이용해서 행렬 곱 $\bf S x$를 직교하는 고유 벡터의 선형 결합(linear combination)으로 다시 표현한다.

                  (14)

여기서 $\alpha_i$는 선형 결합의 계수, $\lambda_i$는 고유치, $\hat {\bf x}_i$는 $\lambda_i$에 대한 단위 고유 벡터(unit eigenvector)[$|\hat {\bf x}_i|$ = $1$]이다. 식 (14)를 식 (13)에 넣어서 행렬 관계를 대수 관계로 바꾼다.

                  (15)

여기서 $r_1^2 + r_2^2 + \cdots + r_n^2$ = $1$이다. 만약 $\lambda_1$이 최대 고유치라면, $r_1^2$ = $1 - r_2^2 - \cdots - r_n^2$을 식 (15)에 대입해서 최대값을 구한다.

                  (16)

따라서 유클리드 노름으로 정의한 행렬 노름의 제곱은 ${\bf A}^T {\bf A}$의 최대 고유치 동일하다.

                  (17)

여기서 $\lambda_{\max}[{\bf A}]$는 행렬 $\bf A$의 최대 고유치이다. 고유치의 최대값은 스펙트럼 반경(spectral radius)이라고도 한다. 만약 $\bf A$가 대칭 행렬이면, 식 (17)은 다음과 같이 더욱 간략화된다.

                  (18)

따라서 대칭 행렬인 경우의 조건수는 고유치의 최대값과 최소값의 비율이다.

                  (19)

여기서 $\lambda_{\min}[{\bf A}]$는 행렬 $\bf A$의 최소 고유치이다. 식 (19)에 따라 조건수의 최소값은 당연히 $1$이다. 고유치의 최소값이 $0$이면, 조건수는 가장 나빠져서 무한대로 발산한다. 즉, 해를 구할 수 없는 조건인 행렬식이 $0$인 경우는 조건수가 무한대로 가서 해의 계산 오차가 무한히 증가한다. 만약 고유치가 음수인 경우는 식 (19)의 결과에 절대값을 적용해서 계산해야 한다.

                  (20)

여기서 $|\lambda|[{\bf A}]$는 $\bf A$에 대한 고유치의 절대값, $\max$와 $\min$은 각각 고유치 절대값의 최대값과 최소값을 뜻한다.
행렬 $\bf A$가 대칭이 아닌 경우는 특이값 분해(singular value decomposition, SVD)를 이용한다. 유클리드 노름의 최대값은 특이값(singular value)이므로, 최대와 최소 특이값을 구해서 행렬 노름과 조건수를 명확히 정의한다.

                  (21)

                  (22)

여기서 $\sigma_{\max}[{\bf A}]$와 $\sigma_{\min}[{\bf A}]$는 각각 행렬 $\bf A$의 최대 및 최소 특이값이다.

[참고문헌]
[1] G. Strang, Linear Algebra and its Applications, 4th ed., Brooks/Cole, 2006.

[다음 읽을거리]