2021년 12월 9일 목요일

양의 정부호 함수(陽의 正符號函數, Positive Definite Function)

[경고] 아래 글을 읽지 않고 "양의 정부호 함수"를 보면 바보로 느껴질 수 있습니다.


행렬 응용에 매우 중요한 양의 정부호 행렬(positive definite matrix) 개념에 바탕을 두고 함수용 2차 형식(quadratic form)의 부호를 항상 양으로 만드는 함수를 양의 정부호 함수(陽의 正符號函數, positive definite function)라고 한다. 양의 정부호 행렬과 거의 비슷하게 양의 정부호 함수 $\phi({\bf x})$를 다음과 같이 정의한다.

                  (1)

여기서 ${\bf x}_i$는 $i$번째 $n$차원 실수 벡터(real vector), ${\bf x}_i$는 서로 다른 구별 가능한 벡터, $\phi({\bf x})$는 $\mathbb{R}^n \rightarrow \mathbb{C}$인 복소 함수(complex function), $c_i$는 임의의 복소 상수(complex constant)이다. 식 (1)의 정의에 의해, 양의 정부호 함수 $\phi({\bf x})$는 $0$이 아닌 임의의 복소 상수 $c_i$를 2차 형식대로 곱하더라도 합한 결과는 항상 $0$보다 크다. 특히 ${\bf c}$ = $\bf 0$인 경우에만 2차 형식이 $0$이 되는 양의 정부호 함수를 엄격한 양의 정부호 함수(strictly positive definite function)라고 한다. 여기서 $\bf c$는 $(c_1, c_2, \cdots, c_n)$인 $n$차원 상수 벡터이다. 다만 양의 정부호 함수의 정의 자체가 $0$이 아닌 $c_i$를 가정하고 있어서 엄격한 양의 정부호 함수는 이미 정의한 양의 정부호 함수와 동일하다. 고정된 함수값 $\phi({\bf x}_i - {\bf x}_j)$를 행렬 원소 $\phi_{ij}$로 가지는 행렬을 $\bf \Phi$라 한다. 그러면 식 (1)은 다음과 같은 행렬 곱으로 표현할 수 있다.

                  (2)

여기서 $\bf c$는 복소 열 벡터(complex column vector), $\bf \Phi$ = $[\phi_{ij}]$ = $[\phi({\bf x}_i - {\bf x}_j)]$이다. 식 (2)의 결과는 양의 정부호 행렬의 정의이므로, 양의 정부호 함수로 만든 행렬은 자동적으로 양의 정부호 행렬이 된다. 다만 $\bf \Phi$는 꼭 에르미트 행렬(Hermitian matrix)이어야 하므로 양의 정부호 함수는 다음과 같은 특성을 가져야 한다. 임의의 복소 상수에 대해 식 (1)이 성립한다는 정의로부터 양의 정부호 함수 $\phi({\bf x})$가 가진 성질을 유도한다.

[양의 정부호 함수의 성질] [1]
(a) $\phi({\bf 0}) > 0$
(b) $\phi(-{\bf x}) = \phi^*({\bf x})$
(c) $\phi({\bf 0}) > |\phi({\bf x})|$
(d) $\phi({\bf 0}) \ne 0$
(e) 양의 정부호 함수 $\phi_i({\bf x})$의 선형 결합 $\sum_{i=1}^m a_i \phi_i({\bf x})$도 양의 정부호 함수가 된다. 여기서 $a_i > 0$이다.
여기서 $\bf 0$ = ${\bf x}_i - {\bf x}_i$ = $(0,0,\cdots,0)$이다.

[명제 (a)의 증명]
벡터 $\bf c$를 1차원이라 가정하면, $|c_1|^2 \phi({\bf 0}) > 0$이 되어야 하므로 $\phi({\bf 0})$는 실수이면서 $0$보다 커야 한다.

[명제 (b)의 증명]
이번에는 $\bf c$를 2차원이라 생각해서 식 (1)을 정리한다. 

                  (3)

여기서 $\bf x$ = ${\bf x}_1 - {\bf x}_2$이다. 식 (3)에 나온 $c$는 아무거나 될 수 있으므로, 식 (3)에 $c$ = $1$을 대입하고 전체 결과가 실수라고 생각하면 $\Im[\phi(-{\bf x})]$ = $-\Im[\phi({\bf x})]$가 나온다. 또한 $c$ = $i$인 경우는 $\Re[\phi(-{\bf x})]$ = $\Re[\phi({\bf x})]$이다. 이 두 조건을 합하면, $\phi(-{\bf x})$는 반드시 $\phi({\bf x})$의 켤레 복소수가 되어야 한다.

[명제 (c)의 증명]
명제 (b)를 이용해서 2차원 벡터 $\bf c$가 만드는 식 (1)의 조건을 확인한다.

                  (3)

여기서 $\bf x$ = ${\bf x}_1 - {\bf x}_2$, $c$ = $\phi({\bf x})$, $c_1$ = $|c|$, $c_2$ = $-c^*$로 둔다. 그러면 $\bf x \ne \bf 0$인 경우는 $\phi({\bf 0}) > |\phi({\bf x})|$인 결과를 얻는다.

[명제 (d)의 증명]
만약 $\phi({\bf 0})$ = $0$이면 명제 (c)가 성립할 수 없으므로, $\phi({\bf 0})$은 $0$이 될 수 없다.

[명제 (e)의 증명]
선형 결합한 함수 $\sum_{i=1}^m a_i \phi_i({\bf x})$를 식 (1)에 대입하면, 전체 결과는 항상 $0$보다 크다.
______________________________

명제 (b)에 의해 $\phi({\bf x})$로 만든 행렬 $\bf \Phi$는 에르미트 행렬이 저절로 된다. 즉, $i,j$를 바꾼 원소 $\phi_{ji}$ = $\phi({\bf x}_j - {\bf x}_i)$는 $\phi_{ij}^*$ = $\phi^*({\bf x}_i - {\bf x}_j)$이므로, 에르미트 행렬 원소의 조건을 정확히 만족한다.
양의 정부호 함수 $\phi({\bf x})$를 이용해서 생성한 행렬 $\bf \Phi$는 $n$차원 공간에 존재하는 두 점 ${\bf x}_i, {\bf x}_j$를 연속적으로 이어주는 속성을 가지므로 보간 행렬(interpolation matrix)이라 부른다.

                  (4)

보간 행렬을 만들어주는 $\phi({\bf x})$를 잘 선택해서 고정점 ${\bf x}_i$가 아닌 임의점 $\bf x$로 자유롭게 $\bf \Phi$를 만들 수도 있을까? 임의점 $\bf x$로 $\bf \Phi$를 만들려는 시도는 메어후버–커티스 정리(Mairhuber–Curtis theorem)에 의해 식 (4)의 행렬식이 $0$이 나오는 경우가 생겨서 항상 실패한다. 따라서 보간 행렬은 항상 고정점을 정해놓고 만들어야 한다.

[메어후버–커티스 정리(Mairhuber–Curtis theorem)] [2], [3]
서로 다른 점 ${\bf x}_i$와 상호 독립적인 양의 정부호 함수 $\phi_j({\bf x})$로 만든 보간 행렬 $\bf \Phi$는 어떤 점에서 반드시 행렬식이 $0$이며 역행렬이 존재하지 않는다.

[증명]
점 ${\bf x}(t)$는 $t$ = $0$에서 ${\bf x}(0)$ = ${\bf x}_1$이고 $t$ = $1$에서 ${\bf x}(1)$ = ${\bf x}_2$이라 생각해서 ${\bf x}(t)$ = ${\bf x}_1 + \sin(t \pi/2) ({\bf x}_2 - {\bf x}_1)$로 둔다. 첫째와 둘째 행에 ${\bf x}(t)$와 ${\bf x}(t+1)$을 추가해서 $\bf \Phi$를 생성한다.

                  (5)

먼저 $t$ = $0$에서 $|{\bf \Phi}| < 0$이라 가정한다. 그 다음에 $t$가 연속적으로 변해서 $t$ = $1$이 된다. 그러면 ${\bf x}(2)$ = ${\bf x}_1$이 되어서 첫째와 둘째 행의 원소가 서로 바뀐다. 행이 서로 교환된 행렬식의 성질에 의해 $|{\bf \Phi}| > 0$이 되어야 한다. 따라서 $t$의 변화에 따라 행렬식은 음수에서 양수로 바뀌므로, $|{\bf \Phi}|$ = $0$인 특정한 $t$가 존재한다.
______________________________

양의 정부호 함수의 정의역을 실수로 한정해서 식 (1)을 다시 쓰면 다음과 같다.

                  (6)

여기서 $c_i$는 실수인 상수, $\phi({\bf x})$는 실수 함수(real function)이다. 그러면 양의 정부호 함수의 성질에 따라 $\phi({\bf x})$는 우함수(even function)이며 $\bf x$ = $\bf 0$에서 멀어지면 함수값의 크기가 항상 작아진다.
특정 함수가 식 (6)을 만족하는 양의 정부호 함수인지는 주로 푸리에 변환(Fourier transform)으로 판정한다. 신호의 스펙트럼(spectrum) 분석에 쓰이는 푸리에 변환이 양의 정부호 행렬과 동등한 양의 정부호 함수의 판정에 쓰이는 사실은 매우 독특하다.

[푸리에 변환으로 양의 정부호 함수 판정] [1]
푸리에 변환이 $0$보다 큰 우함수는 양의 정부호 함수가 된다.

[증명]
다차원 푸리에 역변환(multidimensional Fourier inverse transform)을 이용해서 식 (6)을 파수 영역에서 다시 기술한다.

                  (6)

여기서 $c_p$는 임의의 실수 상수, $\Phi({\bf k})$는 $\phi({\bf x})$의 다차원 푸리에 변환이다. 조건에 의해 함수 $\phi({\bf x})$는 우함수이므로, 푸리에 변환의 성질에 따라 $\Phi({\bf k})$는 항상 실수이고 대소 관계를 비교할 수 있다. 따라서 양의 정부호 함수가 되기 위해서는 $\Phi({\bf k})$가 항상 $0$보다 크면 된다.
______________________________

상수 $c_p$가 복소수이고 $\phi(-{\bf x}) = \phi^*({\bf x})$이면, 식 (6)은 복소수 영역에서도 성립한다. 그래서 항상 $0$보다 큰 푸리에 변환을 가진 복소 함수 $\phi({\bf x})$는 자동적으로 식 (1)을 만족하는 양의 정부호 함수이기도 하다. 푸리에 변환으로 양의 정부호 함수를 결정할 수 있는 대표적인 예는 가우스 함수(Gaussian function)이다. 가우스 함수는 우함수이고 다차원에서도 푸리에 변환이 항상 $0$보다 크기 때문에, 다음처럼 가우스 함수 모양을 가진 $\phi({\bf x})$는 언제나 양의 정부호 성질을 가진다.

                  (7)

여기서 $\varepsilon$은 형상 모수(形狀母數, shape parameter), 벡터 노름(vector norm) 혹은 유클리드 노름(Euclidean norm)인 $\| {\bf x} \|$는 $\sqrt{x_1^2 + x_2^2 + \cdots + x_n^2}$로 정의한다. 양방향으로 감쇠하는 지수 함수의 다차원 푸리에 변환도 항상 $0$보다 크기 때문에, 형상 모수 $\varepsilon$이 $0$보다 크면 이 함수도 양의 정부호 함수가 된다.

                  (8)

여기서 $r$ = $\| {\bf x} \|$이다. 다중 2차 함수의 역수(inverse multiquadric function)에 대한 거듭제곱도 대표적인 양의 정부호 함수이다.

                  (9)

왜냐하면 다중 2차 함수의 역수[$m$ = $1$]는 가우스 함수의 이중 적분으로 표현될 수 있어서 다차원 푸리에 변환이 항상 $0$보다 크기 때문이다.

                  (10)

여기서 마지막식의 유도에 지수 함수와 가우스 함수의 관계를 도입한다. 따라서, 길쌈 정리(convolution theorem)에 의해 식 (9)의 다차원 푸리에 변환은 식 (10)의 푸리에 변환으로 만드는 다중 길쌈이므로, 식 (9)의 푸리에 변환도 항상 $0$보다 커서 양의 정부호 함수가 된다.

[참고문헌]
[1] G. Fasshauer, Multivariate Meshfree Approximation, Illinois Institute of Technology, USA, 2003. (방문일 2021-11-11)
[2] J. C. Mairhuber. "On Haar's theorem concerning Chebychev approximation problems having unique solutions," Proc. Am. Math. Soc., vol. 7, no. 4, pp. 609–615, Aug. 1956.
[3] P. C. Curtis, "n-parameter families and best approximation," Pac. J. Math., vol. 9, no. 4, pp. 1013–1027, Aug. 1959.

2021년 11월 24일 수요일

단체의 성질(Simplex)

[경고] 아래 글을 읽지 않고 "단체의 성질"을 보면 바보로 느껴질 수 있습니다.


[그림 1] 다양한 차원에 형성한 단체(출처: wikipedia.org)

3차원 (球, sphere)를 일반화한 초구(超球, hypersphere)는 그리거나 시각적으로 상상할 수 없기 때문에 수학적 논리와 유추로 탐구한다. 초구와 비슷한 방식으로 삼각형 혹은 사면체(四面體, tetrahedron)를 임의 차원으로 확장한 다면체는 단체(單體, simplex)라고 부른다. 예를 들어, $n$차원 단체(n-simplex)는 $n$차원에 만든 사면체의 일반화이다. 여러 차원에서 정의한 단체의 모습은 [그림 1]에 그려져 있다. 이름이 풍기는 의미처럼 단체는 간단함에서 나온 말이지만[단체보다는 간단체가 더 직관적인 번역], 단체를 다루기는 결코 쉽지 않다.

   
[그림 2] 직각 삼각형과 삼직각 사면체(출처: wikipedia.org)

우리가 $n$차원 단체를 상상할 때는 [그림 2]와 같은 직각 삼각형(right triangle)이나 삼직각 사면체(trirectangular tetrahedron)가 출발점이다. [그림 2]를 잘 관찰하면, 도형 그리기의 출발 위치는 다른 선과 직각이 형성되는 점인 단체의 기준점이 된다. 단체의 기준점에서 각 좌표축으로 그린 선분은 항상 서로 다른 선분에 수직이 된다. 이 개념은 다차원으로 쉽게 확장된다. 다차원 공간에서 기준점을 $\bar s$ = $(s_1, s_2, \cdots, s_n)$로 놓는다. 단체의 기준점 $\bar s$에서 출발하여 서로 수직이 되는 선분을 변으로 가진 다면체가 바로 $n$차원 단체이다. 보통은 간단하게 변 길이를 $|\bar x_i - \bar s|$ = $a$로 둔다. 여기서 $\bar x_i$는 단체를 구성하는 $i$번째 꼭지점, $\bar s$는 단체의 꼭지점이면서 기준점, $i$ = $1, 2, \cdots, n$이다. 기준점에서 다른 꼭지점까지 각도는 항상 직각이므로, $n$차원에 정의한 단체의 부피 $V_n$은 정적분으로 쉽게 표현된다.

                  (1)

여기서 $a$는 기준점에서 다른 꼭지점까지 길이이다. 예를 들어, 1차원 단체는 부피[혹은 길이] $a$ = $|\bar x_1 - \bar s|$를 가진다. 2차원 단체의 부피[혹은 면적]는 $\bar x_1, \bar x_2, \bar s$가 만드는 직각 삼각형의 면적이다. 즉, $\bar x_1 - \bar s$인 벡터에 수직인 방향[$\bar x_2 - \bar s$에 평행인 방향]으로 쌓아올린 면적이 단체의 부피 $V_2$이다. 마찬가지로 2차원 단체가 만드는 평면에 수직인 $\bar x_3$를 새로 정의해서 $\bar x_3 - \bar s$인 방향으로 만든 면적의 합을 $V_3$으로 정의한다. 또한 식 (1)에 등장한 계승(factorial) $n!$은 $n$차원에서 직육면체가 아닌 사면체 기준의 일반화를 뜻한다. 왜냐하면 직육면체의 일반화한 부피는 $a^n$이기 때문에 $n!$은 단체의 공간적 특성을 나타낸다. 꼭지점별로 변의 길이가 바뀔 때는 일차 함수 $y$ = $ax + b$에 따라 기준점에 대한 각 방향의 높이 변화를 $y$ = $m_i x$로 정한다. 그러면 식 (1)은 서로 다른 높이를 가진 단체의 부피로 변형된다.

                  (2)

여기서 $h_i$는 기준점 $\bar s$에 대한 꼭지점 $\bar x_i$의 높이인 $m_i a$이다.
[그림 3] 정사면체의 회전 모습(출처: wikipedia.org)

정삼각형(regular triangle)이나 정사면체(regular tetrahedron)를 일반화한 정칙 단체(regular simplex)도 존재한다. 정삼각형처럼 정칙 단체는 $n$차원에서 모든 꼭지점 사이의 거리가 일정하다. 또한 정칙 단체를 구성하는 꼭지점은 $n+1$개이다. 꼭지점중에서 $n$개를 뽑아 $\mathbb{R}^n$에서 초평면 $H$(hyperplane)을 만들 수 있다. 꼭지점 집합 $X$ = $\{\bar x_1, \bar x_2, \cdots, \bar x_n \}$으로 만드는 초평면 $H$는 $\mathbb{R}^{n-1}$ 공간을 만든다. 여기서 정칙 단체의 성질에 따라 $|\bar x_i - \bar x_j|$ = $1$로 설정한다. 초평면에 수직인 벡터를 만들기 위해 중심점 $\bar c$를 먼저 정의한다. 정사면체의 높이도 아래면 삼각형의 중심에 수직인 방향으로 만들어지므로, 정칙 단체의 높이 방향도 초평면의 중심에 수직하다고 가정한다[1].

                  (3)

중심점 $\bar c$에서 각 꼭지점 $\bar x_i$까지 가는 벡터를 $\bar a_i$ = $\bar x_i - \bar c$로 두면, 다음 벡터 관계식이 성립한다.

                  (4)

식 (4)의 셋째식을 제곱하고 각 식을 $j$에 대해 더해서 $|\bar a_i|^2$을 새롭게 정한다[1].

                  (5)

식 (5)에서 유도한 최종식의 우변은 $i$에 관계가 없기 때문에 $|\bar a_i|^2$은 $i$에 대해 상수이다. 따라서 $|\bar a_i|$는 다음과 같이 간략화된다.

                  (6)

마지막으로 초평면에 수직인 점 $\bar a_{n+1}$ = $\lambda \hat n$을 구한다. 여기서 $\lambda > 0$, $\hat n$은 초평면에 수직인 단위 벡터 혹은 평면의 법선 벡터이다. 정칙 단체의 정의에 의해 $|\bar a_{n+1} - \bar a_i|$ = $1$, $\bar a_{n+1} \cdot \bar a_i$ = $0$이 성립한다. 여기서 $i$ = $1, 2, \cdots, n$이다. 따라서 $\bar a_{n+1}$의 크기 $\lambda$가 다음과 같이 구해진다.

                  (7)

식 (7)에 의해 정칙 단체 구성에 필요한 마지막 점인 $\bar x_{n+1}$이 간단하게 유도된다.

                  (8)

식 (6)은 $n$차원 정칙 단체의 높이 $h_n$에 해당하므로, $n$차원 정칙 단체의 부피 $V_n$은 $V_{n-1}$과 $h_n$의 곱에 비례하고 식 (2)에 의해 $n$으로 나누어진다.

                  (9)

여기서 $n!$은 식 (1)과 (2)처럼 다차원 사면체의 성질을 나타낸다. 만약 변의 길이가 $a$라면, 식 (9)는 다음과 같이 변형된다.

                  (10)

식 (10)은 정삼각형의 면적과 정사면체의 부피가 서로 연관되는 특성을 보여준다. 또한 정사면체 부피의 성질을 확장해서 우리가 상상하기 어려운 다차원 정칙 단체의 부피까지도 식 (10)은 잘 보여주고 있다.

[참고문헌]
[1] F. Lazebnik, "On a regular simplex in $\mathbb{R}^n$," University of Delaware, USA, 2001. (방문일 2021-11-05)

[다음 읽을거리]

2021년 11월 23일 화요일

초구의 성질(Hypersphere)

[경고] 아래 글을 읽지 않고 "초구의 성질"을 보면 바보로 느껴질 수 있습니다.


[그림 1] 다차원에서 정의된 초구의 시각적 표현(출처: wikipedia.org)

초구(超球, hypersphere)는 4차원 이상에서 정의되는 구의 일반화된 대상체를 의미한다. 초구의 중심이 원점에 있는 경우, $n$차원에서 초구의 방정식은 다음과 같다.

                  (1)

여기서 $\bar r$ = $(x_1, x_2, \cdots, x_n)$, $r$은 초구의 반지름이다. 식 (1)을 변형해서 중심이 원점에서 $\bar c$ = $(c_1, c_2, \cdots, c_n)$으로 이동된 초구의 방정식도 얻는다.

                  (2)

일반화된 구를 표현하는 말로 초구 대신 $n$차원 구(n-sphere)를 쓸 수도 있다. 예를 들어, 0차원 구는 점, 1차원 구는 지름, 2차원 구는 (circle), 3차원 구가 흔히 말하는 구, 4차원 이상의 구는 초구이다.
구 좌표계에 나오는 방위각(azimuth) $\phi$와 극고도각(polar angle) $\theta$의 관계에서 유추하여 $n$차원 구 좌표계의 각도 $\varphi_n$을 한 단계 낮은 $n-1$차원의 구 반지름 $r_{n-1}$과 각도 $\varphi_{n-1}$로 표현할 수 있다. 차원을 낮추는 재귀 과정은 다음과 같이 계속 반복된다.

                  (3)

여기서 $x_i$는 $n$차원에서 $i$번째 좌표 성분, $r_i$는 $i$차원의 구 반지름, $0 \le \varphi_i \le \pi$, $(x, y, z)$ = $(x_1, x_2, x_3)$, $\varphi_1$ = $0$ 혹은 $\pi$, $\phi$ = $\pi/2 - \varphi_2$, $\theta$ = $\varphi_3$이다. 1차원 각도 $\varphi_1$이 전체 각도 범위에서 변하지 못하고 $0$ 혹은 $\pi$만 가능한 이유는 1차원인 경우 $x_1$ = $\pm r$이기 때문이다. 또한 식 (3)에 따라 반지름 $r_i$를 곱 기호로 나타낸다.

                  (4)

여기서 $r_n$ = $r$, $r_i^2 + x_{i+1}^2$ = $r_{i+1}^2$이 성립한다. 원의 반지름과 호의 길이에 대한 관계 $l$ = $r \theta$를 일반화해서 $n$차원 구의 표면적 $S_n$을 정의한다.

                  (5)

여기서 $B(x, y)$는 베타 함수(beta function), 삼각 함수 거듭제곱의 적분도 이용한다. 추가적으로 $S_n$을 양파 껍질 적분(onion skin integration)해서 $n$차원 구의 부피 $V_n$도 유도한다.

                  (6)

차원 $n$이 $2$ 혹은 $3$이면, $S_n$과 $V_n$은 각각 통상적인 원과 구의 표면적[원이면 둘레 길이]과 부피[원이면 당연히 면적]가 된다. 식 (5)와 (6)은 하나의 공식이므로, 차원을 더 낮추어 1차원과 0차원이 되게 할 수도 있다. 식 (1)에 의해 $x_1$ = $\pm r$이며 1차원이 변하는 범위는 선이다. 따라서 1차원의 부피 $V_1$은 $x_1$이 변하는 최대 길이인 지름 $2r$이 된다. 부피 $V_1$을 양파 껍질처럼 벗긴[혹은 기울기 역할을 하는] 표면적 $S_1$은 숫자 $2$이다. 또한 식 (3)에 따라 0차원은 반지름 $r_0$ = $0$, $x_0$ = $0$이다. 그래서 0차원 부피는 점이 되므로, 반지름과 상관없이 $V_0$ = $1$이 타당하다. 0차원의 표면적은 당연히 존재하지 않아서 자연스럽게 $S_0$ = $0$이다.

[다음 읽을거리]