이항 분포(Binomial Distribution)

[경고] 아래 글을 읽지 않고 "이항 분포"를 보면 바보로 느껴질 수 있습니다.

1. 확률

2. 이항 정리

3. 스털링의 공식

[그림 1] 베르누이 시행의 예인 동전 던지기(출처: wikipedia.org)

동전 던지기, 예-아니오 질문(yes-no question)과 같이 맞고 틀리는 2가지 경우만 나오는 통계 실험(statistical experiment)은 베르누이 시행(Bernoulli trial)이라 명한다. 베르누이 시행의 제안자는 야곱 베르누이Jacob Bernoulli(1655–1705)이다. 이 베르누이 시행이 만드는 이산 확률 분포(discrete probability distribution)는 베르누이 분포(Bernoulli distribution)로 이름 붙인다. 베르누이 시행에서 가능한 경우는 2가지라서 베르누이 분포의 확률 변수(random variable)는 이진 확률 변수(binary random variable)인 $X$ = $x$만 가능하다.

                          (1)

여기서 $x \in \{0, 1\}$; $p$는 성공, 참, 예, 1인 확률, $q$는 실패, 거짓, 아니오, 0인 확률; $p, q$는 이진 질문(binary question)의 답변 확률이므로 배반 사건(exclusive event)의 확률이다. 베르누이 분포의 평균과 분산은 쉽게 계산된다.

                          (2)

산술–기하 평균 부등식(inequality of arithmetic and geometric means)에 따라 베르누이 분포의 표준 편차는 $\sigma_X$ = $\sqrt{pq}$ $\le$ $(p+q)/2$라서 항상 0.5보다 작다.

[그림 2] 이항 분포의 예시(출처: wikipedia.org)

베르누이 시행이 독립적으로 여러 번 실행되는 경우는 베르누이 과정(Bernoulli process)이 된다. 베르누이 과정이 구성하는 이산 확률 분포가 바로 이항 분포(binomial distribution)이다.

                          (3)

여기서 $k$ = $0,1,\cdots, n$; $n$은 시행 회수, 이항 분포를 구성하는 계수는 이항 정리(binomial theorem)에 기인한다. 이항 분포를 따르는 확률 변수는 $X$ $\sim$ $B(n, p)$로 표기하며, $i$번째 베르누이 확률 변수 $T_i$의 합으로 공식화한다.

                          (4)

여기서 $T_i$는 독립 사건(independent event)이다. 식 (4)처럼 베르누이 과정은 성공이 나온 순서를 고려하지는 않고 성공과 실패가 나온 최종 결과만 가지고 판정하기 때문에, 이항 분포는 조합(combination)을 이용해서 만든다. 모두 성공이나 실패가 나올 수 있어서 $X$의 정의역은 $0, 1, \cdots, n$이다. 식 (4)와 공분산(covariance)을 이용하면 이항 분포의 평균과 분산을 편하게 결정할 수 있다.

                          (5)

여기서 서로 독립인 $T_i$의 공분산은 0이다.

[다음 읽을거리]

1. 연속 확률 분포

연속 확률 분포(Continuous Probability Distribution)

[경고] 아래 글을 읽지 않고 "연속 확률 분포"를 보면 바보로 느껴질 수 있습니다.

1. 확률

2. 적분법의 의미

[그림 1] 확률 밀도 함수와 누적 분포 함수(출처: wikipedia.org)

이산적인 경우의 수(number of cases or number of chances)로 표현하는 확률(probability)의 정의는 직관적이어서 좋지만 현실에서는 다루기가 너무 어렵다. 왜냐하면 사건(event)이 잘 구별되는 이산 확률(discrete probability)은 급수(series)로 표현되어서 매우 많은 사건의 합산이 닫힌 형식(closed form)으로 표현되기가 어렵기 때문이다. 이런 난해한 이산 확률을 [그림 1]처럼 말끔히 연결된 연속 확률(continuous probability)로 만들기 위해 이산 확률의 사건 개수인 $2M+1$을 무한대로 보낸다.

                  (1)

여기서 $A_m$은 $m$번째 사건이다. 하지만 전체 합이 1로 고정된 상황에서 사건 개수를 늘리면, 각 사건이 일어나는 확률 $P(A_m)$은 계속 줄어들어 0으로 간다. 그래서 물리학에 나오는 질량(mass)과 밀도(density) 개념에 바탕을 두고, 서로 떨어진 점 질량(point mass)의 나열로 보이는 식 (1)을 연결되어 떨어질 수 없는 밀도로 바꾼다. 이를 위해 집합(set)으로 정의하는 개별 사건 $A_m$ 대신, 범함수(functional)처럼 사건 분포를 실수 $x$의 범위인 $[x_m, x_{m+1}]$ = $x_m \le x \le x_{m+1}$으로 바꾸어서 $P(A_m)$을 다시 표현한다.

                  (2)

여기서 $\operatorname{Pr}[\cdot]$는 조건 $[\cdot]$를 만족하는 확률(probability), $X$는 $x$에 확률 개념을 넣은 확률 변수(random variable)이다. 식 (2)를 식 (1)에 대입해서 무한 급수(infinite series)를 적분으로 바꾼다.

                  (3)

여기서 $F_X(x)$ = $\operatorname{Pr}[X \le x]$이다. 식 (3)에서 $f_X(x)$는 $X$ = $x$에서 정의한 확률 밀도 함수(probability density function, PDF)이다. 반면에 $F_X(x)$는 확률 밀도가 아닌 누적된 확률인 누적 분포 함수(cumulative distribution function, CDF)이다.

                          (4)

확률 밀도 함수 $f_X(x)$에 대비되도록 이산 확률 $P(A_m)$ = $\operatorname{Pr}[X = x]$을 확률 질량 함수(probability mass function, PMF)로 부르기도 한다.

이산 확률의 개념을 확장해서 연속 확률의 평균(mean or average) $E[X]$, 분산(variance) $\operatorname{Var}[X]$, 적률 혹은 모멘트(moment) $E[X^n]$을 다양하게 정의한다.

                          (5)

여기서 $\sigma_X$는 표준 편차(standard deviation)이다. 특히 PDF가 유한 범위에서만 정의되면 그 평균은 CDF의 적분으로 간략화된다.

                  (6)

여기서 부분 적분(integration by parts)을 사용한다.

[그림 2] 균등 분포의 확률 밀도 함수(출처: wikipedia.org)

연속 확률 분포 중에서 가장 간단한 분포는 확률 변수 $X$의 발생 빈도가 동일한 균등 분포 혹은 고른 분포(uniform distribution)이다. [그림 2]와 같이 구간 $[a, b]$에 만들어진 균등 분포의 PDF는 $f_X(x)$ = $1 \mathbin{/}(b-a)$이다. 이를 식 (5)에 대입해서 평균과 분산을 계산한다.

                  (7a)

                  (7b)

여기서 $X$는 $[a, b]$에 정의된 확률 변수라서 보통 $X$ $\sim$ $U[a, b]$로 표기한다. 균등 분포는 보기에는 쉽지만 컴퓨터로 구현하기가 매우 까다롭다. 왜냐하면 컴퓨터는 근본적으로 계산 과정이 앞의 유한한 결과에 영향을 받는 유한 상태 기계(finite-state machine, FSM)이고, 상태가 유한해서 출력되는 숫자가 결국 반복되기 때문이다. 그래서 컴퓨터는 완벽하게 중구난방인 난수(random number)는 아니지만 특정 확률 분포와 비슷하게 나오는 유사 난수(pseudorandom number)를 발생시킨다. 결정론적으로(deterministic) 유사 난수를 만드는 컴퓨터의 기능은 유사 난수 발생기(pseudorandom number generator, PRNG)로 부른다. 균등 분포와 비슷한 난수를 만드는 균등 난수 발생기(uniform random number generator, URNG)를 사용하면, 여러 가지 확률 분포를 가진 유사 난수를 쉽게 만들 수 있다. 하지만 성능 좋은 URNG는 구현하기가 정말 난해하다.

기존 확률 분포로부터 새로운 확률 분포를 만들 때는 PDF를 직접 구하기보다 CDF를 먼저 공식화하고 식 (4)의 둘째식에 따라 미분해서 나중에 PDF를 만든다[1]. 예를 들어, $U$ $\sim$ $U[0, 1]$인 확률 변수로 발생시킨 $X$ = $e^U$의 PDF는 무엇일까? 여기서 $X$의 영역은 당연히 $[1, e]$이다. 이 문제를 바로 해결하기 곤란하므로 식 (4)의 첫째식으로 $X$의 CDF $F_X(x)$를 유도한다.

                  (8a)

그 다음에 식 (8a)를 $x$에 대해 미분해서 $f_X(x)$를 결정한다.

                  (8b)

여기서 $1 \le x \le e$이다. 따라서 균등 분포를 지수로 보낸 확률 변수의 PDF는 $1/x$를 따른다.

비슷한 방식으로 독립적인 균등 분포인 $X, Y$를 단순히 더한 확률 변수 $Z$ = $X+Y$도 생각해본다[1]. 여기서 $X$ $\sim$ $U[0, 1]$, $Y$ $\sim$ $U[0, 1]$이다. 해답은 $Z$ = $2X$라고 착각할 수 있지만 전혀 아니다. 두 확률 변수가 동일하게 나온다는 보장이 없어서 $2X$가 될 수 없다. 그러면 어떻게 해결할까? 독립적으로 변하는 $X, Y$가 있기 때문에 식 (4)를 그대로 쓸 수 없고 결합 확률 분포(joint probability distribution)를 도입해야 한다. 결합 확률 분포는 여러 확률 변수의 모든 조합이 생성하는 확률 분포를 뜻한다. 결합 확률 분포도 식 (4)와 비슷한 결합 확률 밀도 함수(joint probability density function)와 결합 누적 분포 함수(joint cumulative distribution function)를 만들 수 있다. 2개의 확률 변수에 대한 결합 PDF와 CDF는 다음처럼 정의된다.

                          (9)

식 (9)에 바탕을 두고 더 많은 확률 변수를 위한 결합 PDF와 CDF를 공식화할 수 있다. 식 (9)는 2차원 적분이라서 분석하기 어려운 때는 주변 확률 밀도 함수(marginal probability density function)를 선명하게 생성한다.

                          (10)

결합 확률 분포에서도 이산 확률처럼 상호 독립(mutually independent)을 단순한 곱셈으로 정의한다.

                          (11)

여기서 $X, Y$는 상호 독립인 확률 변수이다.

(a) $0 \le z \le 1$ 경우

(b) $1 \le z \le 2$ 경우

[그림 3] 선형 결합인 $Z$ = $X+Y$의 계산법

독립 확률 변수 $X, Y$가 완전히 독립적으로 생성되어서 일종의 순서쌍 $(X, Y)$가 된다면, 결합 PDF는 $f_{XY}(x, y)$ = $f_X(x) f_Y(y)$ = $1$로 간단하게 계산된다. 하지만 원래 문제에서 구하려는 확률 변수 $Z$는 서로 독립인 $X, Y$를 더해서 선형 결합(linear combination)인 $Z$ = $X+Y$를 만든다. 그래서 $X, Y$ 중 하나만 독립적으로 변하고, 나머지 하나는 $Z$에 종속된다. 이상을 종합해서 [그림 3]처럼 균등 분포인 $X$는 마음대로 변할 수 있고, $Y$는 $Z-X$에 종속되어 구해진다고 가정한다. 그러면 확률 변수 $Z$의 출력인 $z$의 크기에 따라 $Y$가 가질 수 있는 범위가 [그림 3]처럼 한정된다. 이때 $X, Y$가 중첩된 영역이 $Z$가 존재할 수 있는 확률 밀도이다.[선형 결합이란 조건이 없다면, 결합 PDF는 모든 정의역의 중첩으로 처리된다. 선형 결합일 때는 합산 조건을 만족하는 정의역에만 한정되어 중첩된다.]

                          (12)

여기서 $0 \le z \le 2$; $X$는 고정된 확률 변수이고 $Y$는 $X$에 종속된다. [그림 3]과 같은 계산법은 구형 함수(rectangular function)의 길쌈(convolution) 연산과 매우 유사하다. 선형 결합된 $Z$ = $X+Y$의 평균과 분산은 식 (5)에 식 (12)를 대입해서 구한다.

                          (13a)

지금 가정처럼 독립 확률 변수(independent random variable)인 경우는 식 (13a)와 같은 번거로운 과정 없이 기대값(expectation)의 분해와 공분산(covariance)이 0인 조건을 써서 쉽게 계산한다.

                          (13b)

여기서 $X, Y$는 독립이라 $\operatorname{Cov}(X, Y)$ = $0$이 성립한다.

[참고문헌]

[1] J. L. Devore, K. N. Berk, and M. A. Carlton, Modern Mathematical Statistics With Applications, 3rd ed., Cham, Switzerland: Springer, 2021.

전염병 확산 미분 방정식(Epidemic Spread Differential Equation)

[경고] 아래 글을 읽지 않고 "전염병 확산 미분 방정식"을 보면 바보로 느껴질 수 있습니다.

1. 미분 방정식의 의미

2. 람베르트 W 함수

[그림 1] 코로나-19의 감염 경로(출처: wikipedia.org)

코로나-19(coronavirus disease 2019, COVID-19) 시대를 거치면서 유명해진 미분 방정식(differential equation)이 하나 있다. 전염병이 퍼지는 속도를 표현하는 전염병 확산 미분 방정식(epidemic spread differential equation)을 풀기 위해 전염의 통계 지표인 기초 재생산수(basic reproduction number) $R_0$을 추정하고 감염자의 초기 조건을 설정한다. 그후 이 미분 방정식으로 미래의 감염 결과를 대략적으로 예측한다. 여러 전염병 확산 미분 방정식 중에서 가장 간단한 모형은 SIR 모형(susceptible-infectious-recovered model)이다[1]. SIR 모형은 문제를 어렵게 풀지 않고 전염될 수 있는 사람들인 감수군(susceptible) $S$, 병을 옮기는 감염군(infectious) $I$, 치료로 다 나은 회복군(recovered) $R$로 집단을 나눈다. 우리가 고려하는 집단과 그 상호 관계를 설정해 문제를 푸는 방식은 구획 모형(compartmental model)이라 한다. SIR 모형은 구획 모형의 성공적인 예이다. SIR 모형을 구성하는 연립 상미분 방정식(simultaneous ordinary differential equation)은 아래와 같다.

                          (1)

여기서 $S(t), I(t), R(t)$는 각각 감수군, 감염군, 회복군의 수, $N$은 변하지 않는 전체 인구수, $\beta$는 감염율(infection rate), $\gamma$는 회복률(recovery rate)이다. 회복률의 역수 $\gamma$는 평균 회복 시간이다. 식 (1)에서 $N$ = $1$로 두면, $S(t), I(t), R(t)$는 각각 감수군, 감염군, 회복군의 비율이 된다. 간략화를 위해 SIR 모형에서는 $S(t), I(t), R(t)$를 보통 비율로 가정한다. SIR 모형에서 통상적으로 선택하는 조건은 $I(0)$ $\approx$ $0$, $R(0)$ = $0$, $S(0)$ = $1-I(0)$ $\approx$ $1$이다. 여기서 $S(0) \gg I(0)$이다.

식 (1)이 나타내는 의미는 분명하다. 전염은 감수군과 감염군이 만날 때 나타나므로, 모든 가능한 접촉 비율은 $I(t) S(t)$이다. 이 접촉 중에서 시간당 및 사람당 감염이 되는 확률이 바로 $\beta$이다. 또 다른 매개변수 $\gamma$는 감염군이 시간당 회복하는 확률이다. 특히 $R_0$ = $\beta / \gamma$는 전염병 확산의 중요 지표인 기초 재생산수 혹은 기초 재생산율(basic reproduction rate)이다. 중요한 설정값인 $R_0$의 의미를 이해하기 위해서는 식 (1)을 풀어서 해를 관찰해야 한다.

식 (1)은 $I(t), S(t)$의 곱이 우변에 있어서 선형이 아닌 비선형 미분 방정식(nonlinear differential equation)이다. 어려워 보이지만 $\beta, \gamma$를 시간에 대한 상수로 두면, 식 (1)은 $R(t)$에 대한 상미분 방정식으로 간략화되면서 풀린다. 먼저 식 (1)의 첫째식에서 유추해 $S(t)$ = $S(0) e^{f(t)}$로 가정해서 원래식에 대입한다.

                          (2)

여기서 $f(0)$ = $0$, $R(0)$ = $0$이다. 식 (2)를 식 (1)의 셋째식에 대입해서 $R(t)$에 대한 상미분 방정식을 유도한다.

                          (3a)

                          (3b)

여기서 $\xi$ = $R(t)$이다. 마지막으로 우리가 쓰지 않은 식 (1)의 둘째식에 집중한다.

                          (4)

만약 $S(0)$ = $1/R_0$이면, $t$ = $0$에서 감염군은 일정하게 유지되고 감수군이 줄어들면서 감염군이 서서히 줄어든다. 혹은 $S(0)$ $<$ $1/R_0$라면 우변이 0보다 작아서 감염군이 지속적으로 감소한다. 하지만 $S(0)$ $>$ $1/R_0$인 경우는 처음부터 감염군이 커지면서 현재 계산하는 질병은 전염병으로 판정된다. 다만 $S(t) < S(0)$인 이유로 시간이 한참 흐른 후 발생하는 회복군 $R(\infty)$의 크기는 전염병마다 다를 수 있다.

최종 회복군 $R(\infty)$를 예측하기 위해 식 (3a)를 관찰한다. 무한대 시간이 흐른 후에는 함수값이 수렴해 변동이 없으므로, 식 (3a)의 우변은 0이 되어야 한다[1].

                          (5a)

식 (5a)의 해는 람베르트 W 함수(Lambert W function) $W(x)$이다.

                          (5b)

식 (5b)에 따라 최종 감수군 $S(\infty)$도 얻어진다.

                          (5c)

여기서 최종 시간의 감염군 $I(\infty)$는 당연히 0이다.

[참고문헌]

[1] F. Wang, "Application of the Lambert W function to the SIR epidemic model," Coll. Math. J., vol. 41, no. 2, pp. 156–159, Mar. 2010.

자율 미분 방정식(Autonomous Differential Equation)

[경고] 아래 글을 읽지 않고 "자율 미분 방정식"을 보면 바보로 느껴질 수 있습니다.

1. 미분 방정식의 의미

2. 선형 상미분 방정식

[그림 1] 자율계의 예인 시불변 시스템: $y_2(t)$ = $y_1(t-t_0)$(출처: wikipedia.org)

자율 미분 방정식(autonomous differential equation) 혹은 자율계(autonomous system)는 미분 방정식을 규정하는 항에 독립 변수 $x$는 없고 오직 종속 변수 $y$의 함수 $f(y)$만 있는 식이다. 예를 들면, 아래와 같은 1계 상미분 방정식은 우변에 $x$의 영향이 없기 때문에 1계 자율 미분 방정식(the first-order autonomous differential equation)으로 분류된다.

                          (1)

미분 $dy/dx$를 미분소 $dx, dy$의 나눗셈으로 생각해서 식 (1)의 해를 구한다.

                          (2)

식 (2)의 우측식과 같은 음함수(implicit function)는 라그랑주 반전 정리(Lagrange Inversion Theorem)를 써서 양함수(explicit function) 형태 혹은 역함수(inverse function)인 $y$ = $g(x)$로 만들 수 있다. 독립 변수 $x$가 시간 $t$인 경우는 시간 이동에 대해 시스템 특성이 변하지 않는 [그림 1]과 같은 시불변 시스템(time-invariant system)이 된다. 왜냐하면 항상 $dt$ = $d(t-t_0)$이기 때문이다.

2계 자율 미분 방정식(the second-order autonomous differential equation)은 $u(y)$ = $dy/dx$ = $y'$인 변수 치환을 통해 해결한다.

                          (3)

식 (3)에 $u$ = $dy/dx$를 대입해서 $u$의 미분에 대해 정리한다.

                          (4a)

식 (4a)의 최종 결과는 1계 상미분 방정식의 표준형이라서 그 해를 $u$ = $g(y)$로 둘 수 있다. 이를 다시 $u(y)$ = $dy/dx$로 치환해서 1계 자율 미분 방정식으로 만들면, 식 (2)에 의해 최종해가 결정된다.

                          (4b)

여기서 $du/dy$를 풀 때 필요한 적분 상수는 $g(y)$에 포함되어 있다.

[다음 읽을거리]

1. 라그랑주 반전 정리

위너–킨친 정리(Wiener–Khinchin Theorem)

[경고] 아래 글을 읽지 않고 "위너–킨친 정리"를 보면 바보로 느껴질 수 있습니다.

1. 확률

2. 푸리에 변환의 성질

[그림 1] 스펙트럼 분석기(spectrum analyzer)에 나타난 잡음 모습(출처: wikipedia.org)

열 잡음(thermal noise)처럼 시간에 따라 무작위(randomness)로 나오는 물리 현상을 분석하는 도구로 매우 유명한 확률 과정(random process) 혹은 추계 과정(stochastic process)이 있다. 확률 과정은 확률을 측정하는 확률 실험(random experiment)에 의해 도출되는 확률 변수(random variable)를 나열해서 구성한다. 나열되는 순서는 보통 시간을 따르기 때문에, [그림 1]처럼 시간에 따라 무작위로 변하는 확률 변수[그림 1에서 전력 분포]의 모임을 확률 과정이라 한다. 시간 대신 다른 매개변수[예를 들어 시행 순서, 저장 위치 등]의 차례를 가정하더라도, 이 순서의 변화는 확률 과정에 속한다. 전기 회로에 자주 나오는 잡음 전압(noise voltage)을 예로 보면, 오랜 시간 관찰한 잡음 전압은 평균(mean)이 거의 0 V이고, 표준 편차(standard deviation)는 온도에 따라 비례적으로 커지는 확률 과정이다.

[그림 2] 시간에 따른 입자의 위치 변동(출처: wikipedia.org)

물위에 떠있는 꽃가루의 움직임 같은 브라운 운동(Brownian motion)은 확률 과정의 또 다른 예가 된다. [그림 2]처럼 입자는 시간에 따라 무작위로 이동하지만, 이동 평균(moving average)은 대충 $x$ = $0$에 가깝고, 분산(variance)에 해당하는 이동 위치의 제곱은 0이 아닌 값을 가진다. 따라서 [그림 2]와 같은 브라운 운동은 확률 실험의 결과물인 표본 $s$에서 확률 변수 $X_{t, s}$ 혹은 $X(t, s)$를 시간 $t$ = $t_i$ 순서로 나열하는 확률 과정 $\{X_{t, s}\}$ 혹은 $\{X(t, s)\}$로 설명할 수 있다. 확률 실험의 표본이 하나라면 굳이 $\{X_{t, s}\}$로 표기하는 대신 간략화한 $\{X_{t}\}$ 혹은 $\{X(t)\}$를 사용한다. 시간마다 확률 변수를 완전히 바꾸면 이론화가 너무 어려워져서, 시간에 따라 $X_t$는 계속 바뀌지만 확률 분포(probability distribution)는 모든 시간에서 하나의 확률 변수 $X$의 함수로 생성된다고 가정한다. 이 경우를 확률 과정의 정상성(定常性, stationarity) 혹은 정상 확률 과정(stationary random process)으로 부른다.

정상성을 관찰하는 시간 범위를 축소해서, 안정 상태(steady state)처럼 $t$ = $0$에서 $\tau$까지 관찰한 결과가 이후 시간에도 특점 시점 $t_1, t_2$에 관계없이 계속 반복된다는 병진 대칭(translational symmetry)을 가진 정상성도 정의한다. 즉, 확률 과정은 $t_1, t_2$가 아닌 $\tau$ = $t_2 - t_1$의 병진 대칭성을 가진다. 이는 기존 정상성의 범위를 넓히거나 약화시킨 추상화라서 광의 정상성(wide-sense stationarity, WSS) 혹은 약의 정상성(weak-sense stationarity)으로 명한다. 시점을 2개가 아닌 임의 $n$개로 넓혀도 병진 대칭성이 있다는 정상성은 엄격 정상성(strict stationarity) 혹은 강한 정상성(strong stationarity)으로 구분한다. 광의 정상성은 킨친Aleksandr Khinchin(1894–1959)이 제안한 중요한 확률 개념이다. 이외에도 킨친은 확률 변수를 써서 확률 과정의 수학적 정의도 내렸다.

확률 지식에 기반해서 엄격 정상성과 광의 정상성을 각각 정의한다.

                          (1a: 광의 정상성, $\tau$ = $t_2 - t_1$)

                          (1b: 엄격 정상성)

여기서 $\operatorname{Cov}(X, Y)$는 공분산(covariance), 평균 $\mu_X$와 분산 $\operatorname{Var}[X]$ = $\sigma_X^2$은 유한; $F_X(\cdot)$는 $\{X_t\}$의 결합 확률 분포(joint probability distribution)로 만든 누적 분포 함수(cumulative distribution function)이다. 이름 그대로 $n$개 시점의 결합 확률 분포에 대해 병진 대칭성을 보장하는 엄격 정상성은 평균과 공분산 조건만 가진 광의 정상성보다 확률 기준으로 더 엄격하고 강력하다.

공분산 대신 신호 처리에 많이 쓰는 자기 상관(autocorrelation) 함수로 식 (1a)를 대신할 수 있다. 먼저 시간 평균(time average)을 이용해 확률 변수 $X$에 대한 자기 상관 함수 $\rho_{XX}(t_1, t_2)$와 자기 공분산(auto-covariance) 함수 $K_{XX}(t_1, t_2)$를 정의한다.

                          (2: 시간 평균)

                          (3a: 엄격 정상성)

여기서 $\langle X \rangle$는 $X$의 시간 평균이다. 시간 평균은 각 시간에 확률 변수가 발생하는 확률이 동일하다고 가정하고 계산한 평균이다. 광의 정상성에서는 시간차 $\tau$ = $t_2 - t_1$로 자기 상관과 공분산을 쓸 수 있어서 식 (3a)가 간략화된다.

                          (3b: 광의 정상성)

여기서 $K_{XX}(0)$ = $\sigma_X^2$이다. 따라서 광의 정상성에서는 시점에 무관하게 공분산이 같다는 조건이나 간편한 자기 상관 함수 $\rho_{XX}(\tau)$를 쓸 수 있다.

확률 과정 $x(t)$를 위해 정의한 자기 상관 함수 $\rho_{XX}(\tau)$와 광의 정상성 개념을 합쳐서, 간단하지만 심오한 정리인 위너–킨친 정리(Wiener–Khinchin theorem)를 만든다[1]. 증명에 앞서 관측 시간 $T$에서만 적분해서 만드는 절단된 푸리에 변환(truncated Fourier transform)을 정의한다.

                        (4a)

이 푸리에 변환의 크기 $|F_T(\omega)|$를 제곱하고 $T$로 나누어서 전력 스펙트럼 밀도(power spectral density) $S(\omega)$를 계산한다.

                       (4b)

여기서 $|F_T(\omega)|^2$은 에너지 스펙트럼 밀도(energy spectral density)이다. 이상을 종합해서 위너–킨친 정리를 유도한다.

[위너–킨친 정리] [1]

                       (5a)

                       (5b)

여기서 $X_T(\omega)$는 확률 과정 $x(t)$의 절단된 푸리에 변환이다.

[증명]

확률 과정 $x(t)$의 절단된 푸리에 변환 $X_T(\omega)$는 새로운 확률 변수가 된다.

                       (6a)

식 (6a)를 에너지 스펙트럼 밀도로 만들어서 시간 평균을 적용한다.

                       (6b)

식 (6b)에 나온 마지막식에 병진 대칭성에 대한 이중 적분식을 응용해서 단일 적분으로 바꾼다.

                       (6c)

여기서 $u$ = $t + \tau$이다. 시간 구간 $T$를 무한대로 보내면, 피적분 함수에 있는 $|\tau|/T$는 0으로 수렴하기 때문에 식 (5a)가 얻어진다. 식 (5b)는 식 (5a)의 푸리에 역변환(inverse Fourier transform)이다.

______________________________

식 (5b)에 $\tau$ = $0$을 대입하면, 위너–킨친 정리 방식의 파르세발의 정리(Parseval's theorem)가 얻어진다.

위너–킨친 정리를 이용해서 확률 과정인 잡음 전압(noise voltage) $v(t)$의 특성을 분석할 수 있다. 잡음이 생기는 전기 회로에 대한 확률 실험에서 적당한 표본을 선택해 시간 $T$ 동안 수집한 $v(t)$는 다음과 같다.

                       (7a)

여기서 $\omega_m$ = $2 \pi m \mathbin{/} T$; 진폭 $a_m, b_m$은 광의 정상성을 만족하며 실수인 확률 변수, $v(t)$는 푸리에 급수(Fourier series)로 공식화, 잡음 $v(t)$의 시간 평균값은 0이다. 식 (7a)로 구성한 자기 상관 함수는 다음과 같다.

                  (7b)

위너–킨친 정리에 따라 식 (7b)를 푸리에 변환함[식 (5a)의 결과]으로써 잡음 전압이 가진 전력 스펙트럼 밀도 $S(\omega)$를 계산한다. 이 밀도를 식 (5b)처럼 적분해서 잡음 전력(noise power) $P_\text{tot}$를 얻는다.

                       (7c)

다만 $P_\text{tot}$는 한 번의 확률 실험에서 구한 값이므로, 다른 실험을 무한히 반복해서 얻은 잡음 전력의 기대값(expectation) $E[P_\text{tot}]$를 최종적으로 계산한다.

                       (8a: 앙상블 평균)

                       (8b)

여기서 $s_i$는 확률 실험의 $i$번째 표본, 광의 정상성으로 인해 $a_m, b_m$이 따르는 분산은 $\sigma_m^2$으로 동일하다.[∵ 사인과 코사인 함수는 위상 지연만 차이나므로, 광의 정상성이라서 시간에 대한 병진 대칭성이 있는 $a_m, b_m$의 확률적 특성은 같다.]

[그림 3] 여러 악기로 구성하여 연주하는 모임인 앙상블(출처: wikipedia.org)

식 (8a)는 시간을 붙박이로 놓고 표본의 평균을 구한 기대값이며 앙상블 평균(ensemble average)으로 부른다. 앙상블 혹은 총체(總體, ensemble)는 확률 실험으로 나올 수 있는 모든 결과물의 모임이다. 표본을 고정한 식 (2)의 시간 평균과 시간을 고정한 식 (8a)의 앙상블 평균이 같은 경우는 에르고드 성질(ergodicity)이라 이름 붙인다. 에르고드는 통계 역학(statistical mechanics)을 발명한 볼츠만Ludwig Boltzmann(1844–1906)이 고대 그리스어 에르곤(일, 물체, ἔργον, work, thing)과 오도스(경로, ὁδός, path)를 합쳐서 만든 용어이다. 어원적으로 보면 에르고드는 사물이 지나는 길인 물체 경로를 의미한다. 에르곤에는 협회(guild)란 의미도 있어서, 에로고드를 물체 집단이 움직이는 전체 경로로 개념을 확장해 집단 경로로 의역해도 된다. 에르고드 성질을 가진 체계인 에르고드 시스템(ergodic system)에서는 시간적으로 오랫동안 특성을 관찰할 필요 없이, 정상 확률 과정 하나를 선택해서 평균과 같은 통계적 처리로 시간적 변화를 추계해도 된다.

[참고문헌]

[1] C. Jayaprakash, "Wiener-Khinchin theorem," Ohio State University, OH, USA. (방문일 2024-06-24)