조금은 느리게 살자: 중심 극한 정리(Central Limit Theorem)

[경고] 아래 글을 읽지 않고 "중심 극한 정리"를 보면 바보로 느껴질 수 있습니다.

[그림 1] 중심 극한 정리의 의미(출처: wikipedia.org)

확률 변수(random variable)가 가진 경이로운 성질 중 하나로 중심 극한 정리(central limit theorem, CLT)가 있다[1]. 개별 확률 변수는 그 나름의 개성을 가질 수 있지만, 이 확률 변수를 계속 더한 값은 항상 정규 분포(normal distribution)에 수렴한다는 놀라운 특성이 바로 중심 극한 정리이다. 중심 극한 정리에 나오는 중심의 뜻은 푸아송 극한 정리(Poisson limit theorem)와 같은 확률에 대한 극한 정리 중에서도 가장 중심이 된다는 의미이다. 혹은 확률 변수를 더하면 확률 변수값은 주변보다 중심이 더 자주 나온다는 함의도 있다. 중심 극한 정리를 알기 위해, 주사위를 두 번 던지는 시행을 관찰한다. 주사위를 한 번 던지는 시행의 확률 변수를 $X$라 하면, 두 번 던진 주사위의 합이 만드는 확률 변수는 $Y$ = $X_1 + X_2$가 된다. 이 $Y$가 가질 수 있는 값의 범위는 2에서 12이다. 이 범위의 중심은 $(2+12)/2$ = $7$이며, 중심 극한 정리는 7이 가장 자주 나온다고 설명한다. 중심 극한 정리를 쓰지 않더라도, 경우의 수를 생각하면 7이 나오는 사건은 $6/36$ = $1/6$인 확률로 생긴다. 이 7인 경우는 2에서 12인 범위에서 가장 높은 확률을 가진다.

표본 평균(sample mean) $\bar X$와 큰 수의 법칙(law of large numbers)을 활용해서 중심 극한 정리를 증명한다.

[중심 극한 정리(central limit theorem)] [1]

표본수 $n$이 커질 때, 독립 항등 분포(independent and identical distribution) $X_1, X_2, \cdots, X_n$의 표본 평균 $\bar X$는 표준 정규 분포(standard normal distribution)에 수렴한다.

(1)

여기서 $\bar X$ = $(X_1 + X_2 + \cdots + X_n)/n$, $\mu$와 $\sigma$는 $X$의 평균과 표준 편차, $\Phi(z)$는 표준 정규 분포의 누적 분포 함수(cumulative distribution function, CDF); 큰 수의 법칙에서 $\bar X$의 평균과 표준 편차는 $\mu$와 $\sigma / \sqrt{n}$이다.

[증명]

먼저 확률 변수 $X$를 편하게 계산하기 위해 새로운 확률 변수 $Y$ = $(X- \mu) /\sigma$를 정의한다. 확률 변수 $Y$의 평균과 분산은 $E[Y]$ = $0$, ${\rm Var}[Y]$ = $1$, $E[Y^2]$ = $1$이다. 이 $Y$를 써서 $Z$를 표본 평균 $\bar Y$로 바꾼다.

(2)

식 (2)로 $Z$에 대한 적률 생성 함수(moment-generating function, MGF) $M_Z(s)$를 $M_Y(s)$의 거듭제곱으로 표현한다.

(3)

여기서 $Y_1, Y_2, \cdots, Y_n$은 독립 항등 분포이다. 식 (3)을 계산하기 위해 여러 가지 MGF를 계산한다: $M_Y(0)$ = $E[1]$ = $1$, $M_Y'(0)$ = $E[Y e^{sY}]\Big|_{s=0}$ = $E[Y]$ = $0$, $M_Y''(0)$ = $E[Y^2 e^{sY}]\Big|_{s=0}$ = $E[Y^2]$ = $1$, 여기서 $(\cdot)'$는 $s$에 대한 미분이다. 식 (3)에 로그 함수를 적용하고 $n$을 무한대로 보내며 로피탈의 규칙(L'Hopital's rule)으로 극한을 처리한다.

(4)

여기서 $u$ = $1/\sqrt{n}$, $(\cdot)'$는 입력 변수(argument)에 대한 미분이다. 따라서 MGF는 $M_Z(s)$ = $e^{s^2/2}$로 얻어진다. 이는 평균 0, 표준 편차가 1인 표준 정규 분포의 MGF가 된다.

______________________________

표본수 $n$이 무한대로 갈 때만 표본 평균이 정규 분포를 이루지만, 표본수가 충분히 큰 경우에도 정규 분포로 표본 평균을 근사할 수 있다. 다만 수학적으로 충분히 큰 조건을 명확히 정의해야 한다.

베르누이 시행 회수가 커질수록 이항 분포(binomial distribution)는 정규 분포에 접근한다는 드 무아브르–라플라스 정리(de Moivre–Laplace theorem)도 중심 극한 정리로 쉽게 유도할 수 있다. 베르누이 분포(Bernoulli distribution)의 확률 변수 $T$ $\sim$ $B(1, p)$가 만드는 표본 평균 $\bar T$ = $(T_1 + T_2 + \cdots + T_n)/n$을 고려한다. 여기서 $B(n, p)$는 시행 회수 $n$, 성공 확률 $p$인 이항 분포이다. 중심 극한 정리에 의해 $Z$ = $(\bar T - \mu) \mathbin{/} (\sigma / \sqrt{n})$ = $(\bar T - p) \mathbin{/} (\sqrt{pq/n})$는 표준 정규 분포가 되므로, $X$ = $T_1 + T_2 + \cdots + T_n$의 확률 밀도 함수(probability density function, PDF) $f_X(x)$는 드 무아브르–라플라스 정리와 같은 결과를 도출한다.