조금은 느리게 살자: 푸아송 과정과 감마 분포(Poisson Process and Gamma Distribution)

[경고] 아래 글을 읽지 않고 "푸아송 과정과 감마 분포"를 보면 바보로 느껴질 수 있습니다.

[그림 1] 형상 모수(shape parameter) $\alpha$[그림에서는 $k$로 씀]와 척도 모수(scale parameter) $\theta$ = $1/\lambda$에 대한 감마 분포의 변화(출처: wikipedia.org)

이산 확률 분포인 푸아송 분포(Poisson distribution) $X$ $\sim$ ${\rm Poi}(\lambda')$를 연속적으로 만든 확률 분포는 감마 분포(gamma distribution)라 부른다. 감마 분포는 주로 $X$ $\sim$ $\Gamma(\alpha, \lambda)$처럼 표기한다. 감마 분포의 확률 밀도 함수(probability density function, PDF) $f_X(x)$를 정의하기 위해, ${\rm Poi}(\lambda')$에서 주어진 시간 $T$ 동안 생기는 평균적 사건 회수 $\lambda'$를 단위 시간당 출현하는 평균 사건 회수인 변화율 모수(rate parameter) $\lambda$와 시간 $x$의 함수로 바꾼다.

(1)

여기서 $\lambda$의 역수는 척도 모수(scale parameter) $\theta$가 된다. 식 (1)을 푸아송 분포에 대입해서 $f_X(x)$를 만든다.

(2a)

여기서 $k$는 시간 $x$ 동안 생긴 사건 회수, 시간 $x < 0$에서는 사건이 없어서 확률은 0, $A$는 $f_X(x)$의 적분을 1로 만드는 상수이다. 상수 $A$를 구하기 위해 식 (2a)를 적분한다.

(2b)

여기서 $\Gamma(x)$는 감마 함수(gamma function)이다. 식 (2b)에서 얻은 $A$ = $\lambda$를 식 (2a)에 대입하고 $f_X(x)$의 모양을 감마 함수의 피적분 함수와 맞추기 위해 $k$ = $\alpha - 1$로 바꾼다.

(3)

여기서 $\alpha$는 감마 분포의 형상 모수이며 $\alpha > 0$을 만족한다. 감마 분포의 누적 분포 함수(cumulative distribution function, CDF) $F_X(x)$는 불완전 감마 함수(incomplete gamma function)로 표현된다.

(4)

여기서 $\gamma(a, x)$는 하단 불완전 감마 함수(lower incomplete gamma function)이다.

감마 분포에서 $\alpha$ = $1$인 특별한 경우는 지수 분포(exponential distribution) ${\rm Exp}(\lambda)$로 칭한다.

(5)

푸아송 분포를 참고하면 $\alpha$ = $1$인 조건은 사건이 발생하지 않는 $k$ = $0$인 경우와 동일하다. 예를 들어, 지수 분포는 드루데 모형(Drude model)을 유도할 때 효과적으로 쓰인다. 옴의 법칙(Ohm's law)을 유도하기 위해서는 전자가 양성자에 충돌하지 않는 확률을 계산해야 한다. 이때 도입되는 확률 분포가 지수 분포이다.

감마 함수의 성질을 활용해서 감마 분포의 평균과 분산을 계산한다.

(6)

여기서 $\Gamma(\alpha + 1)$ = $\alpha \Gamma(\alpha)$이다.

[그림 2] 베르누이 과정으로 설명하는 푸아송 과정

베르누이 과정(Bernoulli process)에서 시간을 재면서 변화율 모수(rate parameter) 혹은 단위 시간당 평균 사건 회수인 $\lambda$로 발생하는 사건을 헤아리는 절차 $N(t)$는 푸아송 과정(Poisson process)이라 명한다. 물론 각 사건은 무작위로 출현한다. 여기서 $N(t)$는 $0$에서 $t$까지 사건이 발생하는 회수이다. 예를 들어, [그림 2]에서 $N(t < T_1)$ = $0$, $N(T_2 \le t < T_3)$ = $2$ 등이 성립한다. 더 일반화해서 베르누이 과정이란 전제 없이 각 사건이 독립이며 변화율 $\lambda$만 아는 경우도 푸아송 과정이 된다. 푸아송 과정은 다음과 같은 특성이 있다.

$N(0)$ = $0$
시간 간격 $\tau$ 동안 발생하는 사건 회수는 푸아송 분포 ${\rm Poi}(\lambda \tau)$를 따름

푸아송 과정을 잘 이해하기 위해 [그림 2]에 소개한 베르누이 과정인 동전 던지기를 고려한다[1]. 동전은 주기 $T$로 던져지며, 우리는 동전 앞면이 나오는 사건만을 헤아린다. 동전 앞면이 나오는 확률은 변화율 모수에 따라 $p$ = $\lambda T$이다. 시간 $t$까지 우리가 관찰하는 사건 개수는 $n$ $\approx$ $t/T$이다. 그러면 이항 분포의 정의에 의해 앞면이 나오는 사건 회수의 평균은 $\mu$ = $np$ $\approx$ $t/T \cdot \lambda T$ = $\lambda t$이다. 그래서 이 결과는 식 (1)에 정확히 부합한다. 이때 동전 던지는 주기 $T$를 아주 작게 하면, $n$은 계속 커지고 $p$는 작아지기 때문에, 동전 앞면이 나오는 사건은 희귀 사건(rare event)이 된다. 그래서 $T$를 0으로 보내는 이항 분포는 푸아송 극한 정리(Poisson limit theorem)를 만족하기 위해 푸아송 분포인 ${\rm Poi}(\lambda t)$로 변화되어야 한다.

[그림 2]에서 동전 앞면이 한 번 나오기까지 걸리는 시간 $T_1$을 추적한다. 첫번째 도착 시간(the first arrival time)에 해당하는 $T_1$의 확률 변수를 $X_1$이라 놓는다. 이 경우 $X_1 > t$인 확률은 $t$까지 사건이 발생하지 않는 확률과 같다. 이는 푸아송 분포에서 $k$ = $0$에 해당한다.

(7a)

식 (7a)를 써서 $t$까지 $X_1$이 생길 CDF를 계산한다.

(7b)

여기서 $F_{X_1}(t \le 0)$ = $0$이다. 이 CDF는 지수 분포의 CDF와 동일하기 때문에, $X_1$은 지수 분포를 좇아간다. 앞면이 한 번 나온 후 두번째 앞면이 나올 때까지 걸리는 시간, 즉 두번째 도착 시간(the second arrival time)은 $T_2 - T_1$이다. 이 확률 분포를 $X_2$라고 한 경우, 동전 던지기는 기본적으로 베르누이 과정이므로 $X_2$는 $X_1$과 독립이다. 결국 $X_2, X_3, \cdots$ 등이 모두 독립적으로 지수 분포를 따라간다.

제$n$번째까지 모든 도착 시간을 합한 $X$ = $X_1 + X_2 + \cdots + X_n$의 확률 분포를 파악하려고 적률 생성 함수(moment-generating function, MGF) $M_X(s)$를 도입한다. 첫단계로 지수 분포의 MGF를 계산한다.