재미나는 정보량의 정의(Definition of Information Content)

[경고] 아래 글을 읽지 않고 "재미나는 정보량의 정의"를 보면 바보로 느껴질 수 있습니다.

1. 확률

2. 이항 분포

[정보 기술의 아버지: 섀넌]

통신 이론(communication theory)의 기반을 이루는 정보 이론(information theory)은 식 (1)과 같은 단순한 공식으로 시작한다.

                       (1)

여기서 $E$는 어떤 사건(event)이며 $p(E)$는 $E$가 일어날 확률(probability)이다. 식 (1)은 섀넌Claude Elwood Shannon(1916–2001)이 1948년섀넌 32세, 대한민국 정부 원년에 제안한 정보량(information content)의 정의이다[1]. 단순한 로그 함수(logarithmic function)로 구성된 정보량을 기반으로 통신 이론의 감초인 식 (2)의 섀넌–하틀리 정리(Shannon–Hartley theorem)[1]를 유도할 수 있음은 수학의 위대한 힘을 보여준다.

                       (2)

여기서 $C$는 채널 용량(channel capacity), $B$는 대역폭(bandwidth), $S/N$은 신호대 잡음비(SNR: Signal to Noise Ratio)이다. 섀넌이 천재라 불리고 위대한 점은, 비트라는 말이 거의 처음 생겼을 무렵[1943년 즈음 투키(John Wilder Tukey)가 제안] 이미 장래의 정보 기술(information technology, IT)에 필요한 거의 모든 이론을 이미 완성했음이다. 섀넌이 논문을 완성한 해는 1944년섀넌 28세, 일제 식민지 시절이지만, 대중에게 공개된 해는 1948년이다[1].

[그림 1] 영국산 불독(출처: wikipedia.org)

섀넌이 식 (1)처럼 정의한 이유를 생각한다. 조금만 생각해보면 알지만 섀넌 정의는 스무고개(twenty questions)와 동일하다. 스무고개는 예, 아니오만 답할 수 있는 질문을 상대방에게 계속해서 특정 사물을 찾아내는 놀이이다. 여기서 예-아니오 질문(yes-no question)은 베르누이 시행(Bernoulli trial)의 대표적인 사례이다. 예를 들어, 내가 생각하는 답이 [그림 1]과 같이 개인 경우 상대방은 아래와 같은 질문을 해서 답을 맞출 수 있다.

• 살아있습니까? 예 → 생물이군.
• 식물입니까? 아니오 → 동물이군.
• 집에서 키웁니까? 예 → 가축이군.
• 새끼를 낳습니까? 예 → 포유류군.
• 어린이보다 키가 작은가요? 예 → 개나 고양이군.
• 개입니까? 예, 맞았습니다.

이런 질문을 통해 개라는 답을 찾은 경우 이 답의 정보량은 얼마인가? 여기에 대한 수학적인 답이 식 (1)이다. 예, 아니오만 답할 수 있음은 이진수(binary number)인 비트(binary digit, bit)를 의미한다. 위에 제시한 스무고개에서 6번의 질문만에 답을 맞추었으므로 정보량은 6비트이다. 이 개념을 일반화한다. 어떤 사건이 발생하고 이 사건의 정보량을 알기 위해서는 스무고개를 해야한다. 어떤 사건이 자주 일어난다면 몇 번 질문할 필요없이 쉽게 답을 맞출 수 있고 아주 드물게 일어난다면 많은 질문을 해야 답을 찾을 수 있다. 그래서 섀넌도 답을 얻기 위해 예 혹은 아니오 질문을 하는 평균 회수를 정보량으로 정의했다. 예를 들어 개는 흔한 동물 이름이기 때문에 스무고개에 등장하면 쉽게 답을 맞출 수 있지만, 내가 생각하는 답이 생전 처음 들어보는 원소인 운운셉튬(Ununseptium)이라면 답을 맞추기가 매우 어렵다. 그래서, 정보량이라는 개념은 희소성(rareness), 놀라움(surprisal), 불확실성(uncertainty), 무작위성(randomness)과 밀접한 관계가 있다. 이 개념과 함께 확률의 초보적 정의를 본다.

                                    (3)

여기서 $N$은 일어날 수 있는 모든 경우의 수[혹은 전사건(全事件, total event)의 개수], $n$은 사건 $A$가 발생하는 경우의 수이며, 모든 사건은 공평하게 발생한다고 가정했다. 식 (3)에서 $n$이 작아질수록 희소성이 있으며 놀라우며 불확실성이 증가함을 알 수 있다. 식 (3)을 식 (1)에 대입하여 보기 편한 형태로 만든다.

                                    (4)

즉, 스무고개와 마찬가지로 [그림 2]와 같이 예 혹은 아니오를 통해[혹은 이분법을 통해] 나눌 수 있는 가지수[혹은 비트수]를 정보량으로 정한다.

[그림 2] 트리(tree) 구조(출처: wikipedia.org)

[그림 2]에 보인 여러 경우 중에서 베르누이 시행인 예-아니오 질문으로 정확한 답을 찾을 수 있는 확률이 바로 그 대상이 가진 정보량이다. 단순하고 직관적이면서도 정말 멋진 개념이다. 

[참고문헌]
[1] C. E. Shannon, "A mathematical theory of communication", Bell System Tech. J., vol. 27, pp. 379–423, 623–656, July, Oct. 1948.