조금은 느리게 살자: 재미나는 정보량의 정의(Definition of Information Content)

[경고] 아래 글을 읽지 않고 "정보량의 정의"를 보면 바보로 느껴질 수 있습니다.

[정보 기술의 아버지: 섀넌]

통신 이론(communication theory)의 기반을 이루는 정보 이론(information theory)은 식 (1)과 같은 단순한 공식으로 시작한다.

(1)

여기서 $E$는 어떤 사건(event)이며 $p(E)$는 $E$가 일어날 확률(probability)이다. 식 (1)은 섀넌Claude Elwood Shannon(1916–2001)이 1948년섀넌 32세, 대한민국 정부 원년에 제안한 정보량(information content)의 정의이다[1]. 단순한 로그 함수(logarithmic function)로 구성된 정보량을 기반으로 통신 이론의 감초인 식 (2)의 섀넌–하틀리 정리(Shannon–Hartley theorem)[1]를 유도할 수 있음은 수학의 위대한 힘을 보여준다.

(2)

여기서 $C$는 채널 용량(channel capacity), $B$는 대역폭(bandwidth), $S/N$은 신호 대 잡음비(SNR: Signal to Noise Ratio)이다. 섀넌이 천재라 불리고 위대한 점은, 비트라는 말이 거의 처음 생겼을 무렵[1943년 즈음 투키(John Wilder Tukey)가 제안] 이미 장래의 정보 기술(information technology, IT)에 필요한 거의 모든 이론을 이미 완성했음이다. 섀넌이 논문을 완성한 해는 1944년섀넌 28세, 일제 식민지 시절이지만, 대중에게 공개된 해는 1948년이다[1].

[그림 1] 영국산 불독(출처: wikipedia.org)

섀넌이 식 (1)처럼 정의한 이유를 생각해보자. 조금만 생각해보면 알지만 섀넌 정의는 스무고개(twenty questions)와 동일하다. 스무고개는 예, 아니오만 답할 수 있는 질문을 상대방에게 계속해서 특정 사물을 찾아내는 놀이이다. 예를 들어 내가 생각하는 답이 [그림 1]과 같이 개인 경우 상대방은 아래와 같은 질문을 해서 답을 맞출 수 있다.

살아있습니까? 예 → 생물이군.
식물입니까? 아니오 → 동물이군.
집에서 키웁니까? 예 → 가축이군.
새끼를 낳습니까? 예 → 포유류군.
어린이보다 키가 작은가요? 예 → 개나 고양이군.
개입니까? 예, 맞았습니다.

이런 질문을 통해 개라는 답을 찾은 경우 이 답의 정보량은 얼마인가? 여기에 대한 수학적인 답이 식 (1)이다. 예, 아니오만 답할 수 있음은 이진수(binary number)인 비트(binary digit, bit)를 의미한다. 위에 제시한 스무고개에서 6번의 질문만에 답을 맞추었으므로 정보량은 6비트이다. 이 개념을 일반화 시켜보자. 어떤 사건이 발생하고 이 사건의 정보량을 알기 위해서는 스무고개를 해야한다. 어떤 사건이 자주 일어난다면 몇 번 질문할 필요없이 쉽게 답을 맞출 수 있고 아주 드물게 일어난다면 많은 질문을 해야 답을 찾을 수 있다. 그래서, 섀넌도 답을 얻기 위해 예 혹은 아니오 질문을 하는 평균 회수를 정보량으로 정의했다. 예를 들어 개는 흔한 동물 이름이기 때문에 스무고개에 등장하면 쉽게 답을 맞출 수 있지만, 내가 생각하는 답이 생전 처음 들어보는 원소인 운운셉튬(Ununseptium)이라면 답을 맞추기가 매우 어렵다. 그래서, 정보량이라는 개념은 희소성(rareness), 놀라움(surprisal), 불확실성(uncertainty), 무작위성(randomness)과 밀접한 관계가 있다. 이 개념과 함께 확률의 초보적 정의를 보자.

(3)

여기서 $N$은 일어날 수 있는 모든 경우의 수[혹은 전사건(全事件, total event)의 개수], $n$은 사건 $A$가 발생하는 경우의 수이며, 모든 사건은 공평하게 발생한다고 가정했다. 식 (3)에서 $n$이 작아질수록 희소성이 있으며 놀라우며 불확실성이 증가함을 알 수 있다. 식 (3)을 식 (1)에 대입하여 보기 편한 형태로 만들자.