[경고] 아래 글을 읽지 않고 "채널 용량과 정보 전송의 한계"를 보면 바보로 느껴질 수 있습니다.
[그림 1] 신호대 잡음비(signal-to-noise ratio, SNR)에 대한 채널 용량(channel capacity)의 변화(출처: wikipedia.org)
통신이 이루어지는 경로인 채널(channel)을 통과하는 정보 전송(information transmission) 속도의 최대값인 채널 용량(channel capacity) $C$는 모든 디지털 및 아날로그 통신의 전송 한계를 규정한다. 통신의 중요한 지표인 채널 용량은 이산 채널(discrete channel)을 기준으로 통신을 지배하는 개념인 시스템 상호 정보(system mutual information) $I(X; Y)$의 최대값으로 정의한다.
(1)여기서 $X$와 $Y$는 송신 및 수신 기호(Tx & Rx symbols)의 확률 변수(random variable), 시스템 상호 정보 $I(X; Y)$는 잡음이 있는 채널의 연결도[단위: 비트(bit)], $p(x_i)$는 송신 기호 $x_i$의 발생 확률이다. 송신 기호 $x_i$가 발생 확률 $p(x_i)$로 생기면, 채널 확률(channel probability) $p_{ji}$ = $p(y_j | x_i)$에 따라 수신 기호 $y_j$는 $p_{ji} p(x_i)$ 비율로 들어온다. 따라서 채널 용량을 규정하는 항목은 $x_i$의 발생 확률 $p(x_i)$와 채널 천이 행렬(channel transition matrix)이다. 채널 용량의 단위는 상호 정보 혹은 엔트로피와 동일하게 비트(bit)이지만, 이는 정보 전송을 맛깔나게 표현하지 못해서 너무 밋밋하다. 그래서 보낸 기호당 비트수(bit per symbol sent)인 bit/symbol이 채널 용량의 단위로 자주 사용된다. 이 경우 보낸 기호(symbol sent)를 기준으로 정의한 이산 채널의 채널 용량임을 강조하기 위해 $C$ 대신 $C_s$를 쓰기도 한다.
[그림 2] 이진 대칭 채널(binary symmetric channel, BSC)에서의 정보 전송(출처: wikipedia.org)
이산 채널의 채널 용량을 구하기 위해 가장 간단한 이산 채널인 [그림 2]의 이진 대칭 채널(binary symmetric channel, BSC)을 고려한다. 송수신에서 잡음(noise)에 의해 비트가 바뀌는 확률인 교차 확률(crossover probability) $p$를 강조해서 [그림 2]의 구성을 $\text{BSC}_p$로 부른다. 이런 BSC의 채널 천이 행렬 ${\bf T}(Y|X)$는 매우 단순하다.
(2)여기서 $p$는 교차 확률, $q$ = $1-p$는 정상 확률이다. 식 (2)로 기술되는 $\text{BSC}_p$의 채널 용량 $C_\text{BSC}$를 유도한다. 먼저 수신 기호 $y_j$의 엔트로피(entropy) $H(Y)$와 선험적 조건부 엔트로피(a priori conditional entropy) 혹은 잡음 엔트로피(noise entropy) $H(Y|X)$를 계산한다.
(3a: 이진 엔트로피 함수)
(3b)
(3c)
(3d)여기서 송신 기호 $x_i$를 보내는 확률은 $a_0$ = $p(x_0)$, $a_1$ = $p(x_1)$; ${\bf T}(Y|X)$로 얻은 수신 기호 $y_j$를 받는 확률은 $b_0$ = $p(y_0)$, $b_1$ = $p(y_1)$; $a_0 + a_1$ = $1$, $b_0 + b_1$ = $1$이다. 식 (3d)에서 보듯이 선험적 조건부 엔트로피는 채널 잡음에 의해 발생되는 교차 확률 $p$만의 함수라서 잡음 엔트로피란 명칭이 적절하다. 식 (3c)에서 식 (3b)를 빼면 BSC의 시스템 상호 정보가 식 (3a)의 이진 엔트로피 함수(binary entropy function)로 공식화된다.
(4a)잡음 엔트로피 $H_b(p)$는 교차 확률 $p$만의 함수이기 때문에, BSC의 채널 용량은 $a_0$을 바꿀 때 $H_b(b_0)$의 최대값으로 결정한다.
(4b)여기서 $a_0$ = $1/2$에서 $b_0$ = $1/2$이 나와서 $H_b(b_0)$는 최대값 1비트를 가진다.
연속 채널(continuous channel)의 채널 용량은 적분을 쓰는 연속 엔트로피(continuous entropy) $H_c(X)$를 사용하기 때문에 증명 과정이 난해하다. 다행히 통신 채널에 존재하는 잡음이 가법적 백색 가우스 잡음(additive white Gaussian noise, AWGN)일 때는 얻어지는 채널 용량 관계식이 간단해지며, 이 공식은 섀넌–하틀리 정리(Shannon–Hartley theorem)로 알려져있다. AWGN은 다음과 같은 성질로 인해 통신 이론에 가장 많이 쓰인다.
- AWGN의 평균 $\mu$는 0, 분산 $\sigma^2$은 잡음 전력(noise power) $N$: $\mu$ = $0$, $\sigma^2$ = $N$
- 시간 영역(time domain)에서 잡음의 확률 밀도 함수(probability density function, PDF) $p_X(x)$는 정규 분포(normal distribution)를 따름: $p_X(x)$ = $1 / (\sqrt{2 \pi} \sigma) \cdot e^{-x^2/(2 \sigma^2)}$
- 열 잡음(thermal noise)처럼 AWGN은 모든 주파수에 걸쳐있고[색깔 기준으로 모든 색의 합인 흰색이며] 잡음 전력은 $N$ = $kTB$, $k$는 볼츠만 상수(Boltzmann constant), $T$는 절대 온도(absolute temperature), $B$는 수신기의 대역폭
- 아날로그 신호의 확률 변수 $X$와 잡음의 확률 변수 $W$는 독립적으로 더해져서 출력 신호의 확률 변수는 $Y$ = $X+W$로 표현; $X, W$는 통계적으로 독립이므로 출력 전력은 $S+N$으로 나옴, 여기서 $S$는 입력 신호의 전력
여기에 더해서 독립인 송신 기호를 동시에 채널로 전송할 때의 전체 채널 용량은 각 송신 기호에 대한 채널 용량의 합으로 간략화된다.
[독립인 송신 기호의 확률 변수 $X_1, X_2$에 대한 전체 채널 용량(total channel capacity) $C(X_1 \times X_2)$]
(5a)여기서 $C(X)$는 송신 확률 변수 $X$만의 채널 용량이다.
(5b)여기서 $Y_1, Y_2$는 각각 $X_1, X_2$에 대한 수신 확률 변수이다. 송신 확률 변수 $X_1, X_2$는 서로 독립이라서, 식 (5b)의 우변을 최대로 만들려면 각 시스템 상호 정보가 최대로 나오면 된다. 따라서 전체 채널 용량 $C(X_1 \times X_2)$은 각 채널 용량의 합으로 표현된다.
______________________________
식 (5a)를 활용하면 $n$비트를 각각 독립적으로 전송하는 BSC의 채널 용량은 매우 간단히 공식화된다.
(6)여기서 각 비트의 송신 확률 변수는 $X$이다.
디지털 신호(digital signal)가 아닌 아날로그 신호를 전송하는 채널이 가진 채널 용량은 섀넌–하틀리 정리(Shannon–Hartley theorem)로 표시된다.
[섀넌–하틀리 정리(Shannon–Hartley theorem)]
AWGN 채널의 채널 용량 $C$[단위: bps(bit per second) 혹은 bit/s]는 아날로그 신호(analog siganl)가 지나는 채널의 대역폭(bandwidth) $B$[단위: Hz]와 신호대 잡음비(SNR: Signal-to-Noise Ratio) $S/N$의 함수이다.
(7)여기서 $S$와 $N$은 각각 입력 신호 및 잡음의 전력[단위: W], $C_s$는 연속 엔트로피로 정의한 보낸 기호당 비트수인 채널 용량[단위: bit/symbol]이다.
[증명]
이산 채널의 채널 용량인 식 (1)을 연속 채널용 연속 엔트로피로 바꾼다.
이산 채널의 채널 용량인 식 (1)을 연속 채널용 연속 엔트로피로 바꾼다.
(8a)여기서 $X, Y$는 각각 송신 및 수신 기호의 연속 확률 변수, $I_c(X;Y)$는 연속 엔트로피 $H_c(X)$로 만든 연속 신호(continuous signal)의 시스템 상호 정보이다. 정적분의 라그랑주 승수를 쓰면 출력 엔트로피는 정규 분포에서 최대가 된다.
(8b)AWGN은 $X$와 $W$가 서로 독립이라서 잡음 엔트로피 $H_c(Y|X)$가 잡음 확률 변수 $W$만으로 표현된다.
(8c)
(8d)보낸 기호당 비트수(bit per symbol sent)인 $C_s$를 초당 비트수(bit per second)인 $C$로 바꾸려면 연속 신호의 표본화(sampling)를 고려해야 한다. 표본화는 연속 신호를 이산 신호로 바꾸는 과정이다. 채널의 대역폭이 $B$로 제한된 경우에 입력 신호의 표본화 주파수[sampling frequency] $f_0$[단위: Hz 혹은 symbol/s]는 최대 $2B$까지만 증가할 수 있다. 왜냐하면 나이퀴스트–섀넌 표본화 정리(Nyquist–Shannon sampling theorem)에 의해 $f_0$는 나이퀴스트 전송률(Nyquist rate)[단위: symbol/s] $R_n$ = $2B_s$보다 크면 되지만, 표본화된 이산 신호가 지나는 채널의 대역 제한으로 인해 $B_s \le B$가 된다. 여기서 $B_s$는 연속 신호가 가진 대역폭이다. 쉽게 말해 빠르게 표본화를 해도 채널의 유한한 대역폭으로 인해 $B_s$가 아닌 $B$만큼만 정보가 전송된다. 그래서 최대 표본화 주파수인 $2B$를 식 (8d)에 곱해서 식 (7)을 얻는다.
______________________________
섀넌–하틀리 정리에서 대역폭은 식 (6)처럼 각 비트를 독립적으로 전송하기 위한 매개체로 사용된다.
[참고문헌]
[1] C. E. Shannon, "A mathematical theory of communication", Bell System Tech. J., vol. 27, pp. 379–423, 623–656, Jul., Oct. 1948.
[2] R. W. Hamming, Coding and Information Theory, 2nd ed., Englewood Cliffs, NJ, USA: Prentice-Hall, 1986.
댓글 없음 :
댓글 쓰기
욕설이나 스팸글은 삭제될 수 있습니다. [전파거북이]는 선플운동의 아름다운 인터넷을 지지합니다.