2001 Copyright SCUT DT&P Labs 1
数字通信原理
（ 2）
2001 Copyright SCUT DT&P Labs 2
第二章 信息论基本知识
2001 Copyright SCUT DT&P Labs 3
2.1 信息的度量
1,信息与消息
消息是由符号、文字、数字、语音或图像组成的序列；
收到一则消息后，所得的信息量，在数量上等于获得消息前后,不确定性,的消除量；
消息是信息的载体，信息是消息的内涵；
通信的目的在与传送信息。
2001 Copyright SCUT DT&P Labs 4
2.1 信息的度量
2,信息的度量
不确定性－－可能性－－可能性的大小可用概率来度量；
信息的度量方式还应满足可加性；
信息量应该是事件发生概率的函数；
2001 Copyright SCUT DT&P Labs 5
2.1 信息的度量
3,离散信源的信息量离散信源统计特性的描述－－概率场设离散信源包含 N中可能的符号，相应的概率场：
x1 x2 x3,,,,,xN
p(x1) p(x2) p(x3),,,,,P(xN)
例：英文字母出现的概率，见表 2－ 1
汉字电报中数字代码出现的概率，见表 2－ 2
2001 Copyright SCUT DT&P Labs 6
2.1 信息的度量
定义离散消息 Xi的信息量 I(Xi):
I(Xi)= log(1/p(Xi))= -log(p(Xi))
信息量的单位与对数的低有关：
log以 2为底时，单位为比特,bit；
log以 e为底时，单位为奈特,nit。
事件 Xi出现的概率越小，信息量越大；
信息量具有,相加性,。
2001 Copyright SCUT DT&P Labs 7
2.1 信息的度量
两个离散信源的联合信息量 I(XiYj)
设 Xi∈X,Yj∈Y,
I(XiYj)= -log(P(XiYj))= -log(P(Xi/Yj)P(Yj))
= -log(P(Xi/Yj)) – log(P(Yj))
若 X与 Y统计独立：
I(XiYj)= -log(P(Xi)） – log(P(Yj))
＝ I(Xi)＋ I(Yj)
2001 Copyright SCUT DT&P Labs 8
2.1 信息的度量
离散通信系统的信息传递－－互信息量设 X为发送符号集,Y为接收符号集
p(Xi)的分布通常已知，称为先验概率；
收到 Yj后，估计 Xi出现的概率，成为后验概率,
p(Xi/Yj)。
定义互信息量：
I(Xi,Yj)= log(p(Xi/Yj)/ p(Xi))
2001 Copyright SCUT DT&P Labs 9
2.1 信息的度量
▲ 若 Yj的出现必可推出 Xi的出现,p(Xi/Yj)＝ 1
I(Xi,Yj) ＝ I(Xi)
(理想信道情况 )
▲ 若 Yj的出现与 Xi是否出现无关，则 p(Xi/Yj)＝ p(Xi)
I(Xi,Yj) ＝ 0
（ 信道受严重干扰无法通信的情况）
▲ 可以证明，互信息具有对称性：
I(Xi,Yj) ＝ I(Yj,Xi)
2001 Copyright SCUT DT&P Labs 10
2.2 离散信源的平均信息量－－信源的熵
定义，离散信源 X的熵为：
H(X)= ∑p(Xi)log(p(Xi))
离散信源的熵是统计意义上的平均信息量。
利用信源的熵，可以方便地估算消息序列所包含的总信息量。
（比较例 2－ 3与例 2－ 5）
2001 Copyright SCUT DT&P Labs 11
2.2 两离散信源其它平均统计量设有两离散信源 X,Y
联合熵（定义）,H(XY) = － ∑ i∑ j p(XiYj)log p(XiYj)
条件熵（定义）,H(X/Y) =－ ∑ i∑ j p(XiYj)log p(Xi/Yj)
Y出现后,X仍存在的平均,不确定性,。
同理可定义 H(Y/X)。
平均互信息量（定义）：
I(X,Y)= ∑ i∑ j p(XiYj)I(Xi,Yj)
= ∑ i∑ j p(XiYj) log(p(Xi/Yj)/p(Xi))
I(X,Y),Y的出现能够消除关于 X的平均,不确定性,。
2001 Copyright SCUT DT&P Labs 12
2.3 各种熵之间的关系
H(XY) = H(X)+H(Y/X) = H(Y)+H(X/Y),若 X与 Y统计独立，则
H(XY) = H(X)+H(Y)
I(X,Y)＝ H(X) － H(X/Y)
H(X/Y)为 Y出现后，仍然存在的关于 X的不确定性。
由 I(X,Y)的对称性，有 I(X,Y)＝ H(Y)－ H(Y/X)。
由 I(X,Y)定义及关系式：
p(Xi/Yj)/p(Xi) = p(XiYj)/(p(Xi)p(Yj)),可得，
I(X,Y)＝ H(X)＋ H(Y)－ H(XY)
2001 Copyright SCUT DT&P Labs 13
2.4 连续信源的信息度量
分析方法：
（ 1）用抽样定理将连续信源时间上离散化；
（ 2）将离散信源的信息度量方法推广至连续信源，用离散变量逼近连续变量。
连续信源的熵设随机过程 X幅度取值的概率密度函数为 p(x),将 X的取值范围均匀地分成 2N个小段，当 N足够大时，由
H(X)≈ - ∑ （ -N～ N） (p(Xi)△ Xi)log(p(Xi)△ Xi)
当 N ->∞ （ 相应 △ Xi -> 0），
H(X)= ∫ (-∞ ～＋ ∞ )p(x)log(p(x))dx – log(dx) ->∞
2001 Copyright SCUT DT&P Labs 14
2.4 连续信源的信息度量连续信源的平均信息量无限大；
连续信源在经过抽样、量化后变成离散信号，量化噪声导致的失真将无法恢复。
比较不同的连续消息的熵时，对 △ Xi作同样的划分，无穷大部分 － log(dx)可以抵消掉。
定义：连续信源的平均信息量（相对熵）为
H(X)= ∫ (-∞ ～＋ ∞ )p(x)log(p(x))dx
相对熵的取值与坐标系有关。如：信号被放大后（信息含量应该没有变化），其相对熵会发生变化，见例 2－ 7。
2001 Copyright SCUT DT&P Labs 15
2.4 连续信源的信息度量
最大连续熵定理（何种分布特性的信源，其相对熵取最大值）
（ 1）均方值受限情况下的最大连续熵定理若：
当信号幅度的分布特性满足高斯分布时，
其熵取最大值：
eHXH 2l o g)( 2m ax
＋－ 22 )(?dxxfx
2
2
2
2
1)(?
x
exp
2001 Copyright SCUT DT&P Labs 16
2.4 连续信源的信息度量
最大连续熵定理（继续）
（ 2）峰值受限情况下的最大连续熵定理若：－ A < x < A
当信号幅度的分布特性满足均匀分布，即
p(x) = 1/(2A)
时，其熵取最大值：
H(X) = Hmax = log(2A)
2001 Copyright SCUT DT&P Labs 17
2.4 连续信源的信息度量
最大连续熵定理（继续）
（ 3）均值受限情况下的最大连续熵定理若,x >= 0,且当信号幅度的分布特性满足分布时，其熵取最大值：
H(X) = Hmax = log(ea)
adxxxp＋0 )(
a
x
eaxp 1)(
2001 Copyright SCUT DT&P Labs 18
2.5 两个信源（ X,Y） 条件下的熵
相对条件熵（定义）：
平均互信息量（定义）：
可以证明：
)~( )/(l o g)()/( d x d yyxpxypYXH
)~( )/(l o g)()/( d x d yxypxypXYH
)~( )()( )(l o g)(),( d x d yypxp xypxypYXI
)/()(),( YXHXHYXI
2001 Copyright SCUT DT&P Labs 19
2.6 信道容量和香农公式
信道容量：单位时间内信道能够传输的最大信息量。
（在讨论计算机网络时，通常信道容量指链路的传输速率）
离散信道
X Y
发送符号集,X＝ { Xi },i = 1,2,…,L
接收符号集,Y＝ { Yj },j = 1,2,…,M
无扰时，输出输入一一对应,Xi <--> Yi
有扰时，输出 Y的统计特性由输入 X的统计特性及由信道条件确定。一般情况：
信道
LKmKlKiKj xxxyp,.....,,/ 1
2001 Copyright SCUT DT&P Labs 20
2.6 信道容量和香农公式
离散无记忆信道输出仅于当前发送的符号和信道特性有关。
离散无记忆信道可用如下的转移概率矩阵描述
离散无记忆对称信道,中各行各列分别具有相同的元素集。
)/(,.,,,,,,/ 1 ijLKmKlKiKj xypxxxyp ＝
)/()/()/(
)/()/()/(
)/()/()/(
)/(/
21
22221
11211
NMNN
M
M
ij
xypxypxyp
xypxypxyp
xypxypxyp
xypXYp
)/( ij xyp
2001 Copyright SCUT DT&P Labs 21
2.6 信道容量和香农公式
离散无记忆对称信道的特点利用离散无记忆对称信道的特性，可以证明：
与 仅与信道的转移概率有关，与输入符号的概率（信源的统计特性）无关。
例：离散无记忆二进对称信道
0 p(0/0)= 1-∈ 0
1 p(1/1)= 1-∈ 1
XYH /YXH /
p(1/0)=∈
p(0/1)=∈
2001 Copyright SCUT DT&P Labs 22
2.6 信道容量和香农公式
离散信道的信道容量信息 X经信道传输后，在接收端由 Y获得有关 X的信息由互信息表示。
平均互信息量,I(X,Y)＝ H(X)－ H(X/Y)＝ H（ Y）－ H（ Y/X）
设信源的符号速率为 Rs,则信息速率为
Rb = I(X,Y)*Rs
信道容量定义为,C = max[Rb]= max[I(X,Y)*Rs]
= max[(H(X)-H(X/Y))*Rs]
使 H(X)达到最大,X等概分布 （信源编码问题）；
使 H(X/Y)达到最小：传输差错概率最小（信道设计问题）
2001 Copyright SCUT DT&P Labs 23
2.6 信道容量和香农公式
离散无记忆信道的特性,{ X }等概分布－ >{ Y }等概分布设,p(Xi)=1/L 为常数，则
p(Yj)=∑ ip(XiYj)=∑ ip(Xi)p(Yj/Xi)
=(1/L)∑ ip(Yj/Xi)=(1/L)*Constant1
= Constant2
所以 { Y }等概分布。
例 2－ 8 已知二元对称信道,p(0/1)=p(1/0)=0.01,
p(0/0)=p(1/1)=0.99,p(0)=p(1)=1/2,Rs=1000符号 /s。
C = [log2+0.01*log0.01+0.99*log0.99]*1000
= 919 (b/s)
2001 Copyright SCUT DT&P Labs 24
2.6 信道容量和香农公式
有扰连续信道与香农公式设发送信号,x； 接收信号,y； 对加性噪声干扰，有：
y ＝ x ＋ n
又设信道带宽为,W； 所需的最低采样频率,2W,有 Rs＝ 2W。
信道容量：
C = max[H(X)-H(X/Y)]*2W
= max[H(Y)-H(Y/X)]*2W
求 H(Y),H(Y/X)使达到信道容量。
2001 Copyright SCUT DT&P Labs 25
2.6 信道容量和香农公式分析 x与 y,x与 n间的联合概率密度函数 p(xy),p(xn)间的关系由方程组,x(x,y)=x 及 x(x,n)=x
n(x,y)=y-x y(x,n)=x+n
由概率密度函数的坐标变换理论其中雅可比行列式的绝对值由于 x与 n统计独立，有
1
11
01
y
n
x
n
y
x
x
x
xy
xn
J
)()()( xnpxyxnJxnpxyp
)()()( npxpxnp ＝ )/(
)(
)()( xyp
xp
xypnp?＝
2001 Copyright SCUT DT&P Labs 26
2.6 信道容量和香农公式由定义：
作坐标变换 x,y－ >x,n,得因式中的雅可比行列式为 1，得物理意义及解释：
因为 y＝ x＋ n,若 x为已知，则 y的其它,不确定性,显然由
n
描述。
)~( )/(l o g)/()()/( d x d yxypxypxpXYH
)~( )(l o g)()()/( d x d nxnxyJnpnpxpXYH
)()(l o g)()()/( NHdnnpnpdxxpXYH
2001 Copyright SCUT DT&P Labs 27
2.6 信道容量和香农公式信道容量,C＝ max[H(Y)-H(Y/X)]*2W
= max[H(Y)-H(N)]*2W
当 Y及 N的均方值受限时，
对 Y,当其服从高斯分布时，其熵取得最大值；
对 N,同样当其服从高斯分布时，其熵取得最大值，这时信道最为恶劣。
因 y＝ x＋ n,x与 n独立，按定义可证明：
若记,则信道容量
222 NXY
2XS 2NN NSY2?
)(l o g22l o g2l o g 22222
N
Y
NY WWeeC?
2001 Copyright SCUT DT&P Labs 28
2.6 信道容量和香农公式信道容量（ 香农公式 ）：
香农公式的主要结论：
（ 1）信道容量 C随 S/N增大而增大；
（ 2） N－ >0,C－ >∞,无扰信道的容量为无穷大；
（ 3）,n0为噪声功率谱密度；
（ 4） C一定时,W与 S/N之间可以彼此互换。
NSWWC
N
X 1lo g1lo g
2
2
2
2?
0
2
0
44.1lo glim nSenSCW
2001 Copyright SCUT DT&P Labs 29
2.6 信道容量和香农公式
香农定理的启示（香农信道编码定理）
若信道容量为 C,信源速率为 R,只要 R小于等于 C,总可以找到一种信道编码方式，使传输概率趋于零；
若 R大于 C,则不可能实现无差错传输。
数字通信原理
（ 2）
2001 Copyright SCUT DT&P Labs 2
第二章 信息论基本知识
2001 Copyright SCUT DT&P Labs 3
2.1 信息的度量
1,信息与消息
消息是由符号、文字、数字、语音或图像组成的序列；
收到一则消息后，所得的信息量，在数量上等于获得消息前后,不确定性,的消除量；
消息是信息的载体，信息是消息的内涵；
通信的目的在与传送信息。
2001 Copyright SCUT DT&P Labs 4
2.1 信息的度量
2,信息的度量
不确定性－－可能性－－可能性的大小可用概率来度量；
信息的度量方式还应满足可加性；
信息量应该是事件发生概率的函数；
2001 Copyright SCUT DT&P Labs 5
2.1 信息的度量
3,离散信源的信息量离散信源统计特性的描述－－概率场设离散信源包含 N中可能的符号，相应的概率场：
x1 x2 x3,,,,,xN
p(x1) p(x2) p(x3),,,,,P(xN)
例：英文字母出现的概率，见表 2－ 1
汉字电报中数字代码出现的概率，见表 2－ 2
2001 Copyright SCUT DT&P Labs 6
2.1 信息的度量
定义离散消息 Xi的信息量 I(Xi):
I(Xi)= log(1/p(Xi))= -log(p(Xi))
信息量的单位与对数的低有关：
log以 2为底时，单位为比特,bit；
log以 e为底时，单位为奈特,nit。
事件 Xi出现的概率越小，信息量越大；
信息量具有,相加性,。
2001 Copyright SCUT DT&P Labs 7
2.1 信息的度量
两个离散信源的联合信息量 I(XiYj)
设 Xi∈X,Yj∈Y,
I(XiYj)= -log(P(XiYj))= -log(P(Xi/Yj)P(Yj))
= -log(P(Xi/Yj)) – log(P(Yj))
若 X与 Y统计独立：
I(XiYj)= -log(P(Xi)） – log(P(Yj))
＝ I(Xi)＋ I(Yj)
2001 Copyright SCUT DT&P Labs 8
2.1 信息的度量
离散通信系统的信息传递－－互信息量设 X为发送符号集,Y为接收符号集
p(Xi)的分布通常已知，称为先验概率；
收到 Yj后，估计 Xi出现的概率，成为后验概率,
p(Xi/Yj)。
定义互信息量：
I(Xi,Yj)= log(p(Xi/Yj)/ p(Xi))
2001 Copyright SCUT DT&P Labs 9
2.1 信息的度量
▲ 若 Yj的出现必可推出 Xi的出现,p(Xi/Yj)＝ 1
I(Xi,Yj) ＝ I(Xi)
(理想信道情况 )
▲ 若 Yj的出现与 Xi是否出现无关，则 p(Xi/Yj)＝ p(Xi)
I(Xi,Yj) ＝ 0
（ 信道受严重干扰无法通信的情况）
▲ 可以证明，互信息具有对称性：
I(Xi,Yj) ＝ I(Yj,Xi)
2001 Copyright SCUT DT&P Labs 10
2.2 离散信源的平均信息量－－信源的熵
定义，离散信源 X的熵为：
H(X)= ∑p(Xi)log(p(Xi))
离散信源的熵是统计意义上的平均信息量。
利用信源的熵，可以方便地估算消息序列所包含的总信息量。
（比较例 2－ 3与例 2－ 5）
2001 Copyright SCUT DT&P Labs 11
2.2 两离散信源其它平均统计量设有两离散信源 X,Y
联合熵（定义）,H(XY) = － ∑ i∑ j p(XiYj)log p(XiYj)
条件熵（定义）,H(X/Y) =－ ∑ i∑ j p(XiYj)log p(Xi/Yj)
Y出现后,X仍存在的平均,不确定性,。
同理可定义 H(Y/X)。
平均互信息量（定义）：
I(X,Y)= ∑ i∑ j p(XiYj)I(Xi,Yj)
= ∑ i∑ j p(XiYj) log(p(Xi/Yj)/p(Xi))
I(X,Y),Y的出现能够消除关于 X的平均,不确定性,。
2001 Copyright SCUT DT&P Labs 12
2.3 各种熵之间的关系
H(XY) = H(X)+H(Y/X) = H(Y)+H(X/Y),若 X与 Y统计独立，则
H(XY) = H(X)+H(Y)
I(X,Y)＝ H(X) － H(X/Y)
H(X/Y)为 Y出现后，仍然存在的关于 X的不确定性。
由 I(X,Y)的对称性，有 I(X,Y)＝ H(Y)－ H(Y/X)。
由 I(X,Y)定义及关系式：
p(Xi/Yj)/p(Xi) = p(XiYj)/(p(Xi)p(Yj)),可得，
I(X,Y)＝ H(X)＋ H(Y)－ H(XY)
2001 Copyright SCUT DT&P Labs 13
2.4 连续信源的信息度量
分析方法：
（ 1）用抽样定理将连续信源时间上离散化；
（ 2）将离散信源的信息度量方法推广至连续信源，用离散变量逼近连续变量。
连续信源的熵设随机过程 X幅度取值的概率密度函数为 p(x),将 X的取值范围均匀地分成 2N个小段，当 N足够大时，由
H(X)≈ - ∑ （ -N～ N） (p(Xi)△ Xi)log(p(Xi)△ Xi)
当 N ->∞ （ 相应 △ Xi -> 0），
H(X)= ∫ (-∞ ～＋ ∞ )p(x)log(p(x))dx – log(dx) ->∞
2001 Copyright SCUT DT&P Labs 14
2.4 连续信源的信息度量连续信源的平均信息量无限大；
连续信源在经过抽样、量化后变成离散信号，量化噪声导致的失真将无法恢复。
比较不同的连续消息的熵时，对 △ Xi作同样的划分，无穷大部分 － log(dx)可以抵消掉。
定义：连续信源的平均信息量（相对熵）为
H(X)= ∫ (-∞ ～＋ ∞ )p(x)log(p(x))dx
相对熵的取值与坐标系有关。如：信号被放大后（信息含量应该没有变化），其相对熵会发生变化，见例 2－ 7。
2001 Copyright SCUT DT&P Labs 15
2.4 连续信源的信息度量
最大连续熵定理（何种分布特性的信源，其相对熵取最大值）
（ 1）均方值受限情况下的最大连续熵定理若：
当信号幅度的分布特性满足高斯分布时，
其熵取最大值：
eHXH 2l o g)( 2m ax
＋－ 22 )(?dxxfx
2
2
2
2
1)(?
x
exp
2001 Copyright SCUT DT&P Labs 16
2.4 连续信源的信息度量
最大连续熵定理（继续）
（ 2）峰值受限情况下的最大连续熵定理若：－ A < x < A
当信号幅度的分布特性满足均匀分布，即
p(x) = 1/(2A)
时，其熵取最大值：
H(X) = Hmax = log(2A)
2001 Copyright SCUT DT&P Labs 17
2.4 连续信源的信息度量
最大连续熵定理（继续）
（ 3）均值受限情况下的最大连续熵定理若,x >= 0,且当信号幅度的分布特性满足分布时，其熵取最大值：
H(X) = Hmax = log(ea)
adxxxp＋0 )(
a
x
eaxp 1)(
2001 Copyright SCUT DT&P Labs 18
2.5 两个信源（ X,Y） 条件下的熵
相对条件熵（定义）：
平均互信息量（定义）：
可以证明：
)~( )/(l o g)()/( d x d yyxpxypYXH
)~( )/(l o g)()/( d x d yxypxypXYH
)~( )()( )(l o g)(),( d x d yypxp xypxypYXI
)/()(),( YXHXHYXI
2001 Copyright SCUT DT&P Labs 19
2.6 信道容量和香农公式
信道容量：单位时间内信道能够传输的最大信息量。
（在讨论计算机网络时，通常信道容量指链路的传输速率）
离散信道
X Y
发送符号集,X＝ { Xi },i = 1,2,…,L
接收符号集,Y＝ { Yj },j = 1,2,…,M
无扰时，输出输入一一对应,Xi <--> Yi
有扰时，输出 Y的统计特性由输入 X的统计特性及由信道条件确定。一般情况：
信道
LKmKlKiKj xxxyp,.....,,/ 1
2001 Copyright SCUT DT&P Labs 20
2.6 信道容量和香农公式
离散无记忆信道输出仅于当前发送的符号和信道特性有关。
离散无记忆信道可用如下的转移概率矩阵描述
离散无记忆对称信道,中各行各列分别具有相同的元素集。
)/(,.,,,,,,/ 1 ijLKmKlKiKj xypxxxyp ＝
)/()/()/(
)/()/()/(
)/()/()/(
)/(/
21
22221
11211
NMNN
M
M
ij
xypxypxyp
xypxypxyp
xypxypxyp
xypXYp
)/( ij xyp
2001 Copyright SCUT DT&P Labs 21
2.6 信道容量和香农公式
离散无记忆对称信道的特点利用离散无记忆对称信道的特性，可以证明：
与 仅与信道的转移概率有关，与输入符号的概率（信源的统计特性）无关。
例：离散无记忆二进对称信道
0 p(0/0)= 1-∈ 0
1 p(1/1)= 1-∈ 1
XYH /YXH /
p(1/0)=∈
p(0/1)=∈
2001 Copyright SCUT DT&P Labs 22
2.6 信道容量和香农公式
离散信道的信道容量信息 X经信道传输后，在接收端由 Y获得有关 X的信息由互信息表示。
平均互信息量,I(X,Y)＝ H(X)－ H(X/Y)＝ H（ Y）－ H（ Y/X）
设信源的符号速率为 Rs,则信息速率为
Rb = I(X,Y)*Rs
信道容量定义为,C = max[Rb]= max[I(X,Y)*Rs]
= max[(H(X)-H(X/Y))*Rs]
使 H(X)达到最大,X等概分布 （信源编码问题）；
使 H(X/Y)达到最小：传输差错概率最小（信道设计问题）
2001 Copyright SCUT DT&P Labs 23
2.6 信道容量和香农公式
离散无记忆信道的特性,{ X }等概分布－ >{ Y }等概分布设,p(Xi)=1/L 为常数，则
p(Yj)=∑ ip(XiYj)=∑ ip(Xi)p(Yj/Xi)
=(1/L)∑ ip(Yj/Xi)=(1/L)*Constant1
= Constant2
所以 { Y }等概分布。
例 2－ 8 已知二元对称信道,p(0/1)=p(1/0)=0.01,
p(0/0)=p(1/1)=0.99,p(0)=p(1)=1/2,Rs=1000符号 /s。
C = [log2+0.01*log0.01+0.99*log0.99]*1000
= 919 (b/s)
2001 Copyright SCUT DT&P Labs 24
2.6 信道容量和香农公式
有扰连续信道与香农公式设发送信号,x； 接收信号,y； 对加性噪声干扰，有：
y ＝ x ＋ n
又设信道带宽为,W； 所需的最低采样频率,2W,有 Rs＝ 2W。
信道容量：
C = max[H(X)-H(X/Y)]*2W
= max[H(Y)-H(Y/X)]*2W
求 H(Y),H(Y/X)使达到信道容量。
2001 Copyright SCUT DT&P Labs 25
2.6 信道容量和香农公式分析 x与 y,x与 n间的联合概率密度函数 p(xy),p(xn)间的关系由方程组,x(x,y)=x 及 x(x,n)=x
n(x,y)=y-x y(x,n)=x+n
由概率密度函数的坐标变换理论其中雅可比行列式的绝对值由于 x与 n统计独立，有
1
11
01
y
n
x
n
y
x
x
x
xy
xn
J
)()()( xnpxyxnJxnpxyp
)()()( npxpxnp ＝ )/(
)(
)()( xyp
xp
xypnp?＝
2001 Copyright SCUT DT&P Labs 26
2.6 信道容量和香农公式由定义：
作坐标变换 x,y－ >x,n,得因式中的雅可比行列式为 1，得物理意义及解释：
因为 y＝ x＋ n,若 x为已知，则 y的其它,不确定性,显然由
n
描述。
)~( )/(l o g)/()()/( d x d yxypxypxpXYH
)~( )(l o g)()()/( d x d nxnxyJnpnpxpXYH
)()(l o g)()()/( NHdnnpnpdxxpXYH
2001 Copyright SCUT DT&P Labs 27
2.6 信道容量和香农公式信道容量,C＝ max[H(Y)-H(Y/X)]*2W
= max[H(Y)-H(N)]*2W
当 Y及 N的均方值受限时，
对 Y,当其服从高斯分布时，其熵取得最大值；
对 N,同样当其服从高斯分布时，其熵取得最大值，这时信道最为恶劣。
因 y＝ x＋ n,x与 n独立，按定义可证明：
若记,则信道容量
222 NXY
2XS 2NN NSY2?
)(l o g22l o g2l o g 22222
N
Y
NY WWeeC?
2001 Copyright SCUT DT&P Labs 28
2.6 信道容量和香农公式信道容量（ 香农公式 ）：
香农公式的主要结论：
（ 1）信道容量 C随 S/N增大而增大；
（ 2） N－ >0,C－ >∞,无扰信道的容量为无穷大；
（ 3）,n0为噪声功率谱密度；
（ 4） C一定时,W与 S/N之间可以彼此互换。
NSWWC
N
X 1lo g1lo g
2
2
2
2?
0
2
0
44.1lo glim nSenSCW
2001 Copyright SCUT DT&P Labs 29
2.6 信道容量和香农公式
香农定理的启示（香农信道编码定理）
若信道容量为 C,信源速率为 R,只要 R小于等于 C,总可以找到一种信道编码方式，使传输概率趋于零；
若 R大于 C,则不可能实现无差错传输。
