第五章,信道与信道容量杨杰本章节达到的目的了解信息论研究信道的目的、内容了解信道的基本分类并掌握信道的基本描述方法掌握信道容量 /信道容量代价函数的概念，以及与互信息、信道输入概率分布、信道转移函数的关系能够计算简单信道的信道容量 /信道容量代价函数（对称离散信道、无记忆加性高斯噪声信道）
了解信道容量 /容量代价函数在研究通信系统中的作用理解香农第一定理又称无噪信道编码的物理意义进一步从信息论的角度理解香农公式及其用途概念问题熵?熵率?无失真信源编码定理中的作用互信息?信道容量?信道编码定理中的作用回顾－互信息函数的性质 1
互 信息与信道输入概率分布的关系性质 1,I(X; Y)是信道输入概率分布 p(x)的上凸函数,
回顾－互信息函数的性质 2
信息量与信道转移概率分布的关系性质 2,I(X; Y)是信道转移概率分布 p(y/x)的下凹函数,
回顾－互信息函数的性质 3
信息量与信道输入符号相关性的关系性质 3,信道的输入是离散无记忆的,
回顾－互信息函数的性质 4
信息量与信道输入符号相关性的关系性质 4,信道是离散无记忆的,
回顾－互信息函数的性质 5
性质 3、性质 4的推论：
信道的输入和信道本身都是离散无记忆的信道与信道容量概述信道的分类与描述离散无记忆信道及其容量连续信道及其容量容量代价函数 C(F)
§ 5.1:概述信息论对信道研究的内容什么是信道？
信道的作用研究信道的目的
§ 5.1:概述－ 1
信息论对信道研究的内容：
信道的建模：用恰当的输入 /输出两个随机过程来描述
信道容量
不同条件下充分利用信道容量的各种办法
§ 5.1:概述－ 2
什么是信道？
信道是传送信息的载体 —— 信号所通过的通道。
信息是抽象的，信道则是具体的。比如：
二人对话，二人间的空气就是信道；打电话，
电话线就是信道；看电视，听收音机，收、
发间的空间就是信道。
§ 5.1:概述－ 3
信道的作用
在信息系统中信道主要用于传输与存储信息，而在通信系统中则主要用于传输。
§ 5.1:概述－ 4
研究信道的目的
实现信息传输的 有效性 和 可靠性
有效性：充分利用信道容量
可靠性：通过信道编码降低误码率
在通信系统中研究信道，主要是为了描述、度量、
分析不同类型信道，计算其容量，即极限传输能力，
并分析其特性。
通信技术研究－－信号在信道中传输的过程所遵循的物理规律，即传输特性
信息论研究－－信息的传输问题（假定传输特性已知）
§ 5.2:信道的分类与描述信道分类信道描述
§ 5.2:信道分类与描述－ 1
信道分类
从工程物理背景 —— 传输媒介类型；
从数学描述方式 —— 信号与干扰描述方式；
从信道本身的参数类型 —— 恒参与变参；
从用户类型 —— 单用户与多用户；
光缆波导混合介质光波卫星电离层对流层散射视距接力移动微波超短波短波中波长波空气介质中同轴（长途）
小同轴（长途）
对称平衡电缆（市内）
电缆明线固体介质传输媒介类型1
§
5.2
:
信道分类与描述
－2
码间干扰衰落交调乘性干扰脉冲噪声有源散弹噪声无源热噪声线性叠加干扰有干扰略；无干扰：干扰少到可忽干扰类型有记忆无记忆半连续半离散连续离散信号类型
〉信号与干扰类型2
§ 5.2:信道分类与描述－ 3
变参信道（时变信道）
）恒参信道（时不变信道
〉信道参量类型3
§ 5.2:信道分类与描述－ 4
§ 5.2:信道分类与描述－ 5
多用户信道（通信网）
信）二用户信道（点对点通
〉用户类型4
§ 5.2:信道分类与描述－ 6
信道划分是人为的，比如信源 编码 媒介 译码 信宿干扰
C1
C2
C3
C4
A B
其中,c1为连续信道，调制信道；
c2为离散信道，编码信道；
c3为半离散、半连续信道；
c4为半连续、半离散信道。
§ 5.2:信道分类与描述－ 7
信道描述
信道可以引用三组变量来描述：
信道输入概率空间：
信道输出概率空间：
信道概率转移矩阵,P
即,{,P,}，
它可简化为,。
)](,[ xpX K
)](,[ yqY K
)( xy
)](,[ xpX K )( xy )](,[ yqY K
]),(,[ KK YPX
§ 5.2:信道分类与描述－ 8
其中,而 而
k
k
k
k
m
m
K
n
n
K
qq
yy
yq
Y
pp
xx
xp
X
1
1
1
1
)()(
出入信道
Ki Xx? },,2,1{ kni
Kj Yy? },,2,1{ kmj
)()(
)()(
1
111
kkk
k
nmm
n
xyPxyP
xyPxyP
P
§ 5.2:信道分类与描述－ 9
当 K=1时，退化为 单个消息（符号）信道 ；进一步当
n=m=2时，退化为 二进制单个消息信道 。若它满足对称性，即构成最常用的 二进制单消息对称信道 BSC：
且,,
00
1 1
1 - P e
1 - P e
Pe
Pe
输入
1
}1,0{?x
输出
}1,0{?y
1
10,
1,0
)( ppxp
X
1,
,1)(P
10,
1,0
)( qqyq
Y
§ 5.3:离散无记忆信道及其信道容量
离散无记忆信道及其信道容量
离散无记忆信道容量的计算
离散无记忆信道的信道容量定理
对称的离散无记忆信道容量
香农第一定理的物理意义
§ 5.3:离散无记忆信道及其信道容量 -1
离散消息序列信道有记忆信道平稳，有限状态有记忆信道平稳无记忆一般无记忆无记忆信道离散消息序列信道
:
§ 5.3:离散无记忆信道及其信道容量 -2
离散无记忆信道及其信道容量由消息序列互信息 性质对离散无记忆信道，有,（ 性质 4）
则
)(
)()(
1
x
y
x
yP
x
y
P
K
k k
k
kP 平稳无记忆?
);( YXI
);();(
1
k
K
k
k YXIYXI?
k
K
k
K
k
kkk
p
kk
K
k
xpxp
KCCYXI
YXIYXIc
i
1 1
1
)()(
),(m a x
),(m a x);(m a x
平稳当且仅当信源 (信道入 )无记忆时，“等号”成立 （性质 3,4推论）
§ 5.3:离散无记忆信道及其信道容量 -3
离散无记忆信道及其信道容量的进一步 理解
Cmax存在?互信息性质 1，上凸函数极值存在
达到 Cmax时的两个条件：
信道输入（信源）是离散无记忆的
信道输入的概率分布是使 I(X,Y)达到最大的分布
C的值不是由信源的 p(x)决定的，而是由 p 决定的
C是 信道 作为信息传输通道的 性能度量
只有信道输入（信源） X（ x1x2…x n)满足一定条件时，
才能充分 利用 信道传输信息的能力
)( xy
§ 5.3:离散无记忆信道及其信道容量 -4
离散无记忆信道容量的计算
思路：问题转化为：有界闭区域上求约束极值
方法,1、求区域内极值
2、求边界极值
3、求前两者的最大值
具体实现：
1、简单情况下求解（如单符号信道、对称信道）
2、解方程
3、迭代法
4、其他
§ 5.3:离散无记忆信道及其信道容量 -5
离散无记忆信道的信道容量定理定理 5.1：对前向转移概率矩阵为 Q的离散无记忆信道，其输入字母的概率分布 p*能使互信息 I(p,Q)取最大值的充要条件是其中：
是信源字母 ak传送的平均互信息,C就是这一信道的信道容量。
0)(,|);(
0)(,|);(
*
*
*
*
＝当当
kppk
kppk
apCYaxI
apCYaxI
)(
)|(
1
l o g)|();(
j
kj
bp
abq
k
J
j
jk abqYaxI?
§ 5.3:离散无记忆信道及其信道容量 -6
离散无记忆信道的信道容量定理理解
在这种分布下，每个概率 >0的字母提供的互信息＝ C，
每个概率＝ 0的字母提供的互信息 ≤C
当且仅当这种分布时，可使 I(p,Q)达到最大值 C
I(X,Y)是 I(x=ak;Y)的平均值。即：
想提高 I(X,Y)，可以提高 p(ak)
但提高 p(ak)，又使 I(x=ak;Y)降低
反复调整 p(ak)，使 I(x=ak;Y)相等且都等于 C
此时 I(X,Y) ＝ C
定理只给出了可使 I(X,Y) ＝ C的 p(x)的充要条件,并无具体分布及 C的值，但可以帮助求解简单情况部分信道的 C
);()(),( YaxIapYXI k
k k
§ 5.3:离散无记忆信道及其信道容量 -7
对称的离散无记忆信道 信道容量
对称的离散无记忆信道输出字母的集合可以划分为若干子集，对每个子集有：
矩阵中的每一行都是第一行的重排列；
矩阵中的每一列都是第一列的重排列。
定理 5.2,对于对称的离散无记忆信道，当信道输入字母为等概率分布时达到信道容量。
§ 5.3:离散无记忆信道及其信道容量 -8
对称信道
3
1
3
1
6
1
6
1
6
1
6
1
3
1
3
1
1P
3
1
3
1
6
1 6
1
6
1
6
1
3
1
3
1
3
1
2
1
6
1
6
1
2
1
6
1
3
1
3
1
2
1
2
1
6
1
3
1
3
1
2
1
6
1
6
1
3
1
2
1
2p
§ 5.3:离散无记忆信道及其信道容量 -9
2.07.01.0
2.01.07.0
2
1
a
aQ
a1
a2
b1
b2
b3
0。 7
0。 1
0。 1 0。 2
0。 7
a1
a2
b1
b2
b3
0。 2
0。 7
0。 7
0。 1
0。 1
0。 2
1.07.02.0 2.01.07.021aaQ
§ 5.3:离散无记忆信道及其信道容量 -
10
BSC信道信道容量的计算
a1
a2
b1
b2
1-ε
1-ε
ε
ε
§ 5.3:离散无记忆信道及其信道容量 -
11
由定理 5.2，当输入等概分布时，互信息达到信道容量即,p(a1)=p(a2)=1/2；有：
于是：
这里：
2
1
12
2
1
1
2
1
1
)()(
)|()()(
bpbp
abqapbp k
k
k
)(
)|(2
1
lo g)|();(
j
kj
bp
abq
j
kjk abqYaxIC?
)(1
lo glo g)1( 2/12/11
H
)1lo g ()1(lo g)(H
§ 5.3:离散无记忆信道及其信道容量 -
12
二元删除信道信道容量的计算
a1
a2
b1
b2
1-ε
1-ε
ε
ε
b3
§ 5.3:离散无记忆信道及其信道容量 -
13
由定理 5.2，当输入等概分布时，互信息达到信道容量即,p(a1)=p(a2)=1/2；有：
于是：
)(
)1()|()()(
)1()|()()(
3
2
1
2
2
1
2
2
1
1
2
1
1
bp
abqapbp
abqapbp
k
k
k
k
k
k
)(
)|(3
1
lo g)|();(
j
kj
bp
abq
j
kjk abqYaxIC?
1
lo glo g)1( )1(1
21
§ 5.3:离散无记忆信道及其信道容量 -
14
0.5 1.00
0.5
1.0
c
ε
b
a
Ca=
Cb=
)(1?H?
1
a:BSC信道的信道容量曲线 b:二进制删除信道的信道容量曲线
§ 5.3:离散无记忆信道及其信道容量 -
15
香农第一定理（变长无失真信源编码定理）的物理意义
（达到极限时等号成立）
从信道的角度看，信道的信息传输率
（达到极限时等号成立）
M
UHl
l o g
)(
码符号）比特）＝ ）（信源符号码符号 信源符号比特 /(( //)( l UHl UHR
MR lo g
§ 5.3:离散无记忆信道及其信道容量 -
16
香农第一定理（变长无失真信源编码定理）的物理意义
无噪无损信道的信道容量,C=logM
再看当平均码长达到极限值时
此时信道的信息传输率 R＝无噪信道的信道容量 C
无失真信源编码的实质：
对离散信源进行适当变换，使变换后新的码符号信源（信道的输入信源）尽可能为等概分布，以使新信源的每个码符号平均所含的信息量达到最大，从而使信道的信息传输率 R达到信道容量 C，实现信源与信道理想的统计匹配。
又称：无噪信道编码定理
若信道的信息传输率 R不大于信道容量 C，总能对信源的输出进行适当的编码，使得在无噪无损信道上能无差错地以最大信息传输率 C传输信息；但要使信道的信息传输率 R大于 C而无差错地传输信息则是不可能的。
MR lo g
信道容量
Information source
},,{ 1 qssS
Encoder
S? X
Discrete Communication
Channel
X={x1,x2,…,xr}
Decoder
X? S
Information receiver
},,{ 1 qssS
连续信道－－模拟信道
连续信道：
特点 1：时间离散、幅度连续
特点 2,每个时刻是取值连续的单个随机变量（ vs离散序列 )
研究方法,N个自由度的随机变量，取 研究平均在每个自由度上的 C
模拟信道：
特点 1：时间连续、幅度连续
特点 2：一族时间样本函数，每个时间样本函数都是时间、幅度取值连续的
研究方法,1、限频、限时时离散、量化为离散随机矢量
2、为避免有记忆随机矢量研究的困难，找到一组正交完备函数集，展开为级数，使所得到系数组成的随机矢量相互独立或线性无关。
注意,1、限时－－频谱无限，限频－－时间无限。
2、认为函数在 F以上或 T以外取值很小，限时、限频不会引起函数的严重失真
N
Analog
source
模 拟 通信系 统
Source
coding
Channel
coding
Analog
channel
Channel
decoding
Source
decodingDestination
A/D
converter Modulation
DemodulationD/Aconverter
0 1 1 0 1 … 0 1 1 1 0 0 1 0 …
0 1 1 1 1 0 1 0 …0 1 1 0 1 …
§ 5.4:连续信道及其容量－ 1－ 回顾连续随机变量的熵－微分熵 （ VS离散随机变量）
连续随机变量最大熵分布－－依赖于约束条件 （ VS离散随机变量）
峰值功率受限条件下－－均匀分布的随机变量具有最大微分熵
平均功率受限条件下－－高斯分布的随机变量具有最大微分熵连续信道的输入所取的值域不足以完全表示对信道输入的限制?还有约束条件
C＝ max[h(Y)-h(n)]
C取决于信道的统计特性（加性信道即噪声的统计特性）
输入随机矢量 X所受的限制条件（一般考虑平均功率受限时）
C的单位为：比特 /N个自由度连续信道信道容量－－容量费用函数描述
§ 5.4:连续信道及其容量－ 2
C.F 吴 &朱 & 傅－－信道容量
吴：
信道容量：离散信道容量、连续信道容量
容量代价函数：离散信道、连续信道
朱：
信道容量：离散信道
容量费用函数：连续信道 &模拟信道
傅：
信道容量：离散信道容量、连续信道容量
§ 5.4:连续信道及其容量－ 3
研究连续信道容量的方法
基本、简单的信道：无记忆加性噪声信道
信道噪声为高斯时
何种分布输入能达到对信道的充分利用
信道输入为高斯时
何种分布噪声对信道传输信息影响最大
§ 5.4:连续信道及其容量－ 4
一些基础知识,对于加性信道 Y=X+N
X：信道输入
N：信道噪声
Y：信道输出
信道的转移概率分布函数就是 N的分布函数
b(x)是信道输入为 x时对应的费用
如果 X,Y,N中有两个是高斯分布，另一个也是高斯分布的
高斯分布的随机变量的微分熵 h(XG)＝
高斯分布的连续随机变量的微分熵 h(XG)的值只与方差有关，与均值无关
2?
221 2lo ge
加性信道
Error Source
+
E
X
OutputInput
EXY
§ 5.4:连续信道及其容量－ 5
定义：容量费用函数若上确界在 I(X,Y)存在最大值时对于无记忆信道：因为有：
})}({);,({s u p)(
)(
NXbEYXIc
xp
})}({);,({m a x)( )( NXbEYXIc xp
),();();(
1
QpNIYXIYXI nN
n
n
})}({);,({m a x)( )( XbEQpIc xp
§ 5.4:连续信道及其容量－ 6
无记忆加性噪声信道的信道容量费用函数
无记忆加性噪声信道的前向转移概率密度函数就是 N的概率密度函数，即：
其中
)()()|( xypnpxyq NN
)|()();( XYhYhYXI
d x d yxyqxyqxpXYh x )|(l o g)|()()|(
d x d yxypxypxp NNx )(lo g)()(
d x d nnpnpxp NNx )(lo g)()(
)(Nh?
d x d nnpnpxp NNx )(lo g)()(
§ 5.4:连续信道及其容量－ 7
于是有：
取信道输入信号的平均功率 E(X2)作为信息传输的费用则有：无记忆加性噪声信道的信道容量费用函数为：
因 h(N)与 px(x)无关，求解 C(PS)问题转化为只需对 h(Y)进行
)()();( NhYhYXI
})();;({s u p)( 2
)(
S
xp
S PXEYXIPC
x
})();()({s u p 2
)(
S
xp
PXENhYh
x
§ 5.4:连续信道及其容量－ 8
无记忆加性高斯噪声信道的信道容量费用函数
条件,Z?ZG
问题,求使 C(PS)最大时的 X的概密分布函数
求解步骤,
因为
C(PS)
所以要求使 C(PS) 最大?求使 h(Y)最大
而在 PS约束条件下，当 Y?YG时 h(Y)达到最大
此时 X?XG,且 C(PS)＝
结论,当信道 输入 信号为 高斯 分布信号时，无记忆加性高斯噪声信道的信道容量可以得到充分利用。
换句话说：在无记忆加性高斯噪声信道中传输信息时，高斯分布的信号是最有效的
})();()({s u p 2)( Sxp PXENhYh
x
)1log(21 NSPP?
§ 5.4:连续信道及其容量－ 9
无记忆加性噪声信道对高斯分布的输入信号的影响
条件,X?XG，,约束条件 PS
问题,考察何种概密分布的 N使 I(X;Y)最小
求解步骤,
因为
而当 N?NG时,Y?YG
此时：
可以证明：
结论,无记忆加性高斯 噪声 信道对高斯分布的输入信号具有 最大的破坏力 。
高斯分布特性：
作为信道 输入 信号的概密分布时,有利于 信息传输
作为加性信道 噪声 概密分布时,不利于 信息传输
)()();( NhYhYXI
)()();();( NhYhYXIYXI GGGG
)()();( NhYhYXI G
0);();( GGG YXIYXI
§ 5.4:连续信道及其容量－ 10
一般无记忆加性噪声信道的信道容量费用函数
无法给出解析形式的解，但可以给出其上下界表达式
下界：根据前面的讨论很容易得
上界：
当输入信号功率限制在 PS以下，噪声功率限制在 PN以下
则输出信号功率将 <= PS ＋ PN。
此时
所以有：
)1lo g ();()( 21 NSPPGGS YXIPC
)(2lo g [)( 21 NS PPeYh
)()](2l o g [)( 21 NhPPePC NSS
§ 5.4连续信道及其容量－ 11
m a x
)1l o g (
2
1
);();(
)(
输入输出均正态输入为正态分布最佳输入分布
N
S
N
P
P
YXIYXI
xp
C
§ 5.5:模拟信道 及其容量模拟信道下的信道容量费用函数及其计算广义平稳的限频 (F)、限时 (T)、限功率 (P)白色高斯信道及其容量 C。
Shannon公式
Shannon公式的物理意义
Shannon公式的用途
),(lim))(),(( YXItYtXI N
§ 5.5:模拟信道及其容量－ 4
广义平稳的限频 (F)、限时 (T)、限功率 (P)
白色高斯信道及其容量 C
对限频 (F)、限时 (T)的连续过程信源可展成下列取样函数序列：
现将这 2FT个样值序列通过一个功率受限 (P)
的白色高斯信道并求其容量值 C。
FT
FTn
F
nt
F
ntF
F
nX
F
wtX
)
2
(
)
2
(2s i n
)
2
(
2
1),(
§ 5.5:模拟信道及其容量－ Shannon公式 1
Shannon公式
定理 5.3：满足限频 (F)、限时 (T)的广义平稳随机过程信源 X(t,w)，当它通过一个功率受限 (P)的白色高斯信道，其容量为：
这就是著名的 Shannon公式 。
则单位时间 T=1时的容量为：
)1l o g ()1l o g ( 2
SFT
P
PFTC
N
s
)lo g (
2
1 SFC
§ 5.5:模拟信道及其容量－ Shannon公式 2
证明：前面已求得单个连续消息（第 k个）通过高斯信道以后的容量值为：
同时，在消息序列的互信息中已证明当 信源、信道 满足 无记忆 时，
下列结论成立：
由信道容量定义，有
)1lo g ()1lo g ( 2?SFTPPFTC
N
s
);();(
1
N
n nn YX
IYXI
)1log ()1log (
2
1
2
),(m a x),(m a x
22
1
1 )()(
S
FT
S
FT
CNC
YXIYXIC
n
N
n
n
nn
N
n xpxp
平稳
§ 5.5:模拟信道及其容量－ Shannon公式 3
Shannon公式的物理意义
它给出了决定信道容量 C的是三个信号物理参量,F、
T,之间的辩证关系。
三者的乘积是一个“可塑”性体积（三维）。
三者间可以互换。
2
S
)1l o g (
2
S
T
t
F
f
)1l o g (
2
S
FTC
)log(? 21 S?
§ 5.5:模拟信道及其容量－ Shannon公式 4
－ Shannon公式的用途一用频带换取信噪比：扩频通信原理。
雷达信号设计中的线性调频脉冲，模拟通信中，调频优于调幅，且频带越宽，抗干扰性就越强。
数字通信中，伪码 (PN)直扩与时频编码等，带宽越宽，扩频增益越大，抗干扰性就越强。
深空通信中（功率受能源限制，频谱资源相对丰富），采用两电平数字通信方式有效利用信道容量。
注意：有极限
0
2l o g ( 1 ) l o g ( 1 )
l o g ( 1 )CSW N W
SSC F T W
N?
归一化信道容量 关于信噪比 SNR的关系图归一化信道带宽 关于信噪比 SNR的关系图
－ Shannon公式 另一种形式：
其中,为噪声密度，即单位带宽的噪声强度,σ2=N0F;
Eb 表示单位符号信号的能量,Eb=STb=S/F；
Eb/N0 称为归一化信噪比,也称为 能量信噪比,
当 Eb/N0<<1时，
≈Eb/N0 (nat)＝ (bit)
2
0
0
l og( 1 )
l og( 1 )
l og( 1 )
b
b
S
C FT
EF
FT
FN
E
FT
N
N0
0
l o g (1 )bEC F T N 01 /ln 2 bE N
结论：低信噪比时，信道容量近似地决定于能量信噪比的值极限,
传送 1bit信息所需的能量至少是 0.693N0
0m in l o g 2 1,5 9 0,6 9 3b
E eN dB＝
0 0 0
0
/
l o g ( 1 ) l o g [ 1 ] l o g ( 1
( 2 1 )
b
b
EC S S C C
W N W N C W N W
E CWW
NC
＝ ）
＝ －
§ 5.5:模拟信道及其容量－ Shannon公式 5
－ Shannon公式的用途二用信噪比换取频带多进制多电平多维星座调制方式的基本原理卫星、数字微波中常采用的有：
多电平调制、多相调制、高维星座调制 (M-QAM)等 等，
它利用高质量信道中富裕的信噪比换取频带，以提高传输有效性。
§ 5.5:模拟信道及其容量－ Shannon公式 6
Shannon公式的用途三用时间换取信噪比重传、弱信号累积接收基于这一原理。
t=T0 为分界线。
信号功率 S有规律随时间线性增长，噪声功率 σ2无规律，随时间呈均方根增长。
Tt 0?
S
2
S
2
t=0
S
2
P
t
§ 5.5:模拟信道及其容量－ Shannon公式 7
Shannon公式的用途四用时间换取频带或用频带换取时间扩频－－缩短时间：通信电子对抗、潜艇通信窄带－－增加时间：电话线路传准活动图象
§ 5.5:模拟信道及其容量－ Shannon公式 8
讨论信道容量及容量费用函数的目的：
不是为了实现可靠传输（这是信道编码的目的）
只是为了实现最大限度达到信道的信息传输能力
可以给出信道编码的界关于 Shannon公式
条件是加性高斯白噪声（ AWGN)信道下
给出的是 S,N,W与信道容量（最大信息传输速率）的关系
没有给出 S,N,W与差错概率的关系
-3 -2 -1 0 1 2 3 4 5 6 7 8 9 10 11 12
10
-6
10
-5
10
-4
10
-3
10
-2
10
-1
误码率
p
b
信噪比E
b
/N
0
(dB)
s
h
a
n
n
o
限仅内码
（
4
，
1
，
1
5
）
未编码仅内码
（
2
，
1
，
7
）
码级连级连
－ 1.59dB
例 1,已知信道转移概率矩阵如下，求此信道的信道容量。
X\Y 0 1 2 3
0 1/3 1/3 1/6 1/6
1 1/6 1/3 1/6 1/3
解,由定理 5.2，当输入等概分布时，互信息达到信道容量即,p(a1)=p(a2)=1/2；有：
2
1
11 4
1
2
1
22 3
1
2
1
33 6
1
2
1
44 4
1
( ) ( ) ( | )
( ) ( ) ( | )
( ) ( ) ( | )
( ) ( ) ( | )
kk
k
kk
k
kk
k
kk
k
p b p a q b a
p b p a q b a
p b p a q b a
p b p a q b a
＝
＝
4 ( | )
()
1
( ; ) ( | ) l o g 0,0 4jk
j
q b a
k j k pb
j
C I x a Y q b a b i t
＝
例 2,在图片传输中，每帧约为 2.25× 106个像素，为了能很好地重现图像，需分 16个亮度电平，并假设亮度电平等概率分布。试计算每秒钟传送
30帧图片所需信道的带宽 (信噪功率比为 30dB)。
解：高斯白噪声加性信道单位时间的信道容量：
(比特 /秒）
要求的信息传输率为：
Ct= 2.25× 106× log16× 30=2.7× 108（ bit/s)
=W log(1+S/N)
而,10lg(S/N)=30dB?S/N=103
W=(2.7× 108 )/log(1+103)
≈ 2.7× 107 (HZ )
l i m l o g ( 1 )sNPCt TPTCW
曹志刚,现代通信原理,关于香农公式的一些结论信道容量：
单位时间内 信道上所能传输的最大信息量香农公式：
香农公式结论：
提高信号与噪声功率之比能增加信道容量
当噪声功率 N?0时，信道容量 C,这意味着无干扰信道容量为无穷大。
增加信道频带 W并不能无限制地使信道容量增大。
信道容量一定时，带宽 W与信噪比 S/N之间可以彼此互换
2l o g ( 1 ) ( / )SNC W b s
002l im l im l o g ( 1 ) 1,4 4SSn W nWWCW
S / n 0
1,4 4 S / n 0
S / n 0 W
可实现区
C (bit / s )
结论－－解释在特定信道（加性高斯白噪声）下，信道容量的 数值 可以用发送信号的某些参量计算获得。
提高信噪比，意味着改变了信道的噪声特性，因此可以改变信道的容量无噪信道定理（香农第一定理）说明：无噪无损信道的容量等于信道输入信号的熵，而连续信源的熵（非微分熵）为无穷大，因此无噪无损信道的容量为无穷大。
通信原理对香农公式的研究是考虑发送信号的 带宽,信噪比 与 最大信息传输率 的关系信息论对香农公式的研究是考虑 给定信道 情况下，发送信号的 带宽,信噪比 以及 发送时间 三者的辩证关系
§ 5.6:信道冗余度－ 1
信道冗余度类似于信源效率有：
称 ηc为信道效率。
同理：
称 Rc为 信道相对冗余度 。
显然，对于无干扰信道：
I(X;Y)=H(X),max I(X;Y)=max H(X)=log n
则,
C
YXI
c
);(
C
YXIR
cc
);(11
）信源冗余度 (l o g )(1 sc RnXHR
§ 5.6:信道冗余度－ 2
设,信道 编码 后的 码 子数 为 M；码长为 n；码 符号空 间 的数目 为 r
信息 传输 率码 子的 总 数最大信息 传输 率
)( lo g 2 lb i t s / s y m b on MR?
nRM 2?
m a x 2lo gRr＝
二进制符号,R=1（ bit/symbol）
二进制符号,M=2n
二进制符号,m a xR ＝ 1 （ bit/symbol ）
若信息 传输 率＝ Rmax,不能 进 行 检纠错? 要 检纠错,R < Rmax
信道 传输 效率冗余度信道 编码 的目的
通 过 增加冗余度 实现传输 的可靠性
10
m a x
R R
1
§ 5.6:信道冗余度－ 3
§ 5.6:信道冗余度－ 4
例 3：（ 10,5）分组码；码子总数 M＝ 25； n＝ 10； r=2;
10101?1010101010
11001?1100100110
……
2l o g 1 ( )M A XR r b i t / s y m b o l
5
2l o g 22 1
1 0 2
l o g = ( )MR b it/ s y m b o l
n? ＝
12
m a x
R
R ＝ ＝ 50 ％ 1 5 0 ＝ ％
了解信道容量 /容量代价函数在研究通信系统中的作用理解香农第一定理又称无噪信道编码的物理意义进一步从信息论的角度理解香农公式及其用途概念问题熵?熵率?无失真信源编码定理中的作用互信息?信道容量?信道编码定理中的作用回顾－互信息函数的性质 1
互 信息与信道输入概率分布的关系性质 1,I(X; Y)是信道输入概率分布 p(x)的上凸函数,
回顾－互信息函数的性质 2
信息量与信道转移概率分布的关系性质 2,I(X; Y)是信道转移概率分布 p(y/x)的下凹函数,
回顾－互信息函数的性质 3
信息量与信道输入符号相关性的关系性质 3,信道的输入是离散无记忆的,
回顾－互信息函数的性质 4
信息量与信道输入符号相关性的关系性质 4,信道是离散无记忆的,
回顾－互信息函数的性质 5
性质 3、性质 4的推论：
信道的输入和信道本身都是离散无记忆的信道与信道容量概述信道的分类与描述离散无记忆信道及其容量连续信道及其容量容量代价函数 C(F)
§ 5.1:概述信息论对信道研究的内容什么是信道？
信道的作用研究信道的目的
§ 5.1:概述－ 1
信息论对信道研究的内容：
信道的建模：用恰当的输入 /输出两个随机过程来描述
信道容量
不同条件下充分利用信道容量的各种办法
§ 5.1:概述－ 2
什么是信道？
信道是传送信息的载体 —— 信号所通过的通道。
信息是抽象的，信道则是具体的。比如：
二人对话，二人间的空气就是信道；打电话，
电话线就是信道；看电视，听收音机，收、
发间的空间就是信道。
§ 5.1:概述－ 3
信道的作用
在信息系统中信道主要用于传输与存储信息，而在通信系统中则主要用于传输。
§ 5.1:概述－ 4
研究信道的目的
实现信息传输的 有效性 和 可靠性
有效性：充分利用信道容量
可靠性：通过信道编码降低误码率
在通信系统中研究信道，主要是为了描述、度量、
分析不同类型信道，计算其容量，即极限传输能力，
并分析其特性。
通信技术研究－－信号在信道中传输的过程所遵循的物理规律，即传输特性
信息论研究－－信息的传输问题（假定传输特性已知）
§ 5.2:信道的分类与描述信道分类信道描述
§ 5.2:信道分类与描述－ 1
信道分类
从工程物理背景 —— 传输媒介类型；
从数学描述方式 —— 信号与干扰描述方式；
从信道本身的参数类型 —— 恒参与变参；
从用户类型 —— 单用户与多用户；
光缆波导混合介质光波卫星电离层对流层散射视距接力移动微波超短波短波中波长波空气介质中同轴（长途）
小同轴（长途）
对称平衡电缆（市内）
电缆明线固体介质传输媒介类型1
§
5.2
:
信道分类与描述
－2
码间干扰衰落交调乘性干扰脉冲噪声有源散弹噪声无源热噪声线性叠加干扰有干扰略；无干扰：干扰少到可忽干扰类型有记忆无记忆半连续半离散连续离散信号类型
〉信号与干扰类型2
§ 5.2:信道分类与描述－ 3
变参信道（时变信道）
）恒参信道（时不变信道
〉信道参量类型3
§ 5.2:信道分类与描述－ 4
§ 5.2:信道分类与描述－ 5
多用户信道（通信网）
信）二用户信道（点对点通
〉用户类型4
§ 5.2:信道分类与描述－ 6
信道划分是人为的，比如信源 编码 媒介 译码 信宿干扰
C1
C2
C3
C4
A B
其中,c1为连续信道，调制信道；
c2为离散信道，编码信道；
c3为半离散、半连续信道；
c4为半连续、半离散信道。
§ 5.2:信道分类与描述－ 7
信道描述
信道可以引用三组变量来描述：
信道输入概率空间：
信道输出概率空间：
信道概率转移矩阵,P
即,{,P,}，
它可简化为,。
)](,[ xpX K
)](,[ yqY K
)( xy
)](,[ xpX K )( xy )](,[ yqY K
]),(,[ KK YPX
§ 5.2:信道分类与描述－ 8
其中,而 而
k
k
k
k
m
m
K
n
n
K
yy
yq
Y
pp
xx
xp
X
1
1
1
1
)()(
出入信道
Ki Xx? },,2,1{ kni
Kj Yy? },,2,1{ kmj
)()(
)()(
1
111
kkk
k
nmm
n
xyPxyP
xyPxyP
P
§ 5.2:信道分类与描述－ 9
当 K=1时，退化为 单个消息（符号）信道 ；进一步当
n=m=2时，退化为 二进制单个消息信道 。若它满足对称性，即构成最常用的 二进制单消息对称信道 BSC：
且,,
00
1 1
1 - P e
1 - P e
Pe
Pe
输入
1
}1,0{?x
输出
}1,0{?y
1
10,
1,0
)( ppxp
X
1,
,1)(P
10,
1,0
)( qqyq
Y
§ 5.3:离散无记忆信道及其信道容量
离散无记忆信道及其信道容量
离散无记忆信道容量的计算
离散无记忆信道的信道容量定理
对称的离散无记忆信道容量
香农第一定理的物理意义
§ 5.3:离散无记忆信道及其信道容量 -1
离散消息序列信道有记忆信道平稳，有限状态有记忆信道平稳无记忆一般无记忆无记忆信道离散消息序列信道
:
§ 5.3:离散无记忆信道及其信道容量 -2
离散无记忆信道及其信道容量由消息序列互信息 性质对离散无记忆信道，有,（ 性质 4）
则
)(
)()(
1
x
y
x
yP
x
y
P
K
k k
k
kP 平稳无记忆?
);( YXI
);();(
1
k
K
k
k YXIYXI?
k
K
k
K
k
kkk
p
kk
K
k
xpxp
KCCYXI
YXIYXIc
i
1 1
1
)()(
),(m a x
),(m a x);(m a x
平稳当且仅当信源 (信道入 )无记忆时，“等号”成立 （性质 3,4推论）
§ 5.3:离散无记忆信道及其信道容量 -3
离散无记忆信道及其信道容量的进一步 理解
Cmax存在?互信息性质 1，上凸函数极值存在
达到 Cmax时的两个条件：
信道输入（信源）是离散无记忆的
信道输入的概率分布是使 I(X,Y)达到最大的分布
C的值不是由信源的 p(x)决定的，而是由 p 决定的
C是 信道 作为信息传输通道的 性能度量
只有信道输入（信源） X（ x1x2…x n)满足一定条件时，
才能充分 利用 信道传输信息的能力
)( xy
§ 5.3:离散无记忆信道及其信道容量 -4
离散无记忆信道容量的计算
思路：问题转化为：有界闭区域上求约束极值
方法,1、求区域内极值
2、求边界极值
3、求前两者的最大值
具体实现：
1、简单情况下求解（如单符号信道、对称信道）
2、解方程
3、迭代法
4、其他
§ 5.3:离散无记忆信道及其信道容量 -5
离散无记忆信道的信道容量定理定理 5.1：对前向转移概率矩阵为 Q的离散无记忆信道，其输入字母的概率分布 p*能使互信息 I(p,Q)取最大值的充要条件是其中：
是信源字母 ak传送的平均互信息,C就是这一信道的信道容量。
0)(,|);(
0)(,|);(
*
*
*
*
＝当当
kppk
kppk
apCYaxI
apCYaxI
)(
)|(
1
l o g)|();(
j
kj
bp
abq
k
J
j
jk abqYaxI?
§ 5.3:离散无记忆信道及其信道容量 -6
离散无记忆信道的信道容量定理理解
在这种分布下，每个概率 >0的字母提供的互信息＝ C，
每个概率＝ 0的字母提供的互信息 ≤C
当且仅当这种分布时，可使 I(p,Q)达到最大值 C
I(X,Y)是 I(x=ak;Y)的平均值。即：
想提高 I(X,Y)，可以提高 p(ak)
但提高 p(ak)，又使 I(x=ak;Y)降低
反复调整 p(ak)，使 I(x=ak;Y)相等且都等于 C
此时 I(X,Y) ＝ C
定理只给出了可使 I(X,Y) ＝ C的 p(x)的充要条件,并无具体分布及 C的值，但可以帮助求解简单情况部分信道的 C
);()(),( YaxIapYXI k
k k
§ 5.3:离散无记忆信道及其信道容量 -7
对称的离散无记忆信道 信道容量
对称的离散无记忆信道输出字母的集合可以划分为若干子集，对每个子集有：
矩阵中的每一行都是第一行的重排列；
矩阵中的每一列都是第一列的重排列。
定理 5.2,对于对称的离散无记忆信道，当信道输入字母为等概率分布时达到信道容量。
§ 5.3:离散无记忆信道及其信道容量 -8
对称信道
3
1
3
1
6
1
6
1
6
1
6
1
3
1
3
1
1P
3
1
3
1
6
1 6
1
6
1
6
1
3
1
3
1
3
1
2
1
6
1
6
1
2
1
6
1
3
1
3
1
2
1
2
1
6
1
3
1
3
1
2
1
6
1
6
1
3
1
2
1
2p
§ 5.3:离散无记忆信道及其信道容量 -9
2.07.01.0
2.01.07.0
2
1
a
aQ
a1
a2
b1
b2
b3
0。 7
0。 1
0。 1 0。 2
0。 7
a1
a2
b1
b2
b3
0。 2
0。 7
0。 7
0。 1
0。 1
0。 2
1.07.02.0 2.01.07.021aaQ
§ 5.3:离散无记忆信道及其信道容量 -
10
BSC信道信道容量的计算
a1
a2
b1
b2
1-ε
1-ε
ε
ε
§ 5.3:离散无记忆信道及其信道容量 -
11
由定理 5.2，当输入等概分布时，互信息达到信道容量即,p(a1)=p(a2)=1/2；有：
于是：
这里：
2
1
12
2
1
1
2
1
1
)()(
)|()()(
bpbp
abqapbp k
k
k
)(
)|(2
1
lo g)|();(
j
kj
bp
abq
j
kjk abqYaxIC?
)(1
lo glo g)1( 2/12/11
H
)1lo g ()1(lo g)(H
§ 5.3:离散无记忆信道及其信道容量 -
12
二元删除信道信道容量的计算
a1
a2
b1
b2
1-ε
1-ε
ε
ε
b3
§ 5.3:离散无记忆信道及其信道容量 -
13
由定理 5.2，当输入等概分布时，互信息达到信道容量即,p(a1)=p(a2)=1/2；有：
于是：
)(
)1()|()()(
)1()|()()(
3
2
1
2
2
1
2
2
1
1
2
1
1
bp
abqapbp
abqapbp
k
k
k
k
k
k
)(
)|(3
1
lo g)|();(
j
kj
bp
abq
j
kjk abqYaxIC?
1
lo glo g)1( )1(1
21
§ 5.3:离散无记忆信道及其信道容量 -
14
0.5 1.00
0.5
1.0
c
ε
b
a
Ca=
Cb=
)(1?H?
1
a:BSC信道的信道容量曲线 b:二进制删除信道的信道容量曲线
§ 5.3:离散无记忆信道及其信道容量 -
15
香农第一定理（变长无失真信源编码定理）的物理意义
（达到极限时等号成立）
从信道的角度看，信道的信息传输率
（达到极限时等号成立）
M
UHl
l o g
)(
码符号）比特）＝ ）（信源符号码符号 信源符号比特 /(( //)( l UHl UHR
MR lo g
§ 5.3:离散无记忆信道及其信道容量 -
16
香农第一定理（变长无失真信源编码定理）的物理意义
无噪无损信道的信道容量,C=logM
再看当平均码长达到极限值时
此时信道的信息传输率 R＝无噪信道的信道容量 C
无失真信源编码的实质：
对离散信源进行适当变换，使变换后新的码符号信源（信道的输入信源）尽可能为等概分布，以使新信源的每个码符号平均所含的信息量达到最大，从而使信道的信息传输率 R达到信道容量 C，实现信源与信道理想的统计匹配。
又称：无噪信道编码定理
若信道的信息传输率 R不大于信道容量 C，总能对信源的输出进行适当的编码，使得在无噪无损信道上能无差错地以最大信息传输率 C传输信息；但要使信道的信息传输率 R大于 C而无差错地传输信息则是不可能的。
MR lo g
信道容量
Information source
},,{ 1 qssS
Encoder
S? X
Discrete Communication
Channel
X={x1,x2,…,xr}
Decoder
X? S
Information receiver
},,{ 1 qssS
连续信道－－模拟信道
连续信道：
特点 1：时间离散、幅度连续
特点 2,每个时刻是取值连续的单个随机变量（ vs离散序列 )
研究方法,N个自由度的随机变量，取 研究平均在每个自由度上的 C
模拟信道：
特点 1：时间连续、幅度连续
特点 2：一族时间样本函数，每个时间样本函数都是时间、幅度取值连续的
研究方法,1、限频、限时时离散、量化为离散随机矢量
2、为避免有记忆随机矢量研究的困难，找到一组正交完备函数集，展开为级数，使所得到系数组成的随机矢量相互独立或线性无关。
注意,1、限时－－频谱无限，限频－－时间无限。
2、认为函数在 F以上或 T以外取值很小，限时、限频不会引起函数的严重失真
N
Analog
source
模 拟 通信系 统
Source
coding
Channel
coding
Analog
channel
Channel
decoding
Source
decodingDestination
A/D
converter Modulation
DemodulationD/Aconverter
0 1 1 0 1 … 0 1 1 1 0 0 1 0 …
0 1 1 1 1 0 1 0 …0 1 1 0 1 …
§ 5.4:连续信道及其容量－ 1－ 回顾连续随机变量的熵－微分熵 （ VS离散随机变量）
连续随机变量最大熵分布－－依赖于约束条件 （ VS离散随机变量）
峰值功率受限条件下－－均匀分布的随机变量具有最大微分熵
平均功率受限条件下－－高斯分布的随机变量具有最大微分熵连续信道的输入所取的值域不足以完全表示对信道输入的限制?还有约束条件
C＝ max[h(Y)-h(n)]
C取决于信道的统计特性（加性信道即噪声的统计特性）
输入随机矢量 X所受的限制条件（一般考虑平均功率受限时）
C的单位为：比特 /N个自由度连续信道信道容量－－容量费用函数描述
§ 5.4:连续信道及其容量－ 2
C.F 吴 &朱 & 傅－－信道容量
吴：
信道容量：离散信道容量、连续信道容量
容量代价函数：离散信道、连续信道
朱：
信道容量：离散信道
容量费用函数：连续信道 &模拟信道
傅：
信道容量：离散信道容量、连续信道容量
§ 5.4:连续信道及其容量－ 3
研究连续信道容量的方法
基本、简单的信道：无记忆加性噪声信道
信道噪声为高斯时
何种分布输入能达到对信道的充分利用
信道输入为高斯时
何种分布噪声对信道传输信息影响最大
§ 5.4:连续信道及其容量－ 4
一些基础知识,对于加性信道 Y=X+N
X：信道输入
N：信道噪声
Y：信道输出
信道的转移概率分布函数就是 N的分布函数
b(x)是信道输入为 x时对应的费用
如果 X,Y,N中有两个是高斯分布，另一个也是高斯分布的
高斯分布的随机变量的微分熵 h(XG)＝
高斯分布的连续随机变量的微分熵 h(XG)的值只与方差有关，与均值无关
2?
221 2lo ge
加性信道
Error Source
+
E
X
OutputInput
EXY
§ 5.4:连续信道及其容量－ 5
定义：容量费用函数若上确界在 I(X,Y)存在最大值时对于无记忆信道：因为有：
})}({);,({s u p)(
)(
NXbEYXIc
xp
})}({);,({m a x)( )( NXbEYXIc xp
),();();(
1
QpNIYXIYXI nN
n
n
})}({);,({m a x)( )( XbEQpIc xp
§ 5.4:连续信道及其容量－ 6
无记忆加性噪声信道的信道容量费用函数
无记忆加性噪声信道的前向转移概率密度函数就是 N的概率密度函数，即：
其中
)()()|( xypnpxyq NN
)|()();( XYhYhYXI
d x d yxyqxyqxpXYh x )|(l o g)|()()|(
d x d yxypxypxp NNx )(lo g)()(
d x d nnpnpxp NNx )(lo g)()(
)(Nh?
d x d nnpnpxp NNx )(lo g)()(
§ 5.4:连续信道及其容量－ 7
于是有：
取信道输入信号的平均功率 E(X2)作为信息传输的费用则有：无记忆加性噪声信道的信道容量费用函数为：
因 h(N)与 px(x)无关，求解 C(PS)问题转化为只需对 h(Y)进行
)()();( NhYhYXI
})();;({s u p)( 2
)(
S
xp
S PXEYXIPC
x
})();()({s u p 2
)(
S
xp
PXENhYh
x
§ 5.4:连续信道及其容量－ 8
无记忆加性高斯噪声信道的信道容量费用函数
条件,Z?ZG
问题,求使 C(PS)最大时的 X的概密分布函数
求解步骤,
因为
C(PS)
所以要求使 C(PS) 最大?求使 h(Y)最大
而在 PS约束条件下，当 Y?YG时 h(Y)达到最大
此时 X?XG,且 C(PS)＝
结论,当信道 输入 信号为 高斯 分布信号时，无记忆加性高斯噪声信道的信道容量可以得到充分利用。
换句话说：在无记忆加性高斯噪声信道中传输信息时，高斯分布的信号是最有效的
})();()({s u p 2)( Sxp PXENhYh
x
)1log(21 NSPP?
§ 5.4:连续信道及其容量－ 9
无记忆加性噪声信道对高斯分布的输入信号的影响
条件,X?XG，,约束条件 PS
问题,考察何种概密分布的 N使 I(X;Y)最小
求解步骤,
因为
而当 N?NG时,Y?YG
此时：
可以证明：
结论,无记忆加性高斯 噪声 信道对高斯分布的输入信号具有 最大的破坏力 。
高斯分布特性：
作为信道 输入 信号的概密分布时,有利于 信息传输
作为加性信道 噪声 概密分布时,不利于 信息传输
)()();( NhYhYXI
)()();();( NhYhYXIYXI GGGG
)()();( NhYhYXI G
0);();( GGG YXIYXI
§ 5.4:连续信道及其容量－ 10
一般无记忆加性噪声信道的信道容量费用函数
无法给出解析形式的解，但可以给出其上下界表达式
下界：根据前面的讨论很容易得
上界：
当输入信号功率限制在 PS以下，噪声功率限制在 PN以下
则输出信号功率将 <= PS ＋ PN。
此时
所以有：
)1lo g ();()( 21 NSPPGGS YXIPC
)(2lo g [)( 21 NS PPeYh
)()](2l o g [)( 21 NhPPePC NSS
§ 5.4连续信道及其容量－ 11
m a x
)1l o g (
2
1
);();(
)(
输入输出均正态输入为正态分布最佳输入分布
N
S
N
P
P
YXIYXI
xp
C
§ 5.5:模拟信道 及其容量模拟信道下的信道容量费用函数及其计算广义平稳的限频 (F)、限时 (T)、限功率 (P)白色高斯信道及其容量 C。
Shannon公式
Shannon公式的物理意义
Shannon公式的用途
),(lim))(),(( YXItYtXI N
§ 5.5:模拟信道及其容量－ 4
广义平稳的限频 (F)、限时 (T)、限功率 (P)
白色高斯信道及其容量 C
对限频 (F)、限时 (T)的连续过程信源可展成下列取样函数序列：
现将这 2FT个样值序列通过一个功率受限 (P)
的白色高斯信道并求其容量值 C。
FT
FTn
F
nt
F
ntF
F
nX
F
wtX
)
2
(
)
2
(2s i n
)
2
(
2
1),(
§ 5.5:模拟信道及其容量－ Shannon公式 1
Shannon公式
定理 5.3：满足限频 (F)、限时 (T)的广义平稳随机过程信源 X(t,w)，当它通过一个功率受限 (P)的白色高斯信道，其容量为：
这就是著名的 Shannon公式 。
则单位时间 T=1时的容量为：
)1l o g ()1l o g ( 2
SFT
P
PFTC
N
s
)lo g (
2
1 SFC
§ 5.5:模拟信道及其容量－ Shannon公式 2
证明：前面已求得单个连续消息（第 k个）通过高斯信道以后的容量值为：
同时，在消息序列的互信息中已证明当 信源、信道 满足 无记忆 时，
下列结论成立：
由信道容量定义，有
)1lo g ()1lo g ( 2?SFTPPFTC
N
s
);();(
1
N
n nn YX
IYXI
)1log ()1log (
2
1
2
),(m a x),(m a x
22
1
1 )()(
S
FT
S
FT
CNC
YXIYXIC
n
N
n
n
nn
N
n xpxp
平稳
§ 5.5:模拟信道及其容量－ Shannon公式 3
Shannon公式的物理意义
它给出了决定信道容量 C的是三个信号物理参量,F、
T,之间的辩证关系。
三者的乘积是一个“可塑”性体积（三维）。
三者间可以互换。
2
S
)1l o g (
2
S
T
t
F
f
)1l o g (
2
S
FTC
)log(? 21 S?
§ 5.5:模拟信道及其容量－ Shannon公式 4
－ Shannon公式的用途一用频带换取信噪比：扩频通信原理。
雷达信号设计中的线性调频脉冲，模拟通信中，调频优于调幅，且频带越宽，抗干扰性就越强。
数字通信中，伪码 (PN)直扩与时频编码等，带宽越宽，扩频增益越大，抗干扰性就越强。
深空通信中（功率受能源限制，频谱资源相对丰富），采用两电平数字通信方式有效利用信道容量。
注意：有极限
0
2l o g ( 1 ) l o g ( 1 )
l o g ( 1 )CSW N W
SSC F T W
N?
归一化信道容量 关于信噪比 SNR的关系图归一化信道带宽 关于信噪比 SNR的关系图
－ Shannon公式 另一种形式：
其中,为噪声密度，即单位带宽的噪声强度,σ2=N0F;
Eb 表示单位符号信号的能量,Eb=STb=S/F；
Eb/N0 称为归一化信噪比,也称为 能量信噪比,
当 Eb/N0<<1时，
≈Eb/N0 (nat)＝ (bit)
2
0
0
l og( 1 )
l og( 1 )
l og( 1 )
b
b
S
C FT
EF
FT
FN
E
FT
N
N0
0
l o g (1 )bEC F T N 01 /ln 2 bE N
结论：低信噪比时，信道容量近似地决定于能量信噪比的值极限,
传送 1bit信息所需的能量至少是 0.693N0
0m in l o g 2 1,5 9 0,6 9 3b
E eN dB＝
0 0 0
0
/
l o g ( 1 ) l o g [ 1 ] l o g ( 1
( 2 1 )
b
b
EC S S C C
W N W N C W N W
E CWW
NC
＝ ）
＝ －
§ 5.5:模拟信道及其容量－ Shannon公式 5
－ Shannon公式的用途二用信噪比换取频带多进制多电平多维星座调制方式的基本原理卫星、数字微波中常采用的有：
多电平调制、多相调制、高维星座调制 (M-QAM)等 等，
它利用高质量信道中富裕的信噪比换取频带，以提高传输有效性。
§ 5.5:模拟信道及其容量－ Shannon公式 6
Shannon公式的用途三用时间换取信噪比重传、弱信号累积接收基于这一原理。
t=T0 为分界线。
信号功率 S有规律随时间线性增长，噪声功率 σ2无规律，随时间呈均方根增长。
Tt 0?
S
2
S
2
t=0
S
2
P
t
§ 5.5:模拟信道及其容量－ Shannon公式 7
Shannon公式的用途四用时间换取频带或用频带换取时间扩频－－缩短时间：通信电子对抗、潜艇通信窄带－－增加时间：电话线路传准活动图象
§ 5.5:模拟信道及其容量－ Shannon公式 8
讨论信道容量及容量费用函数的目的：
不是为了实现可靠传输（这是信道编码的目的）
只是为了实现最大限度达到信道的信息传输能力
可以给出信道编码的界关于 Shannon公式
条件是加性高斯白噪声（ AWGN)信道下
给出的是 S,N,W与信道容量（最大信息传输速率）的关系
没有给出 S,N,W与差错概率的关系
-3 -2 -1 0 1 2 3 4 5 6 7 8 9 10 11 12
10
-6
10
-5
10
-4
10
-3
10
-2
10
-1
误码率
p
b
信噪比E
b
/N
0
(dB)
s
h
a
n
n
o
限仅内码
（
4
，
1
，
1
5
）
未编码仅内码
（
2
，
1
，
7
）
码级连级连
－ 1.59dB
例 1,已知信道转移概率矩阵如下，求此信道的信道容量。
X\Y 0 1 2 3
0 1/3 1/3 1/6 1/6
1 1/6 1/3 1/6 1/3
解,由定理 5.2，当输入等概分布时，互信息达到信道容量即,p(a1)=p(a2)=1/2；有：
2
1
11 4
1
2
1
22 3
1
2
1
33 6
1
2
1
44 4
1
( ) ( ) ( | )
( ) ( ) ( | )
( ) ( ) ( | )
( ) ( ) ( | )
kk
k
kk
k
kk
k
kk
k
p b p a q b a
p b p a q b a
p b p a q b a
p b p a q b a
＝
＝
4 ( | )
()
1
( ; ) ( | ) l o g 0,0 4jk
j
q b a
k j k pb
j
C I x a Y q b a b i t
＝
例 2,在图片传输中，每帧约为 2.25× 106个像素，为了能很好地重现图像，需分 16个亮度电平，并假设亮度电平等概率分布。试计算每秒钟传送
30帧图片所需信道的带宽 (信噪功率比为 30dB)。
解：高斯白噪声加性信道单位时间的信道容量：
(比特 /秒）
要求的信息传输率为：
Ct= 2.25× 106× log16× 30=2.7× 108（ bit/s)
=W log(1+S/N)
而,10lg(S/N)=30dB?S/N=103
W=(2.7× 108 )/log(1+103)
≈ 2.7× 107 (HZ )
l i m l o g ( 1 )sNPCt TPTCW
曹志刚,现代通信原理,关于香农公式的一些结论信道容量：
单位时间内 信道上所能传输的最大信息量香农公式：
香农公式结论：
提高信号与噪声功率之比能增加信道容量
当噪声功率 N?0时，信道容量 C,这意味着无干扰信道容量为无穷大。
增加信道频带 W并不能无限制地使信道容量增大。
信道容量一定时，带宽 W与信噪比 S/N之间可以彼此互换
2l o g ( 1 ) ( / )SNC W b s
002l im l im l o g ( 1 ) 1,4 4SSn W nWWCW
S / n 0
1,4 4 S / n 0
S / n 0 W
可实现区
C (bit / s )
结论－－解释在特定信道（加性高斯白噪声）下，信道容量的 数值 可以用发送信号的某些参量计算获得。
提高信噪比，意味着改变了信道的噪声特性，因此可以改变信道的容量无噪信道定理（香农第一定理）说明：无噪无损信道的容量等于信道输入信号的熵，而连续信源的熵（非微分熵）为无穷大，因此无噪无损信道的容量为无穷大。
通信原理对香农公式的研究是考虑发送信号的 带宽,信噪比 与 最大信息传输率 的关系信息论对香农公式的研究是考虑 给定信道 情况下，发送信号的 带宽,信噪比 以及 发送时间 三者的辩证关系
§ 5.6:信道冗余度－ 1
信道冗余度类似于信源效率有：
称 ηc为信道效率。
同理：
称 Rc为 信道相对冗余度 。
显然，对于无干扰信道：
I(X;Y)=H(X),max I(X;Y)=max H(X)=log n
则,
C
YXI
c
);(
C
YXIR
cc
);(11
）信源冗余度 (l o g )(1 sc RnXHR
§ 5.6:信道冗余度－ 2
设,信道 编码 后的 码 子数 为 M；码长为 n；码 符号空 间 的数目 为 r
信息 传输 率码 子的 总 数最大信息 传输 率
)( lo g 2 lb i t s / s y m b on MR?
nRM 2?
m a x 2lo gRr＝
二进制符号,R=1（ bit/symbol）
二进制符号,M=2n
二进制符号,m a xR ＝ 1 （ bit/symbol ）
若信息 传输 率＝ Rmax,不能 进 行 检纠错? 要 检纠错,R < Rmax
信道 传输 效率冗余度信道 编码 的目的
通 过 增加冗余度 实现传输 的可靠性
10
m a x
R R
1
§ 5.6:信道冗余度－ 3
§ 5.6:信道冗余度－ 4
例 3：（ 10,5）分组码；码子总数 M＝ 25； n＝ 10； r=2;
10101?1010101010
11001?1100100110
……
2l o g 1 ( )M A XR r b i t / s y m b o l
5
2l o g 22 1
1 0 2
l o g = ( )MR b it/ s y m b o l
n? ＝
12
m a x
R
R ＝ ＝ 50 ％ 1 5 0 ＝ ％
