第三章 离散信道及其信道容量
第一节 信道的数学模型及分类
第二节 平均互信息
第三节 平均互信息的特性
第四节 信道容量及其一般计算方法
第五节 离散无记忆扩展信道及其信道容量
第六节 信源与信道的匹配
第一节 信道的数学模型及分类
1、信道的分类,
根据信道用户的多少，可分为,
（ 1）单用户信道：只有一个输入端和一个输出端
（ 2）多用户信道：至少有一端有两个以上的用户，双向通信
根据输入端和输出端的关联,
（ 1）无反馈信道
（ 2）有反馈信道
第一节 信道的数学模型及分类
根据信道参数与时间的关系,
（ 1）固定参数信道
（ 2）时变参数信道
根据输入输出信号的特点
（ 1）离散信道
（ 2）连续信道
（ 3）半离散半连续信道,
（ 4）波形信道
以下我们只研究无反馈、固定参数的单用户离散信道。
第一节 信道的数学模型及分类
P(y/X) X Y
根据这一模型，可对信道分类如下,
设离散信道的输入为一个随机变量 X，相应的输出的随机
变量为 Y，如图所示,
规定一个离散信道应有三个参数,
输入符号集,X={x1,x2,…, }
输出符号集,Y={y1,y2,…, }
信道转移概率：
P(Y/X)={p(y1/x1),p(y2/x1),… p( /x1),…… p(y1/ )…
p( / )}
nx
my
my
my
nx
nx
2、离散信道的数学模型
第一节 信道的数学模型及分类
（ 1）无干扰信道：输入信号与输出信号 有一一对应关系
1 ( )( ) ( / )
0 ( )
y f xy f x P y x
y f x
????
? ??，并且
（ 2）有干扰无记忆信道：输入与输出无一一对应关系,
输出只与当前输入有关；
（ 3）有干扰有记忆信道：这是最一般的信道。
第一节 信道的数学模型及分类
3、单符号离散信道的数学模型
单符号离散信道的输入变量为 X，取值于
输出变量为 Y，取值于 。
并有条件概率
条件概率被称为信道的传递概率或转移概率。
一般简单的单符号离散信道的数学模型可以用概率空
间 [X,p(y|x),Y]来描述。
X Y
? ?12,,,ra a a
? ?12,,,sb b b
( | ) ( | ),( 1,2,,; 1,2,,)jiP y x P b a i r j s? ? ?
1a
ra
1b
sb
( | )jiP b a
第一节 信道的数学模型及分类
[P]=
y1 y2
…
ym
x1 p(y1/x1) p(y2/x1)
…
p(ym/x1)
x2 p(y1/x2) p(y2/x2)
…
p(ym/x2)
… … … … …
xn p(y1/xn) p(y2/xn)
…
p(ym/xn)
表示成矩阵形式,
第一节 信道的数学模型及分类
[例 1] 二元对称信道（ BSC）
X={0,1}; Y={0,1}; p(0/0)=p(1/1)=1-p; p(0/1)=p(1/0)=p;
[P]=
0 1
0 1-p p
1 p 1-p
0 1-p 0
p
p
1 1-p 1
第一节 信道的数学模型及分类
[例 2] 二元删除信道
X={0,1}; Y={0,2,1}
[P]=
0 2 1
0 1 － p
p
0
1 0 p 1-p
0 1-p 0
p
p
1 1-p 1
2
[P]=
y1 y2 … ym
x1 p(y1/x1) p(y2/x1) … p(ym/x1)
x2 p(y1/x2) p(y2/x2) … p(ym/x2)
… … … … …
xn p(y1/xn) p(y2/xn) … p(ym/xn)
由此可见，一般单符号离散信道的传递概率可
以用矩阵表示
第一节 信道的数学模型及分类
第一节 信道的数学模型及分类
为了表述简便，可以写成 ( / )j i ijP b a p?
1 1 1 2 1
2 1 2 2 2
12
...
...
...,..
...
s
s
r r r s
p p p
p p p
P
p p p
??
??
?
??
????
下面推导几个关系式,
第一节 信道的数学模型及分类
（ 1）联合概率
( ) ( ) ( / ) ( ) ( / )i j i j i j i jP a b P a P b a P b P a b??
( / )jiP b a其中 称为 前向概率,描述信道的噪声特性
( / )ijP a b 称为 后向概率, 有时也把 称为 先验
概率,把 称为 后验概率
()iPa
（ 2）输出符号的概率
1
( ) ( ) ( / )rj i j i
i
P b p a p b a
?
? ?
（ 3）后验概率 ()( / )
()
ij
ij
j
P a bP a b
Pb?
( / )ijP a b
1
( / ) 1r ij
i
P a b
?
??
表明输出端收到任一符号，必定是输入端某一符号
输入所致
第二节 平均互信息
1,信道疑义度
1
1( / ) ( / ) l o g
( / )
r
j i j
i ij
H X b P a b p a b
?
? ?
这是收到 后关于 X的后验熵，表示收到 后关于输
入符号的信息测度 jb jb
,
1( / ) [ ( / ) ( ) l o g
( / )j XYH X Y E H X b P x y P x y?? ?
这个条件熵称为信道疑义度，表示输出端在收到一个
符号后，对输入符号尚存的不确定性，这是由信道干扰
造成的，如果没有干扰,H(X/Y)=0,一般情括下 H(X/Y)
小于 H(X)，说明经过信道传输，总能消除一些信源的不
确定性，从而获得一些信息。
第二节 平均互信息
I(X;Y)=H(X)-H(X/Y)
2,平均互信息
因为 H(X),表示传输前信源的不确定性，而 H(X/Y)表示
收到一个符号后，对信源尚存的不确定性，所以二者之
差信道传递的信息量。
.
( / )( ; ) ( ) l o g
()XY
P x yI X Y P x y
Py? ?
下面我们讨论一下互信息与其他的熵之间的关系
I(X;Y)=H(X)-H(X/Y)
=H(X)+H(Y)-H(XY)
=H(Y)-H(Y/X) (3.34)
第二节 平均互信息
也可以得到,H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y)
由 3.34也可以看出，互信息 I(X;Y)也表示输出端
H(Y)的不确定性和已知 X的条件下关于 Y的不确定性
之差，也等于发送前后关于 Y的不确定性之差。
H(X/Y)即信到疑义度，也表示通过有噪信道造成的
损失，故也称为 损失熵,因此信源的熵等于收到的信
息量加上损失的熵；而 H(Y/X)表示已知输入的情况下，
对输出端还残留的不确定性，这个不确定性是由噪声
引起的，故也称之为 噪声熵 。
互信息与各类熵之间的关系可以用下图表示,
第二节 平均互信息
H(X,Y)
H(X/Y) H(Y/X)
H(X) H(Y)
I(X,Y)
可以看出，联合熵等于两园之和减去第三部分，也等
于一个园加上另外一部分
下面讨论两种极端情况,
图 1
第二节 平均互信息
（ 1）无噪一一对应信道
此时可以计算得,H(X/Y)=H(Y/X)=0在图一中表
示就是两圆重合。
(2)输入输出完全统计独立
此时 I(X;Y)=0
H(X/Y)=H(X)
H(Y/X)=H(Y)
第三节 平均互信息的特性
1、平均互信息的非负性
I(X;Y)>=0
该性质表明，通过一个信道总能传递一些信息，最
差的条件下，输入输出完全独立，不传递任何信息，互
信息等于 0，但决不会失去已知的信息。
2、平均互信息的极值性
I(X;Y)<=H(X)
一般来说，信到疑义度总是大于 0，所以互信息总是
小于信源的熵，只有当信道是无损信道时，信道疑义度
等于 0，互信息等于信源的熵。
第三节 平均互信息的特性
3、平均互信息量的交互性
I(X,Y)=I(Y,X)
I(Y;X)表示从 X中提取关于的 Y的信息量，实际上 I(X,Y)
和 I(Y,X)只是观察者的立足点不同，对信道的输入 X和输出
Y的总体测度的两种表达形式
4、平均互信息的凸状性
11
1
( / )( ; ) ( ) ( / ) l o g
( ) ( / )
nm
ji
i j i n
ij
i j i
i
p y xI X Y p x p y x
p x p y x??
?
? ??
?
第三节 平均互信息的特性
定理 3.1 平均互信息 I(X;Y)是信源概率分布 P(X)
的 型凸函数
这就是说，对于一定的信道转移概率分布，总可
以找到某一个先验概率分布的信源 X，使平均交互信
息量达到相应的最大值 Imax，这时称这个信源为该信
道的匹配信源。可以说不同的信道转移概率对应不同
的 Imax。
第三节 平均互信息的特性
例：对于二元对称信道
0 1-p 0
p
p
1 1-p 1
如果信源分布 X={w,1-w}，则
( ; ) ( ) ( / )I X Y H Y H Y X??
1( ) ( ) ( / ) l o g
( / )XYH Y P x P y x P y x?? ??
11( ) ( ) [ l o g l o g ]
X
H Y P x p ppp? ? ??
11( ) [ l o g l o g ] ( ) ( )H Y p p H Y H p
pp? ? ? ? ?
I(X;Y)
w 1/2
1-H(P)
第三节 平均互信息的特性
( 0 )P y p p??? ? ?而,( 1 )P y p p??? ? ?
所以,( ; ) ( ) ( )I X Y H p p H p??? ? ?
当信道固定时，平均互信息时信源分布的 型凸函
数，最大只为 1-H(P)
第三节 平均互信息的特性
定理 3.2 平均互信息 I(X;Y)信道传递概率分布 P(Y/X)
的 U型凸函数
这就是说，对于一个已知先验概率为批 P(X)的离散
信源，总可以找到某一个转移概率分布的信道，使平均
交信息量达到相应的最小值 Imin。可以说不同的信源先
验概率对应不同的 Imin。或者说 Imin是 P(X)的函数。即
平均交互信息量的最小值是由体现了信源本身的特性。
例：对于二元对称信道
0 1-p 0
p
p
1 1-p 1
如果信源分布 X={w,1-w}，则
由此可得 I(X;Y)
p 1/2
( ; ) ( ) ( )I X Y H p p H p??? ? ?
第四节 信道容量及其一般计算方法
第四节 信道容量及其一般计算方法
我们先定义 信息传输率,
R=I(X,Y)=[H(X)-H(X/Y)]=[H(Y)-H(Y/X)] bit/符号
由定理 3.1可知，对于每一个确定信道，都有一个信源
分布，使得信息传输率达到最大值，我们把这个最大值称
为该信道的 信道容量 。
C I X Y H X H X YP X P X? ? ?m a x { (,)} m a x { ( ) ( / )}( ) ( )
信道容量与与信源无关，它是信道的特征参数，反
应的是信道的最大的信息传输能力。
对于二元对称信道，由图可以看出信道容量等于
1-H(P)
第四节 信道容量及其一般计算方法
1、离散无噪信道的信道容量
（ 1）具有一一对应关系的无噪声信道
x1 y1
x2 y2
x3 y3
此时由于信道的损失熵和疑义度都等于 0，所以
I(X;Y)=H(X)=H(Y)
C=logr=logs
第四节 信道容量及其一般计算方法
(2)有噪无损信道
x1
x2
y1
y2
y3
y4
y5
此时信道疑义度不为 0，而信道噪声熵为 0，从而
C=max{I(X;Y)}=max{H(X)-H(X/Y)}=max{H(X)}=logr
1 / 2 1 / 2 0 0 0 0
0 0 3 / 5 3 / 10 1 / 10 0
0 0 0 0 0 1
P
??
???
??
可见，信道矩阵中每一列有且只有一个非零元素时，这
个信道一定是有噪无损信道
第四节 信道容量及其一般计算方法
(3)无噪有损信道
x1
x2
x3
x4
x5
y1
y2
此时信道疑义度为 0，而信道噪声熵不为 0，从而
C=max{I(X;Y)}=max{H(Y)-H(Y/X)}=max{H(Y)}=logs
第四节 信道容量及其一般计算方法
如果一个离散信道的信道转移矩阵中的每一行都是由
同一组元素的不同组合构成的，并且每一列也是由这一组
元素组成的，则称为 对称信道
如,1 1 1 1
3 3 6 6
1 1 1 1
6 6 3 3
P
??
??
?
??
??
和
111
2 3 6
111
6 2 3
111
3 6 2
P
??
??
??
???
??
??
??
????
2、对称离散信道的信道容量
第四节 信道容量及其一般计算方法
如果离散信道的转移矩阵如下
...
11
1 1 1
...
...
11
pp
p
rr
p p p
p
P r r r
pp
p
rr
??
????
??
? ? ? ?
??
??
? ? ? ?
则称此信道为 强对称信道 或 均匀信道,它是对称离
散信道的一种特例。该信道的各列之和也为 1
第四节 信道容量及其一般计算方法
下面我们来计算对称离散信道的信道容量
I(X;Y)=H(Y)-H(Y/X) 而
1( / ) ( ) ( / ) l o g ( ) ( / )
( / )X Y XH Y X P x P y x P x H Y X xP y x? ? ?? ? ?
H(Y/X=x)是对矩阵的行求和，而由于对称信道定义，我们
知道，此值是一个与 x无关的一个常数，即
' ' '12( / ) (,.,, )sH Y X x H p p p?? 因此
' ' '12m a x [ ( ) (,.,, ) ]sC H Y H p p p??
可以看出，当输出等概分布时，即 H(Y)=logs时信道容
量达到。
第四节 信道容量及其一般计算方法
那么，在什么样的信源输出情况下，信道输出能等概
分布呢？可以证明，输入等概分布时，输出也等概分布
1 1 1
1
( ) ( ) ( / ) ( / )
.......
1
( ) ( ) ( / ) ( / )
XX
s s s
XX
P y P x P y x P y x
r
P y P x P y x P y x
r
??
??
??
??
可以看出，信道的输出也是等概分布的
' ' '12l o g (,.,, )sC s H p p p??
第四节 信道容量及其一般计算方法
例,1 1 1 1
3 3 6 6
1 1 1 1
6 6 3 3
P
??
??
?
??
??
1 1 1 1 1 1 1 1l o g 4 (,,,) 2 [ l o g 3 l o g 3 l o g 6 l o g 6 ] 0,8 1 7
3 3 6 6 3 3 6 6CH? ? ? ? ? ? ? ?
对于二元对称信道
l o g 2 ( ) 1 ( )C H p H p? ? ? ?
这个式子很重要。
第四节 信道容量及其一般计算方法
例：对于强对称信道，其信道容量为,
l o g (,,,..,,)1 1 1p p pC r H p r r r?? ? ? ?
l o g l o g l o g l o g,., l o g1 1 1 1 1 1p p p p p pr p p r r r r r r? ? ? ? ? ? ?? ? ? ? ? ?
l og l og l og 1pr p p p r? ? ? ?
l o g l o g ( 1 ) ( )r r H p? ? ? ?
第四节 信道容量及其一般计算方法
3、准对称信道的信道容量,
若信道的列可以划分成若干个互不相交的子集，每一个
子集都是对称信道，则称该信道为准对称信道，如,
1
1 / 3 1 / 3 1 / 6 1 / 6
1 / 6 1 / 3 1 / 6 1 / 3P
??? ??
??
可划分为,
1 / 3 1 / 6
1 / 6 1 / 3
????
??
1/3
1/3
????
??
1/6
1/6
????
??
第四节 信道容量及其一般计算方法
有如,
2
0, 7 0, 1 0, 2
0, 2 0, 1 0, 7P
??? ??
??
可分成,
0.7 0.2
0.2 0.7
????
??
0.1
0.1
????
??
第四节 信道容量及其一般计算方法
可以证明达到信道容量的输入分布是等概分布，也可计
算准对称信道的信道容量为,
' ' '
12
1
l o g (,,.,,,) l o g
n
s k k
k
C r H p p p N M
?
? ? ? ?
其中 r是输入符号集的个数,为矩阵中的行元素 ' ' '12,,...,sp p p
kN 是第 k各矩阵中的行元素只和,是第 k个矩阵的列元素
之和
kM
第四节 信道容量及其一般计算方法
例,
1
1
p q q pP
p q p q
?????
?? ????
可分成,
1
1
p q p
p p q
????
??????
q??
????
l o g 2 ( 1,,) ( 1 ) l o g ( 1 ) l o g 2C H p q p q q q q q? ? ? ? ? ? ? ?
第四节 信道容量及其一般计算方法
4、一般离散信道的信道容量
我们可以对输入分布求极值，得到
1
1
( / )
( / ) l og l og
()
( ) 1
s
ji
ji
j j
r
i
i
P b a
P b a e
Pb
Pa
?
?
?
?
???
?
?
? ?
??
?
?
而,
logCe???
定理 3.3 一般离散信道达到信道容量的充要条件是输入概
率分布满足
( ) ( ; ) 0
( ) ( ; ) 0
i
i
a I x Y C x
b I x Y C x
????
???
i
i
对 所 有 其 p
对 所 有 其 p
1
( / )( ; ) ( / ) l o g
()
s ji
ji
j j
p b aI x Y p b a
pb?? ?
该定理说明，当平均互信息达到信道容量时，信源每
一个符号都对输出端输出相同的互信息。
第四节 信道容量及其一般计算方法
第四节 信道容量及其一般计算方法
可以利用该定理对一些特殊信道求得它的信道容量
例：输入符号集为,{0,1,2}
10
11
22
01
P
??
??
???
??
????
假设 P(0)=P(2)=1/2,P(1)=0，则,
1
( 0)
2
1
( 1)
2
Py
Py
??
??
2
1
( / 0 )(0,) ( / 0 ) l o g l o g 2
()y
PyI Y P y
Py????
2
1
( / 2 )( 2,) ( / 2 ) l o g l o g 2
()y
PyI Y P y
Py????
2
1
( / 1 )( 1,) ( / 1 ) l o g 0
( 1 )y
PyI Y P y
P????
第四节 信道容量及其一般计算方法
所以,
l o g 2 1C ??
第四节 信道容量及其一般计算方法
对于一般信道的求解方法，就是求解方程组
11
( / ) l o g ( / ) ( / ) l o g ( )ssj i j i j i j
jj
P b a P b a P b a P b C
??
????
移项得,
11
( / ) [ l o g ( ) ] ( / ) l o g ( / )ssj i j j i j i
jj
P b a C P b P b a P b a
??
????
令 lo g ( )jjC P b? ?? 则
11
( / ) ( / ) l o g ( / )ssj i j j i j i
jj
P b a P b a P b a?
??
???
若 r=s，此方程有解，可以解出 s各未知数,再根据 j?
( ) 2 j CjPb ? ??
得
1
21js C
j
? ?
?
?? 从而
1
lo g 2 js
j
C ?
?
? ?
第四节 信道容量及其一般计算方法
例,
1 1 1
0
2 4 4
0 1 0 0
0 0 1 0
1 1 1
0
4 4 2
P
??
??
??
??
?
??
??
??
???? 可列方程组,1 2 4
2
3
1 3 4
1 1 1 1 1 1 1 1 1
l og l og l og
2 4 4 2 2 4 4 4 4
0
0
1 1 1 1 1 1 1 1 1
l og l og l og
4 4 2 4 4 4 4 2 2
? ? ?
?
?
? ? ?
?
? ? ? ? ?
?
?
??
?
??
?
? ? ? ? ??
?
第四节 信道容量及其一般计算方法
解之得,
23
14
0
2
??
??
??
? ? ?
2 0 0 2 5l o g ( 2 2 2 2 ) l o g l o g 5 1
2C
??? ? ? ? ? ? ?
2 l og 5 114 1( ) ( ) 2 10P b P b ? ? ?? ? ?
14
23
4
( ) ( )
30
11
( ) ( )
30
P a P a
P a P a
??
??
0 l o g 5 123 4( ) ( ) 2 10P b P b ??? ? ?
第五节 离散无记忆扩展信道及其信道容量
离散无记忆信道为,
1 1 1 2 1
2 1 2 2 2
12
...
...
...,..
...
s
s
r r r s
p p p
p p p
P
p p p
??
??
?
??
????
则它的 N次扩展信道为,
第五节 离散无记忆扩展信道及其信道容量
1 1 1 2 1
2 1 2 2 2
12
N
N
N N N
s
s
r r r s
? ? ?
? ? ?
?
? ? ?
??
??
?
??
????
( / )k n h kP? ? ??
k?
为 N次扩展信源中的一个符号
h? 为 N次扩展接收符号集中的一个符号
第五节 离散无记忆扩展信道及其信道容量
我们首先从一个例子开始
例：二元无记忆对称信道得二次扩展信道
二元记忆对称信道为
pp
P
pp
??
? ??
??
22
22
22
22
p pp pp p
pp p p pp
pp p p pp
p pp pp p
?
??
??
?
??
????
可以将信道的扩展和信源的扩展联系起来看，当信
源扩展以后，信道也就称为了扩展信道。
第五节 离散无记忆扩展信道及其信道容量
则它的二次扩展信道为,
第五节 离散无记忆扩展信道及其信道容量
根据互信息的定义
( ; ) ( ) ( / ) ( ) ( / )N N N N N N N NI X Y H X H X Y H Y H Y X? ? ? ?
定理 3.5 如果信道是无记忆的，即
1
( / ) ( / )
N
ii
i
P y P y xx
?
? ?
1
( ; ) ( ; )
N
NN
ii
i
I X Y I X Y
?
? ?
则,
定理 3.6 如果信源是无记忆的
1
( ; ) ( ; )
N
NN
ii
i
I X Y I X Y
?
? ?
第五节 离散无记忆扩展信道及其信道容量
因此，如果信源、信道都是无记忆的
( ; ) ( ; )NNI X Y N I X Y?
NC N C?
这就是离散无记忆扩展信道得信道容量，该信道容
量在信源是无记忆信源且每一个输入变量 Xi达到最佳分
布时达到。
第六节 信源与信道的匹配
信道的信道容量是固定的，如果某一信源通过该信道
传输是，信息传输率达到了信道容量，我们认为 信源与信
道达到匹配,否则，我们认为有剩余。
定义,信道剩余度 ＝ C-I(X;Y)
信道的 相对剩余度 ＝ ( ; )1 I X Y
C?
对于无损信道，相对剩余度＝ ()1
lo g
HX
r?
第六节 信源与信道的匹配
如何才能做到匹配呢？
一般通信系统中，把信源发出的符号变成能在信道中
传输的符号，在传输时，要能够尽量用较少的符号表示相
同的信息，这样就可以提高信息的传输率，从而提高信道
的利用率。这就是香农无失真信源编码理论，也就是无失
真数据压缩理论。
无失真信源编码就是将信源输出的消息变换成适合信
道传输的新信源的消息来传输，而使新信源的符号接近等
概率分布，新信源的熵接近最大熵。这样，信源传输的信
息量达到最大，信道剩余度接近于零，信源与信道达到匹
配。这些是我们将在下一章讨论这些问题。
第一节 信道的数学模型及分类
第二节 平均互信息
第三节 平均互信息的特性
第四节 信道容量及其一般计算方法
第五节 离散无记忆扩展信道及其信道容量
第六节 信源与信道的匹配
第一节 信道的数学模型及分类
1、信道的分类,
根据信道用户的多少，可分为,
（ 1）单用户信道：只有一个输入端和一个输出端
（ 2）多用户信道：至少有一端有两个以上的用户，双向通信
根据输入端和输出端的关联,
（ 1）无反馈信道
（ 2）有反馈信道
第一节 信道的数学模型及分类
根据信道参数与时间的关系,
（ 1）固定参数信道
（ 2）时变参数信道
根据输入输出信号的特点
（ 1）离散信道
（ 2）连续信道
（ 3）半离散半连续信道,
（ 4）波形信道
以下我们只研究无反馈、固定参数的单用户离散信道。
第一节 信道的数学模型及分类
P(y/X) X Y
根据这一模型，可对信道分类如下,
设离散信道的输入为一个随机变量 X，相应的输出的随机
变量为 Y，如图所示,
规定一个离散信道应有三个参数,
输入符号集,X={x1,x2,…, }
输出符号集,Y={y1,y2,…, }
信道转移概率：
P(Y/X)={p(y1/x1),p(y2/x1),… p( /x1),…… p(y1/ )…
p( / )}
nx
my
my
my
nx
nx
2、离散信道的数学模型
第一节 信道的数学模型及分类
（ 1）无干扰信道：输入信号与输出信号 有一一对应关系
1 ( )( ) ( / )
0 ( )
y f xy f x P y x
y f x
????
? ??，并且
（ 2）有干扰无记忆信道：输入与输出无一一对应关系,
输出只与当前输入有关；
（ 3）有干扰有记忆信道：这是最一般的信道。
第一节 信道的数学模型及分类
3、单符号离散信道的数学模型
单符号离散信道的输入变量为 X，取值于
输出变量为 Y，取值于 。
并有条件概率
条件概率被称为信道的传递概率或转移概率。
一般简单的单符号离散信道的数学模型可以用概率空
间 [X,p(y|x),Y]来描述。
X Y
? ?12,,,ra a a
? ?12,,,sb b b
( | ) ( | ),( 1,2,,; 1,2,,)jiP y x P b a i r j s? ? ?
1a
ra
1b
sb
( | )jiP b a
第一节 信道的数学模型及分类
[P]=
y1 y2
…
ym
x1 p(y1/x1) p(y2/x1)
…
p(ym/x1)
x2 p(y1/x2) p(y2/x2)
…
p(ym/x2)
… … … … …
xn p(y1/xn) p(y2/xn)
…
p(ym/xn)
表示成矩阵形式,
第一节 信道的数学模型及分类
[例 1] 二元对称信道（ BSC）
X={0,1}; Y={0,1}; p(0/0)=p(1/1)=1-p; p(0/1)=p(1/0)=p;
[P]=
0 1
0 1-p p
1 p 1-p
0 1-p 0
p
p
1 1-p 1
第一节 信道的数学模型及分类
[例 2] 二元删除信道
X={0,1}; Y={0,2,1}
[P]=
0 2 1
0 1 － p
p
0
1 0 p 1-p
0 1-p 0
p
p
1 1-p 1
2
[P]=
y1 y2 … ym
x1 p(y1/x1) p(y2/x1) … p(ym/x1)
x2 p(y1/x2) p(y2/x2) … p(ym/x2)
… … … … …
xn p(y1/xn) p(y2/xn) … p(ym/xn)
由此可见，一般单符号离散信道的传递概率可
以用矩阵表示
第一节 信道的数学模型及分类
第一节 信道的数学模型及分类
为了表述简便，可以写成 ( / )j i ijP b a p?
1 1 1 2 1
2 1 2 2 2
12
...
...
...,..
...
s
s
r r r s
p p p
p p p
P
p p p
??
??
?
??
????
下面推导几个关系式,
第一节 信道的数学模型及分类
（ 1）联合概率
( ) ( ) ( / ) ( ) ( / )i j i j i j i jP a b P a P b a P b P a b??
( / )jiP b a其中 称为 前向概率,描述信道的噪声特性
( / )ijP a b 称为 后向概率, 有时也把 称为 先验
概率,把 称为 后验概率
()iPa
（ 2）输出符号的概率
1
( ) ( ) ( / )rj i j i
i
P b p a p b a
?
? ?
（ 3）后验概率 ()( / )
()
ij
ij
j
P a bP a b
Pb?
( / )ijP a b
1
( / ) 1r ij
i
P a b
?
??
表明输出端收到任一符号，必定是输入端某一符号
输入所致
第二节 平均互信息
1,信道疑义度
1
1( / ) ( / ) l o g
( / )
r
j i j
i ij
H X b P a b p a b
?
? ?
这是收到 后关于 X的后验熵，表示收到 后关于输
入符号的信息测度 jb jb
,
1( / ) [ ( / ) ( ) l o g
( / )j XYH X Y E H X b P x y P x y?? ?
这个条件熵称为信道疑义度，表示输出端在收到一个
符号后，对输入符号尚存的不确定性，这是由信道干扰
造成的，如果没有干扰,H(X/Y)=0,一般情括下 H(X/Y)
小于 H(X)，说明经过信道传输，总能消除一些信源的不
确定性，从而获得一些信息。
第二节 平均互信息
I(X;Y)=H(X)-H(X/Y)
2,平均互信息
因为 H(X),表示传输前信源的不确定性，而 H(X/Y)表示
收到一个符号后，对信源尚存的不确定性，所以二者之
差信道传递的信息量。
.
( / )( ; ) ( ) l o g
()XY
P x yI X Y P x y
Py? ?
下面我们讨论一下互信息与其他的熵之间的关系
I(X;Y)=H(X)-H(X/Y)
=H(X)+H(Y)-H(XY)
=H(Y)-H(Y/X) (3.34)
第二节 平均互信息
也可以得到,H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y)
由 3.34也可以看出，互信息 I(X;Y)也表示输出端
H(Y)的不确定性和已知 X的条件下关于 Y的不确定性
之差，也等于发送前后关于 Y的不确定性之差。
H(X/Y)即信到疑义度，也表示通过有噪信道造成的
损失，故也称为 损失熵,因此信源的熵等于收到的信
息量加上损失的熵；而 H(Y/X)表示已知输入的情况下，
对输出端还残留的不确定性，这个不确定性是由噪声
引起的，故也称之为 噪声熵 。
互信息与各类熵之间的关系可以用下图表示,
第二节 平均互信息
H(X,Y)
H(X/Y) H(Y/X)
H(X) H(Y)
I(X,Y)
可以看出，联合熵等于两园之和减去第三部分，也等
于一个园加上另外一部分
下面讨论两种极端情况,
图 1
第二节 平均互信息
（ 1）无噪一一对应信道
此时可以计算得,H(X/Y)=H(Y/X)=0在图一中表
示就是两圆重合。
(2)输入输出完全统计独立
此时 I(X;Y)=0
H(X/Y)=H(X)
H(Y/X)=H(Y)
第三节 平均互信息的特性
1、平均互信息的非负性
I(X;Y)>=0
该性质表明，通过一个信道总能传递一些信息，最
差的条件下，输入输出完全独立，不传递任何信息，互
信息等于 0，但决不会失去已知的信息。
2、平均互信息的极值性
I(X;Y)<=H(X)
一般来说，信到疑义度总是大于 0，所以互信息总是
小于信源的熵，只有当信道是无损信道时，信道疑义度
等于 0，互信息等于信源的熵。
第三节 平均互信息的特性
3、平均互信息量的交互性
I(X,Y)=I(Y,X)
I(Y;X)表示从 X中提取关于的 Y的信息量，实际上 I(X,Y)
和 I(Y,X)只是观察者的立足点不同，对信道的输入 X和输出
Y的总体测度的两种表达形式
4、平均互信息的凸状性
11
1
( / )( ; ) ( ) ( / ) l o g
( ) ( / )
nm
ji
i j i n
ij
i j i
i
p y xI X Y p x p y x
p x p y x??
?
? ??
?
第三节 平均互信息的特性
定理 3.1 平均互信息 I(X;Y)是信源概率分布 P(X)
的 型凸函数
这就是说，对于一定的信道转移概率分布，总可
以找到某一个先验概率分布的信源 X，使平均交互信
息量达到相应的最大值 Imax，这时称这个信源为该信
道的匹配信源。可以说不同的信道转移概率对应不同
的 Imax。
第三节 平均互信息的特性
例：对于二元对称信道
0 1-p 0
p
p
1 1-p 1
如果信源分布 X={w,1-w}，则
( ; ) ( ) ( / )I X Y H Y H Y X??
1( ) ( ) ( / ) l o g
( / )XYH Y P x P y x P y x?? ??
11( ) ( ) [ l o g l o g ]
X
H Y P x p ppp? ? ??
11( ) [ l o g l o g ] ( ) ( )H Y p p H Y H p
pp? ? ? ? ?
I(X;Y)
w 1/2
1-H(P)
第三节 平均互信息的特性
( 0 )P y p p??? ? ?而,( 1 )P y p p??? ? ?
所以,( ; ) ( ) ( )I X Y H p p H p??? ? ?
当信道固定时，平均互信息时信源分布的 型凸函
数，最大只为 1-H(P)
第三节 平均互信息的特性
定理 3.2 平均互信息 I(X;Y)信道传递概率分布 P(Y/X)
的 U型凸函数
这就是说，对于一个已知先验概率为批 P(X)的离散
信源，总可以找到某一个转移概率分布的信道，使平均
交信息量达到相应的最小值 Imin。可以说不同的信源先
验概率对应不同的 Imin。或者说 Imin是 P(X)的函数。即
平均交互信息量的最小值是由体现了信源本身的特性。
例：对于二元对称信道
0 1-p 0
p
p
1 1-p 1
如果信源分布 X={w,1-w}，则
由此可得 I(X;Y)
p 1/2
( ; ) ( ) ( )I X Y H p p H p??? ? ?
第四节 信道容量及其一般计算方法
第四节 信道容量及其一般计算方法
我们先定义 信息传输率,
R=I(X,Y)=[H(X)-H(X/Y)]=[H(Y)-H(Y/X)] bit/符号
由定理 3.1可知，对于每一个确定信道，都有一个信源
分布，使得信息传输率达到最大值，我们把这个最大值称
为该信道的 信道容量 。
C I X Y H X H X YP X P X? ? ?m a x { (,)} m a x { ( ) ( / )}( ) ( )
信道容量与与信源无关，它是信道的特征参数，反
应的是信道的最大的信息传输能力。
对于二元对称信道，由图可以看出信道容量等于
1-H(P)
第四节 信道容量及其一般计算方法
1、离散无噪信道的信道容量
（ 1）具有一一对应关系的无噪声信道
x1 y1
x2 y2
x3 y3
此时由于信道的损失熵和疑义度都等于 0，所以
I(X;Y)=H(X)=H(Y)
C=logr=logs
第四节 信道容量及其一般计算方法
(2)有噪无损信道
x1
x2
y1
y2
y3
y4
y5
此时信道疑义度不为 0，而信道噪声熵为 0，从而
C=max{I(X;Y)}=max{H(X)-H(X/Y)}=max{H(X)}=logr
1 / 2 1 / 2 0 0 0 0
0 0 3 / 5 3 / 10 1 / 10 0
0 0 0 0 0 1
P
??
???
??
可见，信道矩阵中每一列有且只有一个非零元素时，这
个信道一定是有噪无损信道
第四节 信道容量及其一般计算方法
(3)无噪有损信道
x1
x2
x3
x4
x5
y1
y2
此时信道疑义度为 0，而信道噪声熵不为 0，从而
C=max{I(X;Y)}=max{H(Y)-H(Y/X)}=max{H(Y)}=logs
第四节 信道容量及其一般计算方法
如果一个离散信道的信道转移矩阵中的每一行都是由
同一组元素的不同组合构成的，并且每一列也是由这一组
元素组成的，则称为 对称信道
如,1 1 1 1
3 3 6 6
1 1 1 1
6 6 3 3
P
??
??
?
??
??
和
111
2 3 6
111
6 2 3
111
3 6 2
P
??
??
??
???
??
??
??
????
2、对称离散信道的信道容量
第四节 信道容量及其一般计算方法
如果离散信道的转移矩阵如下
...
11
1 1 1
...
...
11
pp
p
rr
p p p
p
P r r r
pp
p
rr
??
????
??
? ? ? ?
??
??
? ? ? ?
则称此信道为 强对称信道 或 均匀信道,它是对称离
散信道的一种特例。该信道的各列之和也为 1
第四节 信道容量及其一般计算方法
下面我们来计算对称离散信道的信道容量
I(X;Y)=H(Y)-H(Y/X) 而
1( / ) ( ) ( / ) l o g ( ) ( / )
( / )X Y XH Y X P x P y x P x H Y X xP y x? ? ?? ? ?
H(Y/X=x)是对矩阵的行求和，而由于对称信道定义，我们
知道，此值是一个与 x无关的一个常数，即
' ' '12( / ) (,.,, )sH Y X x H p p p?? 因此
' ' '12m a x [ ( ) (,.,, ) ]sC H Y H p p p??
可以看出，当输出等概分布时，即 H(Y)=logs时信道容
量达到。
第四节 信道容量及其一般计算方法
那么，在什么样的信源输出情况下，信道输出能等概
分布呢？可以证明，输入等概分布时，输出也等概分布
1 1 1
1
( ) ( ) ( / ) ( / )
.......
1
( ) ( ) ( / ) ( / )
XX
s s s
XX
P y P x P y x P y x
r
P y P x P y x P y x
r
??
??
??
??
可以看出，信道的输出也是等概分布的
' ' '12l o g (,.,, )sC s H p p p??
第四节 信道容量及其一般计算方法
例,1 1 1 1
3 3 6 6
1 1 1 1
6 6 3 3
P
??
??
?
??
??
1 1 1 1 1 1 1 1l o g 4 (,,,) 2 [ l o g 3 l o g 3 l o g 6 l o g 6 ] 0,8 1 7
3 3 6 6 3 3 6 6CH? ? ? ? ? ? ? ?
对于二元对称信道
l o g 2 ( ) 1 ( )C H p H p? ? ? ?
这个式子很重要。
第四节 信道容量及其一般计算方法
例：对于强对称信道，其信道容量为,
l o g (,,,..,,)1 1 1p p pC r H p r r r?? ? ? ?
l o g l o g l o g l o g,., l o g1 1 1 1 1 1p p p p p pr p p r r r r r r? ? ? ? ? ? ?? ? ? ? ? ?
l og l og l og 1pr p p p r? ? ? ?
l o g l o g ( 1 ) ( )r r H p? ? ? ?
第四节 信道容量及其一般计算方法
3、准对称信道的信道容量,
若信道的列可以划分成若干个互不相交的子集，每一个
子集都是对称信道，则称该信道为准对称信道，如,
1
1 / 3 1 / 3 1 / 6 1 / 6
1 / 6 1 / 3 1 / 6 1 / 3P
??? ??
??
可划分为,
1 / 3 1 / 6
1 / 6 1 / 3
????
??
1/3
1/3
????
??
1/6
1/6
????
??
第四节 信道容量及其一般计算方法
有如,
2
0, 7 0, 1 0, 2
0, 2 0, 1 0, 7P
??? ??
??
可分成,
0.7 0.2
0.2 0.7
????
??
0.1
0.1
????
??
第四节 信道容量及其一般计算方法
可以证明达到信道容量的输入分布是等概分布，也可计
算准对称信道的信道容量为,
' ' '
12
1
l o g (,,.,,,) l o g
n
s k k
k
C r H p p p N M
?
? ? ? ?
其中 r是输入符号集的个数,为矩阵中的行元素 ' ' '12,,...,sp p p
kN 是第 k各矩阵中的行元素只和,是第 k个矩阵的列元素
之和
kM
第四节 信道容量及其一般计算方法
例,
1
1
p q q pP
p q p q
?????
?? ????
可分成,
1
1
p q p
p p q
????
??????
q??
????
l o g 2 ( 1,,) ( 1 ) l o g ( 1 ) l o g 2C H p q p q q q q q? ? ? ? ? ? ? ?
第四节 信道容量及其一般计算方法
4、一般离散信道的信道容量
我们可以对输入分布求极值，得到
1
1
( / )
( / ) l og l og
()
( ) 1
s
ji
ji
j j
r
i
i
P b a
P b a e
Pb
Pa
?
?
?
?
???
?
?
? ?
??
?
?
而,
logCe???
定理 3.3 一般离散信道达到信道容量的充要条件是输入概
率分布满足
( ) ( ; ) 0
( ) ( ; ) 0
i
i
a I x Y C x
b I x Y C x
????
???
i
i
对 所 有 其 p
对 所 有 其 p
1
( / )( ; ) ( / ) l o g
()
s ji
ji
j j
p b aI x Y p b a
pb?? ?
该定理说明，当平均互信息达到信道容量时，信源每
一个符号都对输出端输出相同的互信息。
第四节 信道容量及其一般计算方法
第四节 信道容量及其一般计算方法
可以利用该定理对一些特殊信道求得它的信道容量
例：输入符号集为,{0,1,2}
10
11
22
01
P
??
??
???
??
????
假设 P(0)=P(2)=1/2,P(1)=0，则,
1
( 0)
2
1
( 1)
2
Py
Py
??
??
2
1
( / 0 )(0,) ( / 0 ) l o g l o g 2
()y
PyI Y P y
Py????
2
1
( / 2 )( 2,) ( / 2 ) l o g l o g 2
()y
PyI Y P y
Py????
2
1
( / 1 )( 1,) ( / 1 ) l o g 0
( 1 )y
PyI Y P y
P????
第四节 信道容量及其一般计算方法
所以,
l o g 2 1C ??
第四节 信道容量及其一般计算方法
对于一般信道的求解方法，就是求解方程组
11
( / ) l o g ( / ) ( / ) l o g ( )ssj i j i j i j
jj
P b a P b a P b a P b C
??
????
移项得,
11
( / ) [ l o g ( ) ] ( / ) l o g ( / )ssj i j j i j i
jj
P b a C P b P b a P b a
??
????
令 lo g ( )jjC P b? ?? 则
11
( / ) ( / ) l o g ( / )ssj i j j i j i
jj
P b a P b a P b a?
??
???
若 r=s，此方程有解，可以解出 s各未知数,再根据 j?
( ) 2 j CjPb ? ??
得
1
21js C
j
? ?
?
?? 从而
1
lo g 2 js
j
C ?
?
? ?
第四节 信道容量及其一般计算方法
例,
1 1 1
0
2 4 4
0 1 0 0
0 0 1 0
1 1 1
0
4 4 2
P
??
??
??
??
?
??
??
??
???? 可列方程组,1 2 4
2
3
1 3 4
1 1 1 1 1 1 1 1 1
l og l og l og
2 4 4 2 2 4 4 4 4
0
0
1 1 1 1 1 1 1 1 1
l og l og l og
4 4 2 4 4 4 4 2 2
? ? ?
?
?
? ? ?
?
? ? ? ? ?
?
?
??
?
??
?
? ? ? ? ??
?
第四节 信道容量及其一般计算方法
解之得,
23
14
0
2
??
??
??
? ? ?
2 0 0 2 5l o g ( 2 2 2 2 ) l o g l o g 5 1
2C
??? ? ? ? ? ? ?
2 l og 5 114 1( ) ( ) 2 10P b P b ? ? ?? ? ?
14
23
4
( ) ( )
30
11
( ) ( )
30
P a P a
P a P a
??
??
0 l o g 5 123 4( ) ( ) 2 10P b P b ??? ? ?
第五节 离散无记忆扩展信道及其信道容量
离散无记忆信道为,
1 1 1 2 1
2 1 2 2 2
12
...
...
...,..
...
s
s
r r r s
p p p
p p p
P
p p p
??
??
?
??
????
则它的 N次扩展信道为,
第五节 离散无记忆扩展信道及其信道容量
1 1 1 2 1
2 1 2 2 2
12
N
N
N N N
s
s
r r r s
? ? ?
? ? ?
?
? ? ?
??
??
?
??
????
( / )k n h kP? ? ??
k?
为 N次扩展信源中的一个符号
h? 为 N次扩展接收符号集中的一个符号
第五节 离散无记忆扩展信道及其信道容量
我们首先从一个例子开始
例：二元无记忆对称信道得二次扩展信道
二元记忆对称信道为
pp
P
pp
??
? ??
??
22
22
22
22
p pp pp p
pp p p pp
pp p p pp
p pp pp p
?
??
??
?
??
????
可以将信道的扩展和信源的扩展联系起来看，当信
源扩展以后，信道也就称为了扩展信道。
第五节 离散无记忆扩展信道及其信道容量
则它的二次扩展信道为,
第五节 离散无记忆扩展信道及其信道容量
根据互信息的定义
( ; ) ( ) ( / ) ( ) ( / )N N N N N N N NI X Y H X H X Y H Y H Y X? ? ? ?
定理 3.5 如果信道是无记忆的，即
1
( / ) ( / )
N
ii
i
P y P y xx
?
? ?
1
( ; ) ( ; )
N
NN
ii
i
I X Y I X Y
?
? ?
则,
定理 3.6 如果信源是无记忆的
1
( ; ) ( ; )
N
NN
ii
i
I X Y I X Y
?
? ?
第五节 离散无记忆扩展信道及其信道容量
因此，如果信源、信道都是无记忆的
( ; ) ( ; )NNI X Y N I X Y?
NC N C?
这就是离散无记忆扩展信道得信道容量，该信道容
量在信源是无记忆信源且每一个输入变量 Xi达到最佳分
布时达到。
第六节 信源与信道的匹配
信道的信道容量是固定的，如果某一信源通过该信道
传输是，信息传输率达到了信道容量，我们认为 信源与信
道达到匹配,否则，我们认为有剩余。
定义,信道剩余度 ＝ C-I(X;Y)
信道的 相对剩余度 ＝ ( ; )1 I X Y
C?
对于无损信道，相对剩余度＝ ()1
lo g
HX
r?
第六节 信源与信道的匹配
如何才能做到匹配呢？
一般通信系统中，把信源发出的符号变成能在信道中
传输的符号，在传输时，要能够尽量用较少的符号表示相
同的信息，这样就可以提高信息的传输率，从而提高信道
的利用率。这就是香农无失真信源编码理论，也就是无失
真数据压缩理论。
无失真信源编码就是将信源输出的消息变换成适合信
道传输的新信源的消息来传输，而使新信源的符号接近等
概率分布，新信源的熵接近最大熵。这样，信源传输的信
息量达到最大，信道剩余度接近于零，信源与信道达到匹
配。这些是我们将在下一章讨论这些问题。
