第七章 保真度准则下的信源编码
第一节 失真度和平均失真度
第二节 信息率失真函数及其性质
第三节 二元信源和离散对称信源的 R(D)函数
第四节 保真度准则下的信源编码定理
第五节 联合有失真信源信道编码定理
第六节 有失真信源编码定理的实用意义
第一节 失真度和平均失真度
在实际生活中，人们不一定要求完全无失真的恢复消息，
也就是允许有一定的失真。
那么在允许一定程度失真的条件下，能够把信源信息压
缩到什么程度，也就是，允许一定程度失真的条件下，如何
能快速的传输信息，这就是本章所要讨论的问题。
本章所讨论的内容是量化、数模转换、频带压缩和数据
压缩的理论基础。
1、失真度
信源 信源编码 信道编码 信道 信道译码 信源译码 信宿
干扰
根据信道编码定理，我们可以把信道编码、信道和信道解
码等价成是一个没有任何干扰的广义信道，这样收信者收到
消息后，所产生的失真只是由信源编码带来的。我们也可以
把信源编码和信源译码等价成一个信道。
第一节 失真度和平均失真度
信源 信宿
第一节 失真度和平均失真度
试验信道
我们称此信道为 试验信道 。
现在我们要研究在给定允许失真的条件下，是否可以设计一种信
源编码使信息传输率为最低。为此，我们首先讨论失真的测度。
设信源变量为,其概率分布为 12{,,..,}rU u u u? 1( ) [ ( ),.,( ) ]rP u P u P u?
对于每一对 (u,v)，我们指定一个非负的函数
(,) 0ijd u v ?
称为 单个符号的失真度 （或称 失真函数 ）
接受端变量为, 12{,,..,}sV v v v?
第一节 失真度和平均失真度
失真函数用来表征信源发出一个符号,而在接收端再
现成符号 所引起的误差或失真。 d越小表示失真越小，
等于 0表示没有失真。
可以将所有的失真函数排列成矩阵的形式,
iu
jv
1 1 1 2 1
2 1 2 2 2
12
(,) (,),.,(,)
(,) (,),.,(,)
...
(,) (,),.,(,)
s
s
r r r s
d u v d u v d u v
d u v d u v d u v
D
d u v d u v d u v
??
??
?
??
??
我们称它为 失真矩阵 。
第一节 失真度和平均失真度
例 1,
0(,)
1ijd u v
????
? ??
?
ij
ij
当u v
当u v
失真矩阵为,0 1,.,1
1 0,.,1
...
1 1,.,0
D
??
??
?
??
??
这种失真成为 汉明失真
在二元情况下,
10
01D
??? ??
??
第一节 失真度和平均失真度
例 2：删除信源 1sr??
0
(,) 1 (
1 / 2 ( )
ij
ij
d u v i j
j s i
??
???
?
? ??
除j =s以 外的所有i和 所有j）
所有
对于二元删除信源 r=2,s=3
0 1 / 2 1
1 1 / 2 0D
???
????
第一节 失真度和平均失真度
例 3：对称信源 r=s，定义失真度为,
2(,) ( )i j j id u v v u??
当 r=s=3时,
? ?0 1 2U ? ? ?0 1 2V ?
失真矩阵为,
0 1 4
1 0 1
4 1 0
D
??
???
??
????
第一节 失真度和平均失真度
2、平均失真度
[ (,) ]ijD E d u v?
若已知试验信道的传递概率，则平均失真度为,
,1 1
(,) (,) ( ) ( / ) (,)
rs
i j i i j
U V i j
D P u v d u v P u P v u d u v
??
??? ? ?
若平均失真度 不大于我们所允许的失真 D，我们称此为
保真度准则 。
D
DD?
凡满足保真度准则的这些试验信道称为 D失真许可的试验信道 。
把所有 D失真许可的试验信道组成一个集合，用符号 表示。
DB
第二节 信息率失真函数及其性质
1、信息率失真函数
当信源和失真函数给定后，我们总希望在满足保真度准则
下寻找平均互信息的最小值。也就是在 中找一个信道，使
平均互信息取极小值。这个最小值就是在 的条件下，
信源必须传输的最小平均信息量。
DB
( ) m in { ( ; )}
DB
R D I U V?
DD?
改变试验信道求平均互信息的最小值，实质上是选择一种
编码方式使信息传输率为最小。
第二节 信息率失真函数及其性质
2、信息率失真函数的性质
1),R(D)的定义域是 max(0,)D
(1),和
minD min()RD
允许失真度 D的最小值为 0，即不允许有失真，这要求失真
矩阵中每行至少有一个为 0。
R(0)的最小值为 H(U)，即信息传输率至少为信源的信息熵
例,
0 1 1 / 2
1 0 1 / 2D
??? ??
??
m in 1 ( ) 0 0
r
iiD P u????
第二节 信息率失真函数及其性质
满足最小失真度的试验信道是一个无噪无损信道,
1 0 0
0 1 0P
??? ??
??
(2)
m a x m a x()D R D和
因为 D越大,R(D)越小，最小为 0，当 D再大时,R(D)a也只
能为 0，此时，发送与接收统计独立，即,
( / ) ( )P v u Q v?
失真度函数变为,
,
( ) ( ) (,)
UV
D P u Q v d u v? ?
第二节 信息率失真函数及其性质
所以,就是在 R(D)=0的情况下，求 的最小值
m a x (),m i n ( ) ( ) (,)Qv UVD P u Q v d u v? ?
当 时,而当 时 maxDD? ( ) 0,RD?
m in m a xD D D?? ( ) ( ) 0H U R D??
maxD D
上式可改写为
'm a x
( ) ( )m i n ( ) ( ) (,) m i n ( ) ( )Q v Q vV U VD Q v P u d u v Q v d v??? ? ?
可以这样选,当 最小时，取 等于 1，则,()Qv ()Qv'()dv
'm a x m i n ( ) m i n ( ) (,)
VV UD d v P u d u v?? ?
第二节 信息率失真函数及其性质
2),R(D)函数的单调递减性和连续性
0 D
R(D)
minD maxD
第三节 二元信源和离散对称信源的 R(D)函数
1、二元对称信源的 R(D)函数
设二元信源 U={0,1}，其分布概率, ( ) [,1 ]Pu ???? 1
2??而接收变量 v={0,1}，设汉明失真矩阵为,
01
10D
??? ??
??
因而最小失真度 。并能找到满足该最小失真的试
验信道，且是一个无噪无损信道，其信道矩阵为,min
0D ?
10
01P
??? ??
??
(0 ) ( ; ) ( )R I U V H ???
第三节 二元信源和离散对称信源的 R(D)函数
m a x m i n ( ) (,)V UD P u d u v? ?
m i n [ ( 0 ) ( 0,0 ) ( 1 ) ( 1,0 ) ; ( 0 ) ( 0,1 ) ( 1 ) ( 1,1 ) ]V P d P d P d P d? ? ?
m in [ (1 ),]? ? ?? ? ?
要达到最大允许失真，唯一确定
01
01P
??? ??
??
此时，可计算得信息传输率
( ; ) 0I U V ?
一般情况下，当 时,m ax0 DD ?? ? ?
,
[ ] (,) (,)
UV
D E d p u v d u v?? ?
( 0,1 ) ( 1,0 ) EP u v P u v P? ? ? ? ? ? ?
第三节 二元信源和离散对称信源的 R(D)函数
可以计算得：二元信源得信息率失真函数为
( ) ( ) ( )R D H H D???
例,0.4?? 0.2D ?
在汉明失真条件下,
( ) ( ) 0()
0
H H D DRD
D
??
?
? ? ??? ?
??
( ) ( 0, 4 ) ( 0, 2 ) 0, 2 4 9R D H H???
第三节 二元信源和离散对称信源的 R(D)函数
对于离散对称信源，在汉明失真条件下,
1
lo g lo g ( 1 ) ( ) 0 1
()
1
01
r D r H D D
rRD
D
r
? ? ? ? ? ? ?
??
? ?
? ??
??
第四节 保真度准则下的信源编码定理
定理 7.1 保真度准则下的信源编码定理
设 R(D)为一离散无记忆信源的信息率失真函数，并且有有
限的失真测度。对于任意的,以及任意足够长
的码长 n，则一定存在一种信源编码 C，其码字个数为 0,0,0D ??? ? ?
{ [ ( ) ] }n R DMe ???
而编码后的平均失真度 ()d C D ???
如果用二元编码，则,
{ [ ( ) ] }2 n R DM ???
该定理称为 香农第三定理 。它告诉我们，对于任何失真度
D，只要码长足够长，总可以找到一种编码 C，使编码后的每
个信源符号的信息传输率
' lo g ()MR R Dn ?? ? ?
第四节保真度准则下的信源编码定理
定理 7.2（信源编码逆定理）不存在平均失真度 D，而平均
信息传输率 的任何信源编码。即对任意码长 n的信源
码 C，若码字个数,一定
' ()R R D?
[ ( )]2n R DM ? ()d C D?
该定理告诉我们：如果编码后平均每个信源符号的信息
传输率 小于信息率失真函数,就不能在保真度准
则下再现信源的消息。
'R ()RD
第五节 联合有失真信源信道编码定理
定理 7.3 （信息－传输定理）离散无记忆信源的 S的信息
率失真函数为 R(D)，离散无记忆信道的信道容量 C，若满足
()C R D?
则信源输出的信源序列能在此信道输出端重现，其失真
小于等于 D。
定理 7.4 离散无记忆信源的 S的信息率失真函数为 R(D)，
每秒钟输出 个信源符号，离散无记忆信道的信道容量 C，
每秒输出 个信源符号，若满足
1/sT
1/CT
()
CS
C R D
TT?
则信源输出的信源序列能在此信道输出端重现，其失真
小于等于 D。
第五节 联合有失真信源信道编码定理
定理 7.4 离散无记忆信源的 S的信息率失真函数为 R(D)，
每秒钟输出 个信源符号，离散无记忆信道的信道容量 C，
每秒输出 个信源符号，若满足
1/sT
1/CT
()
CS
C R D
TT?
则信源输出的信源序列能在此信道输出端重现，其失真
小于等于 D。
第六节 有失真信源编码定理的实用意义
例,01
( ) 1 / 2 1 / 2
U
Pu
? ? ? ??? ? ? ?
? ? ? ?
要对此信源进行无失真编码，每个信源符号必须用一个二
元符号来表示，信源的信息输出率为 R=H=1。若允许失真存
在，并定义失真函数为汉明失真，即
0(,)
1
ij
ij
uvd u v
uv
??? ?
??
可以设想这样一种信源编码,
第六节 有失真信源编码定理的实用意义
1
2
1
3
4
000
001
0 0 0 0
010
100
u
u
v
u
u
? ?
??
?
? ? ??
? ?
?? ?
5
6
2
7
8
111
110
111 1
101
011
u
u
v
u
u
? ?
??
?
? ? ??
? ?
?? ?
无噪无损
信道传输
0 000?
1 111?
第六节 有失真信源编码定理的实用意义
这种编码方法，可以看成是一种特殊的试验信道
1,( )( / )
0 ( )
j j i
ji
ji
v C v f uP v u
v f u
????
? ??
1( ) ( ) [,( )]
U
d C P U d u f uN? ?
1 1 1[ 0 1 1 1 0 1 1 1 ]3 8 4? ? ? ? ? ? ? ? ? ?
信息率为 1/3，而平均失真为 1/4，根据香农第三定理，
若允许失真 D=1/4时，总可以找到一种编码，使信息输出
率达到极限 R(1/4)
11( ) 1 ( ) 0,1 8 9
44RH? ? ?
第六节 有失真信源编码定理的实用意义
香农第三定理是一个存在定理，至于如何寻找这种最佳
编码方法并没有给出，在实际应用中，存在一下两方面的
问题,
1、符合实际信源的 R(D)函数的计算相当困难。
1）需要对实际信源的统计特性有确切的描述
2）需要对符合主客观实际的失真给予正确的描述
3）即使满足了前两条,R(D)的计算也比较困难
2、即使求得很好的 R(D)函数，还需要研究采取何种编
码方法才能达到极限值 R(D)。
目前，这两方面工作都有进展。
第一节 失真度和平均失真度
第二节 信息率失真函数及其性质
第三节 二元信源和离散对称信源的 R(D)函数
第四节 保真度准则下的信源编码定理
第五节 联合有失真信源信道编码定理
第六节 有失真信源编码定理的实用意义
第一节 失真度和平均失真度
在实际生活中，人们不一定要求完全无失真的恢复消息，
也就是允许有一定的失真。
那么在允许一定程度失真的条件下，能够把信源信息压
缩到什么程度，也就是，允许一定程度失真的条件下，如何
能快速的传输信息，这就是本章所要讨论的问题。
本章所讨论的内容是量化、数模转换、频带压缩和数据
压缩的理论基础。
1、失真度
信源 信源编码 信道编码 信道 信道译码 信源译码 信宿
干扰
根据信道编码定理，我们可以把信道编码、信道和信道解
码等价成是一个没有任何干扰的广义信道，这样收信者收到
消息后，所产生的失真只是由信源编码带来的。我们也可以
把信源编码和信源译码等价成一个信道。
第一节 失真度和平均失真度
信源 信宿
第一节 失真度和平均失真度
试验信道
我们称此信道为 试验信道 。
现在我们要研究在给定允许失真的条件下，是否可以设计一种信
源编码使信息传输率为最低。为此，我们首先讨论失真的测度。
设信源变量为,其概率分布为 12{,,..,}rU u u u? 1( ) [ ( ),.,( ) ]rP u P u P u?
对于每一对 (u,v)，我们指定一个非负的函数
(,) 0ijd u v ?
称为 单个符号的失真度 （或称 失真函数 ）
接受端变量为, 12{,,..,}sV v v v?
第一节 失真度和平均失真度
失真函数用来表征信源发出一个符号,而在接收端再
现成符号 所引起的误差或失真。 d越小表示失真越小，
等于 0表示没有失真。
可以将所有的失真函数排列成矩阵的形式,
iu
jv
1 1 1 2 1
2 1 2 2 2
12
(,) (,),.,(,)
(,) (,),.,(,)
...
(,) (,),.,(,)
s
s
r r r s
d u v d u v d u v
d u v d u v d u v
D
d u v d u v d u v
??
??
?
??
??
我们称它为 失真矩阵 。
第一节 失真度和平均失真度
例 1,
0(,)
1ijd u v
????
? ??
?
ij
ij
当u v
当u v
失真矩阵为,0 1,.,1
1 0,.,1
...
1 1,.,0
D
??
??
?
??
??
这种失真成为 汉明失真
在二元情况下,
10
01D
??? ??
??
第一节 失真度和平均失真度
例 2：删除信源 1sr??
0
(,) 1 (
1 / 2 ( )
ij
ij
d u v i j
j s i
??
???
?
? ??
除j =s以 外的所有i和 所有j）
所有
对于二元删除信源 r=2,s=3
0 1 / 2 1
1 1 / 2 0D
???
????
第一节 失真度和平均失真度
例 3：对称信源 r=s，定义失真度为,
2(,) ( )i j j id u v v u??
当 r=s=3时,
? ?0 1 2U ? ? ?0 1 2V ?
失真矩阵为,
0 1 4
1 0 1
4 1 0
D
??
???
??
????
第一节 失真度和平均失真度
2、平均失真度
[ (,) ]ijD E d u v?
若已知试验信道的传递概率，则平均失真度为,
,1 1
(,) (,) ( ) ( / ) (,)
rs
i j i i j
U V i j
D P u v d u v P u P v u d u v
??
??? ? ?
若平均失真度 不大于我们所允许的失真 D，我们称此为
保真度准则 。
D
DD?
凡满足保真度准则的这些试验信道称为 D失真许可的试验信道 。
把所有 D失真许可的试验信道组成一个集合，用符号 表示。
DB
第二节 信息率失真函数及其性质
1、信息率失真函数
当信源和失真函数给定后，我们总希望在满足保真度准则
下寻找平均互信息的最小值。也就是在 中找一个信道，使
平均互信息取极小值。这个最小值就是在 的条件下，
信源必须传输的最小平均信息量。
DB
( ) m in { ( ; )}
DB
R D I U V?
DD?
改变试验信道求平均互信息的最小值，实质上是选择一种
编码方式使信息传输率为最小。
第二节 信息率失真函数及其性质
2、信息率失真函数的性质
1),R(D)的定义域是 max(0,)D
(1),和
minD min()RD
允许失真度 D的最小值为 0，即不允许有失真，这要求失真
矩阵中每行至少有一个为 0。
R(0)的最小值为 H(U)，即信息传输率至少为信源的信息熵
例,
0 1 1 / 2
1 0 1 / 2D
??? ??
??
m in 1 ( ) 0 0
r
iiD P u????
第二节 信息率失真函数及其性质
满足最小失真度的试验信道是一个无噪无损信道,
1 0 0
0 1 0P
??? ??
??
(2)
m a x m a x()D R D和
因为 D越大,R(D)越小，最小为 0，当 D再大时,R(D)a也只
能为 0，此时，发送与接收统计独立，即,
( / ) ( )P v u Q v?
失真度函数变为,
,
( ) ( ) (,)
UV
D P u Q v d u v? ?
第二节 信息率失真函数及其性质
所以,就是在 R(D)=0的情况下，求 的最小值
m a x (),m i n ( ) ( ) (,)Qv UVD P u Q v d u v? ?
当 时,而当 时 maxDD? ( ) 0,RD?
m in m a xD D D?? ( ) ( ) 0H U R D??
maxD D
上式可改写为
'm a x
( ) ( )m i n ( ) ( ) (,) m i n ( ) ( )Q v Q vV U VD Q v P u d u v Q v d v??? ? ?
可以这样选,当 最小时，取 等于 1，则,()Qv ()Qv'()dv
'm a x m i n ( ) m i n ( ) (,)
VV UD d v P u d u v?? ?
第二节 信息率失真函数及其性质
2),R(D)函数的单调递减性和连续性
0 D
R(D)
minD maxD
第三节 二元信源和离散对称信源的 R(D)函数
1、二元对称信源的 R(D)函数
设二元信源 U={0,1}，其分布概率, ( ) [,1 ]Pu ???? 1
2??而接收变量 v={0,1}，设汉明失真矩阵为,
01
10D
??? ??
??
因而最小失真度 。并能找到满足该最小失真的试
验信道，且是一个无噪无损信道，其信道矩阵为,min
0D ?
10
01P
??? ??
??
(0 ) ( ; ) ( )R I U V H ???
第三节 二元信源和离散对称信源的 R(D)函数
m a x m i n ( ) (,)V UD P u d u v? ?
m i n [ ( 0 ) ( 0,0 ) ( 1 ) ( 1,0 ) ; ( 0 ) ( 0,1 ) ( 1 ) ( 1,1 ) ]V P d P d P d P d? ? ?
m in [ (1 ),]? ? ?? ? ?
要达到最大允许失真，唯一确定
01
01P
??? ??
??
此时，可计算得信息传输率
( ; ) 0I U V ?
一般情况下，当 时,m ax0 DD ?? ? ?
,
[ ] (,) (,)
UV
D E d p u v d u v?? ?
( 0,1 ) ( 1,0 ) EP u v P u v P? ? ? ? ? ? ?
第三节 二元信源和离散对称信源的 R(D)函数
可以计算得：二元信源得信息率失真函数为
( ) ( ) ( )R D H H D???
例,0.4?? 0.2D ?
在汉明失真条件下,
( ) ( ) 0()
0
H H D DRD
D
??
?
? ? ??? ?
??
( ) ( 0, 4 ) ( 0, 2 ) 0, 2 4 9R D H H???
第三节 二元信源和离散对称信源的 R(D)函数
对于离散对称信源，在汉明失真条件下,
1
lo g lo g ( 1 ) ( ) 0 1
()
1
01
r D r H D D
rRD
D
r
? ? ? ? ? ? ?
??
? ?
? ??
??
第四节 保真度准则下的信源编码定理
定理 7.1 保真度准则下的信源编码定理
设 R(D)为一离散无记忆信源的信息率失真函数，并且有有
限的失真测度。对于任意的,以及任意足够长
的码长 n，则一定存在一种信源编码 C，其码字个数为 0,0,0D ??? ? ?
{ [ ( ) ] }n R DMe ???
而编码后的平均失真度 ()d C D ???
如果用二元编码，则,
{ [ ( ) ] }2 n R DM ???
该定理称为 香农第三定理 。它告诉我们，对于任何失真度
D，只要码长足够长，总可以找到一种编码 C，使编码后的每
个信源符号的信息传输率
' lo g ()MR R Dn ?? ? ?
第四节保真度准则下的信源编码定理
定理 7.2（信源编码逆定理）不存在平均失真度 D，而平均
信息传输率 的任何信源编码。即对任意码长 n的信源
码 C，若码字个数,一定
' ()R R D?
[ ( )]2n R DM ? ()d C D?
该定理告诉我们：如果编码后平均每个信源符号的信息
传输率 小于信息率失真函数,就不能在保真度准
则下再现信源的消息。
'R ()RD
第五节 联合有失真信源信道编码定理
定理 7.3 （信息－传输定理）离散无记忆信源的 S的信息
率失真函数为 R(D)，离散无记忆信道的信道容量 C，若满足
()C R D?
则信源输出的信源序列能在此信道输出端重现，其失真
小于等于 D。
定理 7.4 离散无记忆信源的 S的信息率失真函数为 R(D)，
每秒钟输出 个信源符号，离散无记忆信道的信道容量 C，
每秒输出 个信源符号，若满足
1/sT
1/CT
()
CS
C R D
TT?
则信源输出的信源序列能在此信道输出端重现，其失真
小于等于 D。
第五节 联合有失真信源信道编码定理
定理 7.4 离散无记忆信源的 S的信息率失真函数为 R(D)，
每秒钟输出 个信源符号，离散无记忆信道的信道容量 C，
每秒输出 个信源符号，若满足
1/sT
1/CT
()
CS
C R D
TT?
则信源输出的信源序列能在此信道输出端重现，其失真
小于等于 D。
第六节 有失真信源编码定理的实用意义
例,01
( ) 1 / 2 1 / 2
U
Pu
? ? ? ??? ? ? ?
? ? ? ?
要对此信源进行无失真编码，每个信源符号必须用一个二
元符号来表示，信源的信息输出率为 R=H=1。若允许失真存
在，并定义失真函数为汉明失真，即
0(,)
1
ij
ij
uvd u v
uv
??? ?
??
可以设想这样一种信源编码,
第六节 有失真信源编码定理的实用意义
1
2
1
3
4
000
001
0 0 0 0
010
100
u
u
v
u
u
? ?
??
?
? ? ??
? ?
?? ?
5
6
2
7
8
111
110
111 1
101
011
u
u
v
u
u
? ?
??
?
? ? ??
? ?
?? ?
无噪无损
信道传输
0 000?
1 111?
第六节 有失真信源编码定理的实用意义
这种编码方法，可以看成是一种特殊的试验信道
1,( )( / )
0 ( )
j j i
ji
ji
v C v f uP v u
v f u
????
? ??
1( ) ( ) [,( )]
U
d C P U d u f uN? ?
1 1 1[ 0 1 1 1 0 1 1 1 ]3 8 4? ? ? ? ? ? ? ? ? ?
信息率为 1/3，而平均失真为 1/4，根据香农第三定理，
若允许失真 D=1/4时，总可以找到一种编码，使信息输出
率达到极限 R(1/4)
11( ) 1 ( ) 0,1 8 9
44RH? ? ?
第六节 有失真信源编码定理的实用意义
香农第三定理是一个存在定理，至于如何寻找这种最佳
编码方法并没有给出，在实际应用中，存在一下两方面的
问题,
1、符合实际信源的 R(D)函数的计算相当困难。
1）需要对实际信源的统计特性有确切的描述
2）需要对符合主客观实际的失真给予正确的描述
3）即使满足了前两条,R(D)的计算也比较困难
2、即使求得很好的 R(D)函数，还需要研究采取何种编
码方法才能达到极限值 R(D)。
目前，这两方面工作都有进展。
