信息论（复习）
杨杰信源编码信道编码信道信道译码信源译码信源信宿
UL CM XN YN CM’ VL’
噪声
通信系统模型
信源编 /解码,有效性，去除冗余。
信道编 /解码,可靠性，添加冗余。
信息与通信系统各部分描述与度量
（基本概念）
信息与通信系统的优化
（基本定理）
§ 1:通信系统 各部分描述与度量一,信源
– 基本参量
– 无失真信源的描述与度量
– 限失真信源的描述与度量二,信道
– 描述信道三要素
– 信道描述
– 信道度量三,信宿四,编译码五,通信系统
§ 1:通信系统 各部分描述与度量一,信源 U
基本参量
– 取值空间（集合）,U L=U× U× … × U （ L维）
其中每一个,U={1,2,…n},n 种取值
– 信源输出,UL=(U1…U l …U L)
– 输出样值,uL=(u1…u l …u L)
其中 uL ∈ U={1,2,…,n}
对应概率,pUL(uL) = p(u1…u l …u L)
§ 1:通信系统 各部分描述与度量
无失真信源描述与度量,
1,描述 定义,U = [ UL,p(uL) ]
对于单个离散消息 即 L =1时可简化为,U=[ U,p(u) ]
2,无失真信源 度量,
定义,
LUu LLL
upupUH )(lo g)()(
n
i
ii
Uu
pp
upupUH
L
1
log
)(log)()(
§ 1:通信系统 各部分描述与度量
限失真信源描述与度量,
1,描述,先定义失真函数,
d(uL,vL),UL × VL ----->
d(u,v),U × V ----->
则有,U={ [UL,p(uL)],[ UL × VL,d(uL,vL) ] }
U={ [U,p(u)],[U × V,d(u,v) ] }
),0[?
),0[?
§ 1:通信系统 各部分描述与度量
2,度量,定义一个限失真的信息率失真函数 R(D)来代替无失真时的信源熵 H(U),为了简化，仅讨论单个消息情况,
首先 给出信源（宿）的最大允许失真率 D,在定义失真为 D时，条件转移概率的变化范围 PD。
然后 定义,
其中 I(U;V)为 U,V间的互信息
i j jijiijiD uudPPdDPP )}(:{
);(m in)( VUIDR
Dji pp?
§ 1:通信系统 各部分描述与度量二,信道 C
描述信道的三要素,
– 信道输入集合,（ n维）
且 （有限）,为单消息取值数。
– 信道输出集合,（ n维）
且 （有限）,为单消息取值数。
– 信道转移概率,
其中
,,,,,,n
n
nY
,,,,,,n
)(
n
n xyP
)............( 1 nin xxxx? ).,,,,,.,,,,,( 1 nin yyyy?
§ 1:通信系统 各部分描述与度量
信道 描述 如下,
-----> 信 道 -----〉
输入 输出定义：
信道 度量,定义信道容量值如下：
（这里为了简化，仅定义单消息（ n＝ 1）的信道）
)]( [ nn xq? )]( [ nn yq?
)(
n
n xyP
]),/(,[ nnnn YxyPXe? ]),/(,[ YxyPXe?
);(m a x YXIC
ip
§ 1:通信系统 各部分描述与度量三,信宿 V
它的 描述 完全类似于信源。
其 度量,
– 无失真用互信息 表示，
– 限失真时用 函数表示。
);( VUI
)(DR
§ 1:通信系统 各部分描述与度量四,编、译码
码：
– 在数学上可看作是一种映射；
– 在物理上可看作是一种变换。
– 即 ——编码
——译码这里由于,,,均为有限值，故可仅讨论有限空间上的映射。
若选即为二元有限域，则称上述码为二元码。
),( gf
nL XUf:
Ln VYg:
LU nX nY LV
}1,0{)2( GFYXVU
§ 1:通信系统 各部分描述与度量
变换：根据通信系统主要技术指标数量指标 ——通信有效性质量指标 ——通信可靠性（这里只考虑抗自然干扰的可靠性，不考虑抗人为干扰的安全性）
由这两个指标可进一步将编译码 分解为二个子变换：
其中 为有效性的信源编译码； 为可靠性的信道编译码。
另外，根据需要也还可划分更多的子变换 。
),( gf
nm
mL
nL
XCf
CUf
XUf
:
:
:
2
1
Lm
mn
Ln
VCg
CYg
VYg
:
:
:
1
2
),( 11 gf ),( 22 gf
§ 1:通信系统 各部分描述与度量
差错准则
– 为了定量分析度量编译码的好坏。我们引入码（ f,g）
的误差函数
e（ f,g）,e（ f,g） p{g[f(ul)]≠ ul}
– 并给出下列准则：
1〉 无失真准则,e(f,g)=0
即,p{g[f(ul)]=ul}=1 或,p{g[f(ul)]≠ ul}=0
2〉 误差准则：,
即,或：
3〉 平均误差准则：,
即,或：
),( gfe
})]([{ LL uufgp 1})]([{ LL uufgp
)],([ gfeE
}])]([{[ LL uufgpE DufgudE LL) ] }]([,{[
§ 1:通信系统 各部分描述与度量
– 三个准则中，无失真准则最强，平均误差准则最弱。
– 信息论中无失真信源编码定理采用无失真准则,
– 限失真信源编码定理以及信道编码定理都采用平均误差准则。
§ 1:通信系统 各部分描述与度量五、通信系统
描述
– 当已知信源 U,信宿 V,信道 C以及编译码 (f,g)时，可给出一个确知的通信系统 S：
S={U,V,C,(fi,gi)}i=1,2,
并可分别表示有效（ i=1）、可靠（ i=2）的单指标优化系统。
– 通信系统统计特性可表示为
p(S)=p(ul)p(xn/ul)p(yn/xn)p(vl/yn)
§ 1:通信系统 各部分描述与度量如果编译码方式给定，即
1,当 xn=f(ul)
f=
0,其它
1,当 ul=g(yn)
g=
0,其它这时,p(s)=p(ul)·f·p(yn/xn)·g= p(ul)·p(yn/xn)
§ 2:信息与通信系统的优化
系统参量的分类
系统优化的实质
无失真信源编码定理
限失真信源编码定理
信道编码定理
§ 2:信息与通信系统的优化一、系统参量的分类
客观参量,
它是由信源、信道、信宿本身的客观统计特性所决定的，比如
– 无失真信源的信息熵,H(U)
– 限失真信源的信息率失真函数,R(D)
– 信道容量,C,C(F)
– 信宿可获得的信息量,I(U,V)
§ 2:信息与通信系统的优化
主观要求的参量,
它是人为给定与主观要求的，比如
– 通信系统的实际传输速率,R
– 信宿的最大允许失真,D
– 信道受限时总代价,F
§ 2:信息与通信系统的优化二,系统优化的实质
– 就是要研究系统在不同优化指标下，两类参量（主、客观）之间的统计匹配与匹配的条件。
– 优化的目标：
对无失真信源系统传输最有效对限失真信源系统传输最可靠；
系统传输最安全；
– 有以上三个指标、四个方面所讨论的系统优化就构成了最著名的 C,
E,Shannon三个编码定理与一个密码学基本定理。
§ 2:信息与通信系统的优化三,无失真信源编码定理
优化指标,系统传输最有效。
优化条件,无干扰信道，无失真信源，理想安全性。
优化问题,什么条件下，最优无失真信源编译码存在？什么条件下，最优无失真信源编译码不存在？
优化对象,信源 与 通信系统 之间的统计匹配
– 无失真信源可以用信息熵定量描述,H(U).
– 通信系统可以用要求达到的传输率,R表示。
定理表达形式,（它既是存在性，也是构造性定理）
– 若 R>H(U)时，最有效的信源编译码（ f1,g1）存在；
– 反之,R<H(U)时，（ f1，,g1）不存在。
§ 2:信息与通信系统的优化
定理进一步物理解释,
– 由通信系统的联合分布
P(S)=P(uL)P(Cm/uL) P(xn/Cm)P(yn/xn)P(Cm’/yn)/P(vL/ Cm’)
– 在研究无失真信源编码时，可以认为信道编译码为理想情况，即
P(xn/Cm)P(yn/xn)P(Cm’/yn)=1
将这一结果代入上式，则有 P(S)=p(uL)P(Cm/uL)P(vL/Cm’)
– 对于 无失真 信源 编译码的准则,有 e(f1,g1)=p{g1[f1(ul)]≠ul}=0
– 所以，有 g1=f1-1,即 P(Cm/uL)=P(vL/Cm’)
– 故,P(S)=p(uL)f?g=p(uL)f?f－ 1=p(uL)
结论,
– 无失真信源编译码是寻求通信系统与信源统计特性相匹配的编译码。若通信系统传信率 R用无失真编码后的平均码长来表示，则问题可归结为与信息熵的统计匹配。
（熵编码）
实现方法可分为两类：
– 改造信源,改变信源分布为等概率分布，再采用等长码进行匹配；
– 适应信源,利用不等长码，比如哈夫曼编码，与实际信源的不等概率特性实现统计匹配。
§ 2:信息与通信系统的优化四,限失真信源编码定理
优化指标,系统传输最有效；
优化条件,无干扰信道，限失真信源；理想安全性。
优化问题,什么条件下，最优限失真信源编译码方法存在，什么条件下，不存在；
优化对象,限失真信源 与 通信系统 之间的统计匹配。
– 限失真信源可用率失真函数描述,R(D)
– 通信系统则可用必须达到的传信率,R表示
定理表达形式 （仅为存在性定理）
– 若 R>R(D)时，最有效信源编码（ f1’,g1’）存在；
– 反之，当 R<R(D)时，最有效的（ f1’,g1’）不存在。
§ 2:信息与通信系统的优化
定理进一步物理解释,
– 由信息系统联合分布 p(S)表达式。
– 当研究限失真信源编、译码时，可以认为信道编、译码为理想情况。
即,P(xn/Cm)P(yn/xn)P(Cm’/ym)=1 则有,P(S)=p(uL)P(Cm/uL)P(vL/Cm’)
– 而对于限失真信源编译码准则，有 E[e(f1’,g1’)]=E[P{g1’[f1’(ul)]≠ul}]<ε=D
或 E[e(f1’,g1’)=E[d(uL,vL)]= <ε=D
– 这时，有,f1’= P(Cm/uL) g1’= P(vL/Cm’)
– 且在 平均误差准则 下，有 g1’=f1-1’ 即 P(Cm/uL) P(vL/Cm’) =1
– 代入 P(S)表达式，有 P(S)=p(uL) P(Cm/uL) P(vL/Cm’)=p(uL)
结论,
– 限失真信源编、译码是寻求通信系统与信源统计特性在平均误差准则下相匹配的编码。
– 这一定理与无失真信源所不同的是无失真信源既是存在性又是构造性，而限失真信源仅仅是一个存在性定理。但是它也给出构造性的方向。
改造信源,比如解除信源相关性。 预测编码、变换编码。
适应信源,比如矢量量化编码等。
d
§ 2:信息与通信系统的优化五,信道编码定理
优化指标,系统传输最可靠；
优化条件,理想信源、理性信道安全性，失真信道。
优化问题,什么条件下，最优信道编译码（ f2,g2）存在?
什么条件下，不存在?
优化对象,实现 有失真信道 与 通信系统 之间的统计匹配。
– 信道可用容量描述,C
– 通信系统则仍可用实际传输率,R表示
定理表达形式 (仅为存在性定理 )
– 若 R<C时，最可靠信道编译码 （ f2,g2）存在；
– 反之，若 R>C时，最可靠信道编译码不存在。
§ 2:信息与通信系统的优化
定理进一步物理解释,
– 由通信系统联合分布 p(S)表达式，代入下列条件：当研究信道编译码，可以认为信源编译码为理想情况。即：P(u
L)P(Cm/uL)P(vL/Cm’)=1
则有,p(S)=P(xn/Cm)P(yn/xn)P(Cm’/yn)
– 引用 平均误差准则,有 E[e(f2,g2)]<ε
则在平均误差准则下有,g2=f2-1
即 [f2=p(xn/ cm)]·[g2=f2-1=p(cm'/yn)]=1
这时有,p(s)=f2· p(yn/xn)·g2=p(yn/xn)·f2·f 2-1=p(yn/xn)
结论,
– 有失真的信道编译码是寻求通信系统与有失真信道特性在平均误 差的准则下相匹配的编译码。
– 这一定理也是一类存在性定理。但是它也给出信道编译码构造的发展方向。
改造信道,比如各类信道自适应均衡技术，各类信道交织技术；
适应信道,比如各类信道编码技术，各类调制解调技术。
§ 3:复习提纲－第一章
1,消息、信号、信息的含义及定义。
2,狭义信息论、广义信息论、一般信息论研究的领域。
3、通信系统的物理模型（主要框图），各单元（方框）
的主要功能及要解决的主要问题。
4、香农信息论研究的对象、目的和内容。
5、通信有效性的概念。提高通信有效性的最根本途径？
6、通信可靠性的概念。提高通信可靠性的最根本途径？
§ 3:复习提纲－第二章
1,信源的熵和信源输出信息量之间的关系？
2,各种熵（信源熵，条件熵，联合熵等）的定义及其性质,单符号离散信源的熵的计算 。
3,连续消息的微分熵的定义及其性质？ 正态分布、
平均分布的信源的熵的计算。
4,几种条件下的信源最大熵定理：信号峰值功率受限；信号平均功率受限；
5,互信息的定义、性质、物理意义？
6,熵、互信息概念的辨析。
§ 3:复习提纲－第三章
1、信息论对信源研究的内容。
2、信源的冗余度的定义和含义？为什么有些信源有冗余度？
3、熵率的含义？
§ 3:复习提纲－第四章
1,什么是即时码（前缀码）？构造即时码的充要条件？
2,Shannon第一定理及其含义、物理意义？
举例说明其应用。
3,什么是最佳编码？说出 Haffman编码的 基本方法 和主要特点。
4,编码效率的定义？如何提高编码效率？
§ 3:复习提纲－第五章
信息论对信道研究的内容和目的
信息传输速率 R的定义？
信道容量 C以及容量费用函数的定义？ 几种常用的二进制离散信道以及高斯连续信道的 C的计算？
高斯分布随机变量作为信道输入及信道噪声时对信息传输的影响？
Shannon公式 及其含义？举例说明其 应用 。
§ 3:复习提纲－第六章
信道编码的作用及实质。
简要说明下面几种译码准则：（ 1）最小错误概率准则；（ 2）最大似然译码准则；
（ 3）最小距离准则。
Shannon第二定理及其含义、物理意义？
举例说明其应用。
Shannon对第二定理证明所采用的方法
汉明码的编译码方法？
§ 3:复习提纲－第七章
失真函数、平均失真度、保真度准则的定义及其含义？
信息率失真函数 R(D)的定义、性质及其含义？ R(D)与 C的比较？
Shannon第三定理及其含义、物理意义？
举例说明其应用
例一,设某班学生在一次考试中获优（ A）、良（ B）、中（ C）、
及格（ D）和不及格（ E）的人数相等。当教师通知某甲：“你没有不及格”，甲获得了多少比特信息？
解,某班学生在一次考试中的成绩的在学生未被告知前是一个单符号的随机变量，其概率分布为：
学生甲对成绩的不确定性
当教师通知某甲：“你没有不及格”时，
H1(x) = log4 = 2bits? 学生甲关于成绩仍存在的不确定性
I＝ H(X)－ H1(X)＝ 0.322bits?学生甲获得的信息量。
X
P（ x） ＝
A B C D E
1/5 1/5 1/5 1/5 1/5
H(x) = log5 = 2.322bits
X
P（ x） ＝
A B C D
1/4 1/4 1/4 1/4
例二,设一连续无记忆信源,其概率密度函数为,。
求 的微分熵（相对信息熵） 。
解,X的的微分熵为
],0[ AX?
Abxa0)/(1)( abxp
X )(XH
)l o g (
1
)l o g (
)l o g (
1
)(
1
l o g)()(
abdx
ab
ab
dxab
ab
dx
xp
xpXH
b
a
b
a
b
a
– 例三,一幅标准的黑白电视图像有 个象素。如每个象素的灰度电平有 256级，一幅画面所含的信息量为多少？（设灰度取各电平级的概率相等，且象素间统计独立。） 如摄像机的扫描速度为
25幅画面 /秒，求摄像机产生的信息率（设各画面互不相关）。它相当于多少路话音源的信息率？
– 解,因象素取值等概，每一象素所能包含的信息量为
– 一幅画面所含的信息量为：
– 摄像机产生的信息率为：
– 典型 PCM编码的话音信息速率 64 kbits/sec，二者之比为,
– 即 1路电视信号相当于 1628路话音信号。
26253/4?
b it s 82 5 6lo g1I
M b it s 17.486 2 534 2I
M b it s / s e c 10417.425 rIR
16281064 10104 36
例四,设一信源有 分别为 0.5,0.4，和 0.１。
求二进制 Huffman编码及效率。
解,二进制 Huffman编码为：
每个信源符号的信息熵为平均码长为编码效率：
ks
)(,3 ksPK?
)( ksP
1s
2s
3s
0.5
0.4
0.1
码子
1
0
1
0
0
10
11
b itsUH 36.133.0529.05.01.0 1l o g1.04.0 1l o g4.05.0 1l o g5.0)(
5.121.024.015.0)(k
k kk
sPn
0,9 0 7)U( kH?
杨杰信源编码信道编码信道信道译码信源译码信源信宿
UL CM XN YN CM’ VL’
噪声
通信系统模型
信源编 /解码,有效性，去除冗余。
信道编 /解码,可靠性，添加冗余。
信息与通信系统各部分描述与度量
（基本概念）
信息与通信系统的优化
（基本定理）
§ 1:通信系统 各部分描述与度量一,信源
– 基本参量
– 无失真信源的描述与度量
– 限失真信源的描述与度量二,信道
– 描述信道三要素
– 信道描述
– 信道度量三,信宿四,编译码五,通信系统
§ 1:通信系统 各部分描述与度量一,信源 U
基本参量
– 取值空间（集合）,U L=U× U× … × U （ L维）
其中每一个,U={1,2,…n},n 种取值
– 信源输出,UL=(U1…U l …U L)
– 输出样值,uL=(u1…u l …u L)
其中 uL ∈ U={1,2,…,n}
对应概率,pUL(uL) = p(u1…u l …u L)
§ 1:通信系统 各部分描述与度量
无失真信源描述与度量,
1,描述 定义,U = [ UL,p(uL) ]
对于单个离散消息 即 L =1时可简化为,U=[ U,p(u) ]
2,无失真信源 度量,
定义,
LUu LLL
upupUH )(lo g)()(
n
i
ii
Uu
pp
upupUH
L
1
log
)(log)()(
§ 1:通信系统 各部分描述与度量
限失真信源描述与度量,
1,描述,先定义失真函数,
d(uL,vL),UL × VL ----->
d(u,v),U × V ----->
则有,U={ [UL,p(uL)],[ UL × VL,d(uL,vL) ] }
U={ [U,p(u)],[U × V,d(u,v) ] }
),0[?
),0[?
§ 1:通信系统 各部分描述与度量
2,度量,定义一个限失真的信息率失真函数 R(D)来代替无失真时的信源熵 H(U),为了简化，仅讨论单个消息情况,
首先 给出信源（宿）的最大允许失真率 D,在定义失真为 D时，条件转移概率的变化范围 PD。
然后 定义,
其中 I(U;V)为 U,V间的互信息
i j jijiijiD uudPPdDPP )}(:{
);(m in)( VUIDR
Dji pp?
§ 1:通信系统 各部分描述与度量二,信道 C
描述信道的三要素,
– 信道输入集合,（ n维）
且 （有限）,为单消息取值数。
– 信道输出集合,（ n维）
且 （有限）,为单消息取值数。
– 信道转移概率,
其中
,,,,,,n
n
nY
,,,,,,n
)(
n
n xyP
)............( 1 nin xxxx? ).,,,,,.,,,,,( 1 nin yyyy?
§ 1:通信系统 各部分描述与度量
信道 描述 如下,
-----> 信 道 -----〉
输入 输出定义：
信道 度量,定义信道容量值如下：
（这里为了简化，仅定义单消息（ n＝ 1）的信道）
)]( [ nn xq? )]( [ nn yq?
)(
n
n xyP
]),/(,[ nnnn YxyPXe? ]),/(,[ YxyPXe?
);(m a x YXIC
ip
§ 1:通信系统 各部分描述与度量三,信宿 V
它的 描述 完全类似于信源。
其 度量,
– 无失真用互信息 表示，
– 限失真时用 函数表示。
);( VUI
)(DR
§ 1:通信系统 各部分描述与度量四,编、译码
码：
– 在数学上可看作是一种映射；
– 在物理上可看作是一种变换。
– 即 ——编码
——译码这里由于,,,均为有限值，故可仅讨论有限空间上的映射。
若选即为二元有限域，则称上述码为二元码。
),( gf
nL XUf:
Ln VYg:
LU nX nY LV
}1,0{)2( GFYXVU
§ 1:通信系统 各部分描述与度量
变换：根据通信系统主要技术指标数量指标 ——通信有效性质量指标 ——通信可靠性（这里只考虑抗自然干扰的可靠性，不考虑抗人为干扰的安全性）
由这两个指标可进一步将编译码 分解为二个子变换：
其中 为有效性的信源编译码； 为可靠性的信道编译码。
另外，根据需要也还可划分更多的子变换 。
),( gf
nm
mL
nL
XCf
CUf
XUf
:
:
:
2
1
Lm
mn
Ln
VCg
CYg
VYg
:
:
:
1
2
),( 11 gf ),( 22 gf
§ 1:通信系统 各部分描述与度量
差错准则
– 为了定量分析度量编译码的好坏。我们引入码（ f,g）
的误差函数
e（ f,g）,e（ f,g） p{g[f(ul)]≠ ul}
– 并给出下列准则：
1〉 无失真准则,e(f,g)=0
即,p{g[f(ul)]=ul}=1 或,p{g[f(ul)]≠ ul}=0
2〉 误差准则：,
即,或：
3〉 平均误差准则：,
即,或：
),( gfe
})]([{ LL uufgp 1})]([{ LL uufgp
)],([ gfeE
}])]([{[ LL uufgpE DufgudE LL) ] }]([,{[
§ 1:通信系统 各部分描述与度量
– 三个准则中，无失真准则最强，平均误差准则最弱。
– 信息论中无失真信源编码定理采用无失真准则,
– 限失真信源编码定理以及信道编码定理都采用平均误差准则。
§ 1:通信系统 各部分描述与度量五、通信系统
描述
– 当已知信源 U,信宿 V,信道 C以及编译码 (f,g)时，可给出一个确知的通信系统 S：
S={U,V,C,(fi,gi)}i=1,2,
并可分别表示有效（ i=1）、可靠（ i=2）的单指标优化系统。
– 通信系统统计特性可表示为
p(S)=p(ul)p(xn/ul)p(yn/xn)p(vl/yn)
§ 1:通信系统 各部分描述与度量如果编译码方式给定，即
1,当 xn=f(ul)
f=
0,其它
1,当 ul=g(yn)
g=
0,其它这时,p(s)=p(ul)·f·p(yn/xn)·g= p(ul)·p(yn/xn)
§ 2:信息与通信系统的优化
系统参量的分类
系统优化的实质
无失真信源编码定理
限失真信源编码定理
信道编码定理
§ 2:信息与通信系统的优化一、系统参量的分类
客观参量,
它是由信源、信道、信宿本身的客观统计特性所决定的，比如
– 无失真信源的信息熵,H(U)
– 限失真信源的信息率失真函数,R(D)
– 信道容量,C,C(F)
– 信宿可获得的信息量,I(U,V)
§ 2:信息与通信系统的优化
主观要求的参量,
它是人为给定与主观要求的，比如
– 通信系统的实际传输速率,R
– 信宿的最大允许失真,D
– 信道受限时总代价,F
§ 2:信息与通信系统的优化二,系统优化的实质
– 就是要研究系统在不同优化指标下，两类参量（主、客观）之间的统计匹配与匹配的条件。
– 优化的目标：
对无失真信源系统传输最有效对限失真信源系统传输最可靠；
系统传输最安全；
– 有以上三个指标、四个方面所讨论的系统优化就构成了最著名的 C,
E,Shannon三个编码定理与一个密码学基本定理。
§ 2:信息与通信系统的优化三,无失真信源编码定理
优化指标,系统传输最有效。
优化条件,无干扰信道，无失真信源，理想安全性。
优化问题,什么条件下，最优无失真信源编译码存在？什么条件下，最优无失真信源编译码不存在？
优化对象,信源 与 通信系统 之间的统计匹配
– 无失真信源可以用信息熵定量描述,H(U).
– 通信系统可以用要求达到的传输率,R表示。
定理表达形式,（它既是存在性，也是构造性定理）
– 若 R>H(U)时，最有效的信源编译码（ f1,g1）存在；
– 反之,R<H(U)时，（ f1，,g1）不存在。
§ 2:信息与通信系统的优化
定理进一步物理解释,
– 由通信系统的联合分布
P(S)=P(uL)P(Cm/uL) P(xn/Cm)P(yn/xn)P(Cm’/yn)/P(vL/ Cm’)
– 在研究无失真信源编码时，可以认为信道编译码为理想情况，即
P(xn/Cm)P(yn/xn)P(Cm’/yn)=1
将这一结果代入上式，则有 P(S)=p(uL)P(Cm/uL)P(vL/Cm’)
– 对于 无失真 信源 编译码的准则,有 e(f1,g1)=p{g1[f1(ul)]≠ul}=0
– 所以，有 g1=f1-1,即 P(Cm/uL)=P(vL/Cm’)
– 故,P(S)=p(uL)f?g=p(uL)f?f－ 1=p(uL)
结论,
– 无失真信源编译码是寻求通信系统与信源统计特性相匹配的编译码。若通信系统传信率 R用无失真编码后的平均码长来表示，则问题可归结为与信息熵的统计匹配。
（熵编码）
实现方法可分为两类：
– 改造信源,改变信源分布为等概率分布，再采用等长码进行匹配；
– 适应信源,利用不等长码，比如哈夫曼编码，与实际信源的不等概率特性实现统计匹配。
§ 2:信息与通信系统的优化四,限失真信源编码定理
优化指标,系统传输最有效；
优化条件,无干扰信道，限失真信源；理想安全性。
优化问题,什么条件下，最优限失真信源编译码方法存在，什么条件下，不存在；
优化对象,限失真信源 与 通信系统 之间的统计匹配。
– 限失真信源可用率失真函数描述,R(D)
– 通信系统则可用必须达到的传信率,R表示
定理表达形式 （仅为存在性定理）
– 若 R>R(D)时，最有效信源编码（ f1’,g1’）存在；
– 反之，当 R<R(D)时，最有效的（ f1’,g1’）不存在。
§ 2:信息与通信系统的优化
定理进一步物理解释,
– 由信息系统联合分布 p(S)表达式。
– 当研究限失真信源编、译码时，可以认为信道编、译码为理想情况。
即,P(xn/Cm)P(yn/xn)P(Cm’/ym)=1 则有,P(S)=p(uL)P(Cm/uL)P(vL/Cm’)
– 而对于限失真信源编译码准则，有 E[e(f1’,g1’)]=E[P{g1’[f1’(ul)]≠ul}]<ε=D
或 E[e(f1’,g1’)=E[d(uL,vL)]= <ε=D
– 这时，有,f1’= P(Cm/uL) g1’= P(vL/Cm’)
– 且在 平均误差准则 下，有 g1’=f1-1’ 即 P(Cm/uL) P(vL/Cm’) =1
– 代入 P(S)表达式，有 P(S)=p(uL) P(Cm/uL) P(vL/Cm’)=p(uL)
结论,
– 限失真信源编、译码是寻求通信系统与信源统计特性在平均误差准则下相匹配的编码。
– 这一定理与无失真信源所不同的是无失真信源既是存在性又是构造性，而限失真信源仅仅是一个存在性定理。但是它也给出构造性的方向。
改造信源,比如解除信源相关性。 预测编码、变换编码。
适应信源,比如矢量量化编码等。
d
§ 2:信息与通信系统的优化五,信道编码定理
优化指标,系统传输最可靠；
优化条件,理想信源、理性信道安全性，失真信道。
优化问题,什么条件下，最优信道编译码（ f2,g2）存在?
什么条件下，不存在?
优化对象,实现 有失真信道 与 通信系统 之间的统计匹配。
– 信道可用容量描述,C
– 通信系统则仍可用实际传输率,R表示
定理表达形式 (仅为存在性定理 )
– 若 R<C时，最可靠信道编译码 （ f2,g2）存在；
– 反之，若 R>C时，最可靠信道编译码不存在。
§ 2:信息与通信系统的优化
定理进一步物理解释,
– 由通信系统联合分布 p(S)表达式，代入下列条件：当研究信道编译码，可以认为信源编译码为理想情况。即：P(u
L)P(Cm/uL)P(vL/Cm’)=1
则有,p(S)=P(xn/Cm)P(yn/xn)P(Cm’/yn)
– 引用 平均误差准则,有 E[e(f2,g2)]<ε
则在平均误差准则下有,g2=f2-1
即 [f2=p(xn/ cm)]·[g2=f2-1=p(cm'/yn)]=1
这时有,p(s)=f2· p(yn/xn)·g2=p(yn/xn)·f2·f 2-1=p(yn/xn)
结论,
– 有失真的信道编译码是寻求通信系统与有失真信道特性在平均误 差的准则下相匹配的编译码。
– 这一定理也是一类存在性定理。但是它也给出信道编译码构造的发展方向。
改造信道,比如各类信道自适应均衡技术，各类信道交织技术；
适应信道,比如各类信道编码技术，各类调制解调技术。
§ 3:复习提纲－第一章
1,消息、信号、信息的含义及定义。
2,狭义信息论、广义信息论、一般信息论研究的领域。
3、通信系统的物理模型（主要框图），各单元（方框）
的主要功能及要解决的主要问题。
4、香农信息论研究的对象、目的和内容。
5、通信有效性的概念。提高通信有效性的最根本途径？
6、通信可靠性的概念。提高通信可靠性的最根本途径？
§ 3:复习提纲－第二章
1,信源的熵和信源输出信息量之间的关系？
2,各种熵（信源熵，条件熵，联合熵等）的定义及其性质,单符号离散信源的熵的计算 。
3,连续消息的微分熵的定义及其性质？ 正态分布、
平均分布的信源的熵的计算。
4,几种条件下的信源最大熵定理：信号峰值功率受限；信号平均功率受限；
5,互信息的定义、性质、物理意义？
6,熵、互信息概念的辨析。
§ 3:复习提纲－第三章
1、信息论对信源研究的内容。
2、信源的冗余度的定义和含义？为什么有些信源有冗余度？
3、熵率的含义？
§ 3:复习提纲－第四章
1,什么是即时码（前缀码）？构造即时码的充要条件？
2,Shannon第一定理及其含义、物理意义？
举例说明其应用。
3,什么是最佳编码？说出 Haffman编码的 基本方法 和主要特点。
4,编码效率的定义？如何提高编码效率？
§ 3:复习提纲－第五章
信息论对信道研究的内容和目的
信息传输速率 R的定义？
信道容量 C以及容量费用函数的定义？ 几种常用的二进制离散信道以及高斯连续信道的 C的计算？
高斯分布随机变量作为信道输入及信道噪声时对信息传输的影响？
Shannon公式 及其含义？举例说明其 应用 。
§ 3:复习提纲－第六章
信道编码的作用及实质。
简要说明下面几种译码准则：（ 1）最小错误概率准则；（ 2）最大似然译码准则；
（ 3）最小距离准则。
Shannon第二定理及其含义、物理意义？
举例说明其应用。
Shannon对第二定理证明所采用的方法
汉明码的编译码方法？
§ 3:复习提纲－第七章
失真函数、平均失真度、保真度准则的定义及其含义？
信息率失真函数 R(D)的定义、性质及其含义？ R(D)与 C的比较？
Shannon第三定理及其含义、物理意义？
举例说明其应用
例一,设某班学生在一次考试中获优（ A）、良（ B）、中（ C）、
及格（ D）和不及格（ E）的人数相等。当教师通知某甲：“你没有不及格”，甲获得了多少比特信息？
解,某班学生在一次考试中的成绩的在学生未被告知前是一个单符号的随机变量，其概率分布为：
学生甲对成绩的不确定性
当教师通知某甲：“你没有不及格”时，
H1(x) = log4 = 2bits? 学生甲关于成绩仍存在的不确定性
I＝ H(X)－ H1(X)＝ 0.322bits?学生甲获得的信息量。
X
P（ x） ＝
A B C D E
1/5 1/5 1/5 1/5 1/5
H(x) = log5 = 2.322bits
X
P（ x） ＝
A B C D
1/4 1/4 1/4 1/4
例二,设一连续无记忆信源,其概率密度函数为,。
求 的微分熵（相对信息熵） 。
解,X的的微分熵为
],0[ AX?
Abxa0)/(1)( abxp
X )(XH
)l o g (
1
)l o g (
)l o g (
1
)(
1
l o g)()(
abdx
ab
ab
dxab
ab
dx
xp
xpXH
b
a
b
a
b
a
– 例三,一幅标准的黑白电视图像有 个象素。如每个象素的灰度电平有 256级，一幅画面所含的信息量为多少？（设灰度取各电平级的概率相等，且象素间统计独立。） 如摄像机的扫描速度为
25幅画面 /秒，求摄像机产生的信息率（设各画面互不相关）。它相当于多少路话音源的信息率？
– 解,因象素取值等概，每一象素所能包含的信息量为
– 一幅画面所含的信息量为：
– 摄像机产生的信息率为：
– 典型 PCM编码的话音信息速率 64 kbits/sec，二者之比为,
– 即 1路电视信号相当于 1628路话音信号。
26253/4?
b it s 82 5 6lo g1I
M b it s 17.486 2 534 2I
M b it s / s e c 10417.425 rIR
16281064 10104 36
例四,设一信源有 分别为 0.5,0.4，和 0.１。
求二进制 Huffman编码及效率。
解,二进制 Huffman编码为：
每个信源符号的信息熵为平均码长为编码效率：
ks
)(,3 ksPK?
)( ksP
1s
2s
3s
0.5
0.4
0.1
码子
1
0
1
0
0
10
11
b itsUH 36.133.0529.05.01.0 1l o g1.04.0 1l o g4.05.0 1l o g5.0)(
5.121.024.015.0)(k
k kk
sPn
0,9 0 7)U( kH?
