信息论与编码
注:课件中标题前标有,*”的内
容为补充内容,只要求了解
第一章、绪论
1.信息论的形成和发展
2.通信系统的模型
1、什么是信息?
Information
“某人被通知或告知的内容、情报、消息,
消息 是指包含有信息的语言、文字和图
像等。
信号 是信息 的载体,是消息的物理体现。
信息 是指各个事物运动的状态及状态的
变化方式,是抽象的意识或知识。
1948年,香农在, 通信的数学理论, 的论文中,
用概率测度和数理统计的方法系统地讨论了通
信的基本问题,得出了几个重要而带有普遍意
义的结论。香农理论的核心是,在通信系统中
采用适当的编码后能够实现 高效率 和 高可靠性
的信息传输,并得出了 信源编码 定理和 信道编
码 定理。
狭义信息论(香农信息论)
信息的测度、信道容量、信源和信道编
码理论
一般信息论
噪声、滤波与预测、估计、保密等
广义信息论
所有与信息相关的邻域

Claude,E,Shannon的两篇论文 – Shannon 信息论
1948年 ----信息时代的里程碑 !
“A Mathematical Theory in Communication”
–Shannon第一、二定理
1959年, Coding theorems for a discrete source
with a fidelity criterion”.
– Shannon第三定理
1948年以后,调制解调
? Digital Modulation:
? BPSK绝对相移键控,QPSK正交相移键控,QAM正交幅度
调制,FH跳频扩频,DS直接序列扩频,
? FDMA,TDMA,CDMA
? 空间时间自适应处理、智能天线技术
? 多用户检测、干扰抑制技术
? 多载波和 OFDM 正交频分复用
1948年以后,信源编码
? Huffman,Fano Code (1950);
? 波形编码,PCM脉冲振幅调制,DM增量调制,
DPCM增量脉冲调制 ;
? 语音参量编码 ;
? 图象编码,DCT,帧间预测插值,运动补偿
? 数据压缩编码
? 语音编码标准
? 图象编码标准
1948年以后、信道编码
? Hamming Code汉明码,Cyclic Code 循环码 (1950);
? Convolution Code卷积码 (Fano,Viterbi,1950’);
? BCH Code,Reed Solumn Code (1959)
? 级连码(内码,RS码 +外码:卷级码)
? Trellis coded Modulation网格编码调制 (1976,1982)
? Turbo Code涡轮码 (1993) (10-5,0.5dB)
? LDPC低密度奇偶校验编码 (Gallager,1963) (10-6,
0.04dB)
2、通信系统的模型
信源 编码器 信道 译码器
噪声源
通信系统模型
信宿
信源:消息的来源
编码器:把消息变换成信号
信道:传递信号的媒介
译码器:把信道输出的信号反变换
信宿:信息的接受端
噪声:信道中的干扰
信源编码器 的作用是把信源发出的消息变换成
由二进制码元或多进制码元组成的代码组,这
种代码组就是基带信号。
信道编码器 的作用是在信源编码器输出的代码
组上增加一些监督码元,使之具有检错或纠错
的能力。
3、研究通信系统的目的
研究通信系统的目的就是要找到信息传输过程
的共同规律,以提高信息传输的可靠性、有效
性、保密性和认证性,以达到信息传输系统最
优化。所谓 可靠性 高,就是要使信源发出的消
息经过信道传输以后,尽可能准确地、不失真
地再现在接收端。而所谓 有效性 高,就是经济
效果好,即用尽可能短的时间和尽可能少的设
备来传送一定数量的信息。
以后会看到, 提高可靠性和提高有效性常常会发生矛
盾, 这就需要统筹兼顾 。
所谓保密性就是隐蔽和保护通信系统中传送的消息,
使它只能被授权接收者获取, 而不能被未授权者接收
和理解 。
所谓认证性是指接收者能正确判断所接收的消息的正
确性和完整性, 而不是伪造的和被篡改的 。
第二章、信源及信源熵
要求:
1、掌握信源的分类
2、掌握自信息、信源熵、互信息的定义
3、掌握离散有记忆序列信源和离散无记
忆序列信源熵的计算
4、掌握连续信源熵的计算
5、冗余度
1.1单消息(符号)信源
? 它是最简单也是最基本的信源, 是组成实际
信源的基本单元 。 它可以用信源取值随机变
量的范围 U和对应概率分布 P(u)共同组成的
二元序对 [U,P(u)]来表示 。
? 当信源给定, 其相应的概率空间就已给定;
反之, 如果概率空间给定, 这就表示相应的
信源已给定 。 所以, 概率空间能表征这离散
信源的统计特性, 因此有时也把这个概率空
间称为信源空间 。
这些信源可能输出的消息数是有限的或
可数的, 而且 每次只输出其中一个消息 。
因此, 可以用一个离散型随机变量 X来描
述这个信源输出的消息 。 这个随机变量 X
的样本空间就是符号集 A;而 X的概率分
布就是各消息出现的先验概率, 信源的
概率空间必定是一个完备集 。
在实际情况中, 存在着很多这样的信源 。
例如投硬币, 书信文字, 计算机的代码,
电报符号, 阿拉伯数字码等等 。 这些信
源输出的都是单个符号 (或代码 )的消息,
它们符号集的取值是有限的或可数的 。
我们可用一维 离散型随机变量 X来描述这
些信源的输出 。 它的数学模型就是离散
型的概率空间
对离散信源
例,对于二 进制数 据, 数字 信源,
U={0,1},则有
?
?
?
?
?
?
?
?
???
?
?
???
? ??
???
?
?
???
? ??
2
1,
2
1
1,0
,
1,0 2
1p
10
11
10 p
pp
uu
P
U 当
???
?
???
? ????
???
?
???
?
ni
ni
ppp
uUuUuU
P
U
??
??
1
1
* 1.2平稳信源
很多实际信源输出的消息往往是由一系
列符号序列所组成的 。 可以把这种信源
输出的消息看做时间上或空间上离散的
一系列随机变量, 即为随机矢量 。 这时,
信源的输出可用 N维 随机矢量 X=( X1,
X2 … XN)来描述, 其中 N可为有限正整数
或可数的无限值 。 这 N维随机矢量 X有时
也称为随机序列 。
若信源输出的随机序列 X= (X 1, X
2, …, X N )中, 每个随机变量
Xi (i=1,2,…, N)都是取值离散的离散型随
机变量, 即每个随机变量 Xi的可能取值
是有限的或可数的 。 在任意两个不同时
刻随机矢量 X的各维概率分布都相同 。 这
样的信源称为 离散平稳信源 。 如中文自
然语言文字, 离散化平面灰度图像都是
这种离散型平稳信源 。
信源在某一时刻发出什么样的值取决于两方面
1、这一时刻该变量的分布概率
2、这一时刻以前发出的消息
如一个人讲话
所谓平稳是指序列的统计性质与时间的推移无关
(俩个任意时刻信源发出符号的概率分布完全
相同) 。
1.3无记忆信源
在某些简单的离散平稳信源情况下, 信
源先后发出的一个个符号彼此是统计独
立的 。 也就是说信源输出的随机矢量
X=(X 1 X 2 … X N ) 中, 各随机变量 Xi
(i=1,2,… N)之间是 无依赖的, 统计独立的,
则 N维随机矢量的联合概率分布满足
P(X)=P1 ( X 1 ) P2 ( X 2 ) … PN ( X N )
我们称由信源空间 [ X,P(x)] 描述的信
源 X为离散无记忆信源 。 这信源在不同时
刻发出的符号之间是无依赖的, 彼此统
计独立的 。
1.4有记忆信源
信源在不同时刻发出的符号之间是相互依赖的 。
也就是信源输出的平稳随机序列 X中, 各随机
变量 Xi之间是有依赖的 。 例如, 在汉字组成的
中文序列中, 只有根据中文的语法, 习惯用语,
修辞制约和表达实际意义的制约所构成的中文
序列才是有意义的中文句子或文章 。 所以, 在
汉字序列中前后文字的出现是有依赖的, 不能
认为是彼此不相关的 。 其他如英文, 德文等自
然语言都是如此 。 这种信源称为有记忆信源 。
我们需在 N维随机矢量的联合概率分布中,
引入条件概率分布来说明它们之间的关
联 。
* 1.5 马尔可夫信源 (非平稳的)
实际上信源发出的符号往往只与前若干
个符号的依赖关系强, 而与更前面的符
号依赖关系弱 。
当记忆长度为 m+1时, 称这种有记忆信
源为 m阶马尔可夫信源 。 也就是信源每次
发出的符号只与前 m个符号有关, 与更前
面的符号无关 。
我们认为,一个字符它所携带的信息量是和该字符
出现的概率有关,概率可以表征自信息量的大小
( ) [ ( ) ]iiI a f P a?
根据客观事实和人们的习惯概念,应满足
以下条件,
2.1自信息
( 2)当 ( ) 1iPa ? 时 ( ) 0ifP ?
()ifP ??( 3)当 时( ) 0iPa ?
( 4)两个独立事件的联合信息量应等于它们分别的信息量
之和。
(1) 应是先验概率的单调递减函数,
即当 时
()ifp
1 1 2 2( ) ( )P a P a?
12( ) ( )f P f P?
1( ) l o g
()i iIa Pa?
()iIa 有 两个含义,
1、当事件发生前,表示该事件发生的不确定性;
2、当事件发生后,标是该事件所提供的信息量.
自信息量的单位取决于对数所取的底,若以 2
为底,单位为 比特,以 e为底,单位为 奈特,以
10为底,单位为 哈特,通常取比特为单位
1a 2a
1,2
() 1 / 4,3 / 4
aaX
px
???? ?
?????? ??
1( ) l o g 4 2Ia ??
2
4( ) l o g 0, 4 1 5
3
Ia ??
例:设天气预报有两种消息,晴天和雨天,出现的概率
分别为 1/4和 3/4,我们分别用 来表示晴天,以 来
表示雨天,则我们的信源模型如下:
我们定义自信息的数学期望为信源的平均信息量
1
1( ) [ l og ] ( ) l og ( )
()
q
ii
ii
H X E P a P apa
?
? ? ? ?
信息熵具有以下两种物理含义,
1、表示信源输出前信源的平均不确定性
2、表示信源输出后,每个符号所携带的
平均信息量
2.2信息熵
例:天气预报,有两个信源
1,21
() 1 / 4,3 / 4
aaX
px
????
? ????
?? ??
1,22
() 1 / 2,1 / 2
aaX
px
????
? ????
?? ??
1
1 3 4( ) l o g 4 l o g 0, 8 0 9
4 4 3HX ? ? ?
2
11( ) l o g 2 l o g 2 1
22HX ? ? ?
则:
说明第二个信源的平均不确定性更大一些
2.2.1 二维有记忆符号序列信源及其信息

信源发出序列中只有前后两个符号间有依赖关系,我们
可以对其二维扩展信源进行分析。
信源的概率空间,
连续两个信源符号出现的联合概率分布为:
12
12
,,,( ) 1
( ),( ),,( )()
q
i
q
a a aX pa
p a p a p aPX
???? ??
????
?? ?? ?
q
i=1

1
( ) ( ) 1
qq
i j i j
j
P a a P a a
?
???
i=1

已知符号 出现后,紧跟着 出现的条件概率为:ia
ja
()( | )
()
ij
ji
i
P a aP a a
Pa?
由二维离散信源的发出符号序列的特点可以把其分
成每两个符号一组,每组代表新信源 中的一个
符号。并假设组与组之间是统计独立的,互不相关的。
12X X X?
得到一个新的离散无记忆信源,其联合概率空间为:
12XX
12
12()
XX
P x x
??
????
1 1 1 2 1,,.,,,,
( ) ( ) ( | )
q q q q
i j i j i
a a a a a a a a
P a a P a P a a
????
???
??
12
11
( ) ( ) l og ( )
qq
i j i j
ij
H X X P a a P a a
??
?? ??
根据信息熵的定义,可得:
( 1) 联合熵
可以表征信源输出长度为 2的平均不确定性,或所含
有的信息量。
(2)条件熵
21
1
( | ) ( | ) l og ( | )
q
i j i j i
j
H X X a P a a P a a
?
? ? ? ?
则:
2 1 2 1
1
( | ) ( ) ( | )q ii
i
H X X P a H X X a
?
???
11
( ) ( | ) l og ( | )
qq
i j i j i
ij
P a P a a P a a
??
?? ??
11
( ) l o g ( | )
qq
i j j i
ij
P a a P a a
??
?? ??
另外还可以得到,21( | ) ( )H X X H X?
1 2 1 2( ) ( ) ( ) 2 ( )H X X H X H X H X? ? ?
只有信源统计独立时等号成立。
可以证明:
1 2 1 2 1( ) ( ) ( | )H X X H X H X X??
2.3 平均互信息
1,信道疑义度
1
1( / ) ( / ) l o g
( / )
r
j i j
i ij
H X b P a b p a b
?
? ?
这是收到 后关于 X的后验熵,表示收到 后关于输
入符号的信息测度 jb jb
,
1( / ) [ ( / ) ( ) l og
( / )j XYH X Y E H X b P x y P x y?? ?
这个条件熵称为信道疑义度,表示输出端在收到一个
符号后,对输入符号尚存的不确定性,这是由信道干扰
造成的,如果没有干扰,H(X/Y)=0,一般情括下 H(X/Y)
小于 H(X),说明经过信道传输,总能消除一些信源的不
确定性,从而获得一些信息。
I(X;Y)=H(X)-H(X/Y)
2,平均互信息
因为 H(X),表示传输前信源的不确定性,而 H(X/Y)表示
收到一个符号后,对信源尚存的不确定性,所以二者之
差信道传递的信息量。
.
( / )( ; ) ( ) l og
()XY
P x yI X Y P x y
Py? ?
下面我们讨论一下互信息与其他的熵之间的关系
I(X;Y)=H(X)-H(X/Y)
=H(X)+H(Y)-H(XY)
=H(Y)-H(Y/X) (2-1)
也可以得到,H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y)
由 2-1也可以看出,互信息 I(X;Y)也表示输出端
H(Y)的不确定性和已知 X的条件下关于 Y的不确定性
之差,也等于发送前后关于 Y的不确定性之差。
H(X/Y)即信到 疑义度,也表示通过有噪信道造成的
损失,故也称为 损失熵,因此信源的熵等于收到的信
息量加上损失的熵;而 H(Y/X)表示已知输入的情况下,
对输出端还残留的不确定性,这个不确定性是由噪声
引起的,故也称之为 噪声熵 。
2.4 马尔可夫信源
01 10
0:0.51:0.2
0:0.2
00
0:0.8
11
1:0.8
1:0.5
0:0.5
1:0.5
由上例可知,m阶马尔可夫信源符号集共有 q个符号,则
信源共有 个不同状态。信源在某一时刻时,必然处于某
一种状态,等到下一个字符输出时,转移到另外一个状态。
mq
2.5 冗余度
那透过窗户映照在床前的月光,起初以为是一层层的白
霜。仰首看那空中的一轮明月,不由得低下头来沉思,
愈加想念自己的故乡。
宁静的夜晚所引起的乡思
静夜思
李白
床前明月光,疑是地上霜。
举头望明月,低头思故乡。
29/69
信息效率 ----η为信源实际的信息熵与具有通用符号集的
最大熵的比值,
冗余度为 γ=1- η
冗余度可以反映信源符号间的依赖程度