信息论与编码
注：课件中标题前标有,*”的内
容为补充内容，只要求了解
第一章、绪论
1.信息论的形成和发展
2.通信系统的模型
1、什么是信息？
Information
“某人被通知或告知的内容、情报、消息,
消息 是指包含有信息的语言、文字和图
像等。
信号 是信息 的载体，是消息的物理体现。
信息 是指各个事物运动的状态及状态的
变化方式，是抽象的意识或知识。
1948年，香农在, 通信的数学理论, 的论文中，
用概率测度和数理统计的方法系统地讨论了通
信的基本问题，得出了几个重要而带有普遍意
义的结论。香农理论的核心是,在通信系统中
采用适当的编码后能够实现 高效率 和 高可靠性
的信息传输,并得出了 信源编码 定理和 信道编
码 定理。
狭义信息论（香农信息论）
信息的测度、信道容量、信源和信道编
码理论
一般信息论
噪声、滤波与预测、估计、保密等
广义信息论
所有与信息相关的邻域
。
Claude,E,Shannon的两篇论文 – Shannon 信息论
1948年 ----信息时代的里程碑 !
“A Mathematical Theory in Communication”
–Shannon第一、二定理
1959年, Coding theorems for a discrete source
with a fidelity criterion”.
– Shannon第三定理
1948年以后，调制解调
? Digital Modulation:
? BPSK绝对相移键控,QPSK正交相移键控,QAM正交幅度
调制,FH跳频扩频,DS直接序列扩频,
? FDMA,TDMA,CDMA
? 空间时间自适应处理、智能天线技术
? 多用户检测、干扰抑制技术
? 多载波和 OFDM 正交频分复用
1948年以后，信源编码
? Huffman,Fano Code (1950);
? 波形编码,PCM脉冲振幅调制,DM增量调制,
DPCM增量脉冲调制 ;
? 语音参量编码 ;
? 图象编码,DCT,帧间预测插值,运动补偿
? 数据压缩编码
? 语音编码标准
? 图象编码标准
1948年以后、信道编码
? Hamming Code汉明码,Cyclic Code 循环码 (1950);
? Convolution Code卷积码 (Fano,Viterbi,1950’);
? BCH Code,Reed Solumn Code (1959)
? 级连码（内码,RS码 +外码：卷级码）
? Trellis coded Modulation网格编码调制 (1976,1982)
? Turbo Code涡轮码 (1993) (10-5,0.5dB)
? LDPC低密度奇偶校验编码 (Gallager,1963) (10-6,
0.04dB)
2、通信系统的模型
信源 编码器 信道 译码器
噪声源
通信系统模型
信宿
信源：消息的来源
编码器：把消息变换成信号
信道：传递信号的媒介
译码器：把信道输出的信号反变换
信宿：信息的接受端
噪声：信道中的干扰
信源编码器 的作用是把信源发出的消息变换成
由二进制码元或多进制码元组成的代码组，这
种代码组就是基带信号。
信道编码器 的作用是在信源编码器输出的代码
组上增加一些监督码元，使之具有检错或纠错
的能力。
3、研究通信系统的目的
研究通信系统的目的就是要找到信息传输过程
的共同规律，以提高信息传输的可靠性、有效
性、保密性和认证性，以达到信息传输系统最
优化。所谓 可靠性 高，就是要使信源发出的消
息经过信道传输以后，尽可能准确地、不失真
地再现在接收端。而所谓 有效性 高，就是经济
效果好，即用尽可能短的时间和尽可能少的设
备来传送一定数量的信息。
以后会看到, 提高可靠性和提高有效性常常会发生矛
盾, 这就需要统筹兼顾 。
所谓保密性就是隐蔽和保护通信系统中传送的消息,
使它只能被授权接收者获取, 而不能被未授权者接收
和理解 。
所谓认证性是指接收者能正确判断所接收的消息的正
确性和完整性, 而不是伪造的和被篡改的 。
第二章、信源及信源熵
要求：
1、掌握信源的分类
2、掌握自信息、信源熵、互信息的定义
3、掌握离散有记忆序列信源和离散无记
忆序列信源熵的计算
4、掌握连续信源熵的计算
5、冗余度
1.1单消息（符号）信源
? 它是最简单也是最基本的信源, 是组成实际
信源的基本单元 。 它可以用信源取值随机变
量的范围 U和对应概率分布 P(u)共同组成的
二元序对 [U,P(u)]来表示 。
? 当信源给定, 其相应的概率空间就已给定；
反之, 如果概率空间给定, 这就表示相应的
信源已给定 。 所以, 概率空间能表征这离散
信源的统计特性, 因此有时也把这个概率空
间称为信源空间 。
这些信源可能输出的消息数是有限的或
可数的, 而且 每次只输出其中一个消息 。
因此, 可以用一个离散型随机变量 X来描
述这个信源输出的消息 。 这个随机变量 X
的样本空间就是符号集 A；而 X的概率分
布就是各消息出现的先验概率, 信源的
概率空间必定是一个完备集 。
在实际情况中, 存在着很多这样的信源 。
例如投硬币, 书信文字, 计算机的代码,
电报符号, 阿拉伯数字码等等 。 这些信
源输出的都是单个符号 (或代码 )的消息,
它们符号集的取值是有限的或可数的 。
我们可用一维 离散型随机变量 X来描述这
些信源的输出 。 它的数学模型就是离散
型的概率空间
对离散信源
例,对于二 进制数 据, 数字 信源,
U={0,1},则有
?
?
?
?
?
?
?
?
???
?
?
???
? ??
???
?
?
???
? ??
2
1,
2
1
1,0
,
1,0 2
1p
10
11
10 p
pp
uu
P
U 当
???
?
???
? ????
???
?
???
?
ni
ni
ppp
uUuUuU
P
U
??
??
1
1
* 1.2平稳信源
很多实际信源输出的消息往往是由一系
列符号序列所组成的 。 可以把这种信源
输出的消息看做时间上或空间上离散的
一系列随机变量, 即为随机矢量 。 这时,
信源的输出可用 N维 随机矢量 X=( X１,
X２ … XN)来描述, 其中 N可为有限正整数
或可数的无限值 。 这 N维随机矢量 X有时
也称为随机序列 。
若信源输出的随机序列 X= (Ｘ １, Ｘ
２, …, Ｘ Ｎ )中, 每个随机变量
Xi (i=1,2,…, N)都是取值离散的离散型随
机变量, 即每个随机变量 Xi的可能取值
是有限的或可数的 。 在任意两个不同时
刻随机矢量 X的各维概率分布都相同 。 这
样的信源称为 离散平稳信源 。 如中文自
然语言文字, 离散化平面灰度图像都是
这种离散型平稳信源 。
信源在某一时刻发出什么样的值取决于两方面
1、这一时刻该变量的分布概率
2、这一时刻以前发出的消息
如一个人讲话
所谓平稳是指序列的统计性质与时间的推移无关
（俩个任意时刻信源发出符号的概率分布完全
相同） 。
1.3无记忆信源
在某些简单的离散平稳信源情况下, 信
源先后发出的一个个符号彼此是统计独
立的 。 也就是说信源输出的随机矢量
X=(X １ X ２ … X Ｎ ） 中, 各随机变量 Xi
(i=1,2,… N)之间是 无依赖的, 统计独立的,
则 N维随机矢量的联合概率分布满足
P(X)=P１ （ Ｘ １ ） P２ （ Ｘ ２ ） … PＮ （ Ｘ Ｎ ）
我们称由信源空间 ［ X,P(x)］ 描述的信
源 X为离散无记忆信源 。 这信源在不同时
刻发出的符号之间是无依赖的, 彼此统
计独立的 。
1.4有记忆信源
信源在不同时刻发出的符号之间是相互依赖的 。
也就是信源输出的平稳随机序列 X中, 各随机
变量 Xi之间是有依赖的 。 例如, 在汉字组成的
中文序列中, 只有根据中文的语法, 习惯用语,
修辞制约和表达实际意义的制约所构成的中文
序列才是有意义的中文句子或文章 。 所以, 在
汉字序列中前后文字的出现是有依赖的, 不能
认为是彼此不相关的 。 其他如英文, 德文等自
然语言都是如此 。 这种信源称为有记忆信源 。
我们需在 N维随机矢量的联合概率分布中,
引入条件概率分布来说明它们之间的关
联 。
* 1.5 马尔可夫信源 (非平稳的）
实际上信源发出的符号往往只与前若干
个符号的依赖关系强, 而与更前面的符
号依赖关系弱 。
当记忆长度为 m+1时, 称这种有记忆信
源为 m阶马尔可夫信源 。 也就是信源每次
发出的符号只与前 m个符号有关, 与更前
面的符号无关 。
我们认为，一个字符它所携带的信息量是和该字符
出现的概率有关，概率可以表征自信息量的大小
( ) [ ( ) ]iiI a f P a?
根据客观事实和人们的习惯概念，应满足
以下条件,
2.1自信息
（ 2）当 ( ) 1iPa ? 时 ( ) 0ifP ?
()ifP ??（ 3）当 时( ) 0iPa ?
（ 4）两个独立事件的联合信息量应等于它们分别的信息量
之和。
(1) 应是先验概率的单调递减函数,
即当 时
()ifp
1 1 2 2( ) ( )P a P a?
12( ) ( )f P f P?
1( ) l o g
()i iIa Pa?
()iIa 有 两个含义,
1、当事件发生前，表示该事件发生的不确定性；
2、当事件发生后，标是该事件所提供的信息量．
自信息量的单位取决于对数所取的底，若以 2
为底，单位为 比特,以 e为底，单位为 奈特,以
10为底，单位为 哈特,通常取比特为单位
1a 2a
1,2
() 1 / 4,3 / 4
aaX
px
???? ?
?????? ??
1( ) l o g 4 2Ia ??
2
4( ) l o g 0, 4 1 5
3
Ia ??
例：设天气预报有两种消息，晴天和雨天，出现的概率
分别为 1/4和 3/4，我们分别用 来表示晴天，以 来
表示雨天，则我们的信源模型如下：
我们定义自信息的数学期望为信源的平均信息量
1
1( ) [ l og ] ( ) l og ( )
()
q
ii
ii
H X E P a P apa
?
? ? ? ?
信息熵具有以下两种物理含义,
1、表示信源输出前信源的平均不确定性
2、表示信源输出后，每个符号所携带的
平均信息量
2.2信息熵
例：天气预报，有两个信源
1,21
() 1 / 4,3 / 4
aaX
px
????
? ????
?? ??
1,22
() 1 / 2,1 / 2
aaX
px
????
? ????
?? ??
1
1 3 4( ) l o g 4 l o g 0, 8 0 9
4 4 3HX ? ? ?
2
11( ) l o g 2 l o g 2 1
22HX ? ? ?
则：
说明第二个信源的平均不确定性更大一些
2.2.1 二维有记忆符号序列信源及其信息
熵
信源发出序列中只有前后两个符号间有依赖关系，我们
可以对其二维扩展信源进行分析。
信源的概率空间,
连续两个信源符号出现的联合概率分布为：
12
12
,,,( ) 1
( ),( ),,( )()
q
i
q
a a aX pa
p a p a p aPX
???? ??
????
?? ?? ?
q
i=1
且
1
( ) ( ) 1
qq
i j i j
j
P a a P a a
?
???
i=1
且
已知符号 出现后，紧跟着 出现的条件概率为：ia
ja
()( | )
()
ij
ji
i
P a aP a a
Pa?
由二维离散信源的发出符号序列的特点可以把其分
成每两个符号一组，每组代表新信源 中的一个
符号。并假设组与组之间是统计独立的，互不相关的。
12X X X?
得到一个新的离散无记忆信源,其联合概率空间为：
12XX
12
12()
XX
P x x
??
????
1 1 1 2 1,,.,,,,
( ) ( ) ( | )
q q q q
i j i j i
a a a a a a a a
P a a P a P a a
????
???
??
12
11
( ) ( ) l og ( )
qq
i j i j
ij
H X X P a a P a a
??
?? ??
根据信息熵的定义，可得：
（ 1） 联合熵
可以表征信源输出长度为 2的平均不确定性，或所含
有的信息量。
(2)条件熵
21
1
( | ) ( | ) l og ( | )
q
i j i j i
j
H X X a P a a P a a
?
? ? ? ?
则：
2 1 2 1
1
( | ) ( ) ( | )q ii
i
H X X P a H X X a
?
???
11
( ) ( | ) l og ( | )
qq
i j i j i
ij
P a P a a P a a
??
?? ??
11
( ) l o g ( | )
qq
i j j i
ij
P a a P a a
??
?? ??
另外还可以得到,21( | ) ( )H X X H X?
1 2 1 2( ) ( ) ( ) 2 ( )H X X H X H X H X? ? ?
只有信源统计独立时等号成立。
可以证明：
1 2 1 2 1( ) ( ) ( | )H X X H X H X X??
2.3 平均互信息
1,信道疑义度
1
1( / ) ( / ) l o g
( / )
r
j i j
i ij
H X b P a b p a b
?
? ?
这是收到 后关于 X的后验熵，表示收到 后关于输
入符号的信息测度 jb jb
,
1( / ) [ ( / ) ( ) l og
( / )j XYH X Y E H X b P x y P x y?? ?
这个条件熵称为信道疑义度,表示输出端在收到一个
符号后，对输入符号尚存的不确定性,这是由信道干扰
造成的，如果没有干扰,H(X/Y)=0,一般情括下 H(X/Y)
小于 H(X)，说明经过信道传输，总能消除一些信源的不
确定性，从而获得一些信息。
I(X;Y)=H(X)-H(X/Y)
2,平均互信息
因为 H(X),表示传输前信源的不确定性，而 H(X/Y)表示
收到一个符号后，对信源尚存的不确定性，所以二者之
差信道传递的信息量。
.
( / )( ; ) ( ) l og
()XY
P x yI X Y P x y
Py? ?
下面我们讨论一下互信息与其他的熵之间的关系
I(X;Y)=H(X)-H(X/Y)
=H(X)+H(Y)-H(XY)
=H(Y)-H(Y/X) (2-1)
也可以得到,H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y)
由 2-1也可以看出，互信息 I(X;Y)也表示输出端
H(Y)的不确定性和已知 X的条件下关于 Y的不确定性
之差，也等于发送前后关于 Y的不确定性之差。
H(X/Y)即信到 疑义度,也表示通过有噪信道造成的
损失，故也称为 损失熵,因此信源的熵等于收到的信
息量加上损失的熵；而 H(Y/X)表示已知输入的情况下，
对输出端还残留的不确定性，这个不确定性是由噪声
引起的，故也称之为 噪声熵 。
2.4 马尔可夫信源
01 10
0:0.51:0.2
0:0.2
00
0:0.8
11
1:0.8
1:0.5
0:0.5
1:0.5
由上例可知,m阶马尔可夫信源符号集共有 q个符号，则
信源共有 个不同状态。信源在某一时刻时，必然处于某
一种状态，等到下一个字符输出时，转移到另外一个状态。
mq
2.5 冗余度
那透过窗户映照在床前的月光，起初以为是一层层的白
霜。仰首看那空中的一轮明月，不由得低下头来沉思，
愈加想念自己的故乡。
宁静的夜晚所引起的乡思
静夜思
李白
床前明月光，疑是地上霜。
举头望明月，低头思故乡。
29/69
信息效率 ----η为信源实际的信息熵与具有通用符号集的
最大熵的比值,
冗余度为 γ=1- η
冗余度可以反映信源符号间的依赖程度
注：课件中标题前标有,*”的内
容为补充内容，只要求了解
第一章、绪论
1.信息论的形成和发展
2.通信系统的模型
1、什么是信息？
Information
“某人被通知或告知的内容、情报、消息,
消息 是指包含有信息的语言、文字和图
像等。
信号 是信息 的载体，是消息的物理体现。
信息 是指各个事物运动的状态及状态的
变化方式，是抽象的意识或知识。
1948年，香农在, 通信的数学理论, 的论文中，
用概率测度和数理统计的方法系统地讨论了通
信的基本问题，得出了几个重要而带有普遍意
义的结论。香农理论的核心是,在通信系统中
采用适当的编码后能够实现 高效率 和 高可靠性
的信息传输,并得出了 信源编码 定理和 信道编
码 定理。
狭义信息论（香农信息论）
信息的测度、信道容量、信源和信道编
码理论
一般信息论
噪声、滤波与预测、估计、保密等
广义信息论
所有与信息相关的邻域
。
Claude,E,Shannon的两篇论文 – Shannon 信息论
1948年 ----信息时代的里程碑 !
“A Mathematical Theory in Communication”
–Shannon第一、二定理
1959年, Coding theorems for a discrete source
with a fidelity criterion”.
– Shannon第三定理
1948年以后，调制解调
? Digital Modulation:
? BPSK绝对相移键控,QPSK正交相移键控,QAM正交幅度
调制,FH跳频扩频,DS直接序列扩频,
? FDMA,TDMA,CDMA
? 空间时间自适应处理、智能天线技术
? 多用户检测、干扰抑制技术
? 多载波和 OFDM 正交频分复用
1948年以后，信源编码
? Huffman,Fano Code (1950);
? 波形编码,PCM脉冲振幅调制,DM增量调制,
DPCM增量脉冲调制 ;
? 语音参量编码 ;
? 图象编码,DCT,帧间预测插值,运动补偿
? 数据压缩编码
? 语音编码标准
? 图象编码标准
1948年以后、信道编码
? Hamming Code汉明码,Cyclic Code 循环码 (1950);
? Convolution Code卷积码 (Fano,Viterbi,1950’);
? BCH Code,Reed Solumn Code (1959)
? 级连码（内码,RS码 +外码：卷级码）
? Trellis coded Modulation网格编码调制 (1976,1982)
? Turbo Code涡轮码 (1993) (10-5,0.5dB)
? LDPC低密度奇偶校验编码 (Gallager,1963) (10-6,
0.04dB)
2、通信系统的模型
信源 编码器 信道 译码器
噪声源
通信系统模型
信宿
信源：消息的来源
编码器：把消息变换成信号
信道：传递信号的媒介
译码器：把信道输出的信号反变换
信宿：信息的接受端
噪声：信道中的干扰
信源编码器 的作用是把信源发出的消息变换成
由二进制码元或多进制码元组成的代码组，这
种代码组就是基带信号。
信道编码器 的作用是在信源编码器输出的代码
组上增加一些监督码元，使之具有检错或纠错
的能力。
3、研究通信系统的目的
研究通信系统的目的就是要找到信息传输过程
的共同规律，以提高信息传输的可靠性、有效
性、保密性和认证性，以达到信息传输系统最
优化。所谓 可靠性 高，就是要使信源发出的消
息经过信道传输以后，尽可能准确地、不失真
地再现在接收端。而所谓 有效性 高，就是经济
效果好，即用尽可能短的时间和尽可能少的设
备来传送一定数量的信息。
以后会看到, 提高可靠性和提高有效性常常会发生矛
盾, 这就需要统筹兼顾 。
所谓保密性就是隐蔽和保护通信系统中传送的消息,
使它只能被授权接收者获取, 而不能被未授权者接收
和理解 。
所谓认证性是指接收者能正确判断所接收的消息的正
确性和完整性, 而不是伪造的和被篡改的 。
第二章、信源及信源熵
要求：
1、掌握信源的分类
2、掌握自信息、信源熵、互信息的定义
3、掌握离散有记忆序列信源和离散无记
忆序列信源熵的计算
4、掌握连续信源熵的计算
5、冗余度
1.1单消息（符号）信源
? 它是最简单也是最基本的信源, 是组成实际
信源的基本单元 。 它可以用信源取值随机变
量的范围 U和对应概率分布 P(u)共同组成的
二元序对 [U,P(u)]来表示 。
? 当信源给定, 其相应的概率空间就已给定；
反之, 如果概率空间给定, 这就表示相应的
信源已给定 。 所以, 概率空间能表征这离散
信源的统计特性, 因此有时也把这个概率空
间称为信源空间 。
这些信源可能输出的消息数是有限的或
可数的, 而且 每次只输出其中一个消息 。
因此, 可以用一个离散型随机变量 X来描
述这个信源输出的消息 。 这个随机变量 X
的样本空间就是符号集 A；而 X的概率分
布就是各消息出现的先验概率, 信源的
概率空间必定是一个完备集 。
在实际情况中, 存在着很多这样的信源 。
例如投硬币, 书信文字, 计算机的代码,
电报符号, 阿拉伯数字码等等 。 这些信
源输出的都是单个符号 (或代码 )的消息,
它们符号集的取值是有限的或可数的 。
我们可用一维 离散型随机变量 X来描述这
些信源的输出 。 它的数学模型就是离散
型的概率空间
对离散信源
例,对于二 进制数 据, 数字 信源,
U={0,1},则有
?
?
?
?
?
?
?
?
???
?
?
???
? ??
???
?
?
???
? ??
2
1,
2
1
1,0
,
1,0 2
1p
10
11
10 p
pp
uu
P
U 当
???
?
???
? ????
???
?
???
?
ni
ni
ppp
uUuUuU
P
U
??
??
1
1
* 1.2平稳信源
很多实际信源输出的消息往往是由一系
列符号序列所组成的 。 可以把这种信源
输出的消息看做时间上或空间上离散的
一系列随机变量, 即为随机矢量 。 这时,
信源的输出可用 N维 随机矢量 X=( X１,
X２ … XN)来描述, 其中 N可为有限正整数
或可数的无限值 。 这 N维随机矢量 X有时
也称为随机序列 。
若信源输出的随机序列 X= (Ｘ １, Ｘ
２, …, Ｘ Ｎ )中, 每个随机变量
Xi (i=1,2,…, N)都是取值离散的离散型随
机变量, 即每个随机变量 Xi的可能取值
是有限的或可数的 。 在任意两个不同时
刻随机矢量 X的各维概率分布都相同 。 这
样的信源称为 离散平稳信源 。 如中文自
然语言文字, 离散化平面灰度图像都是
这种离散型平稳信源 。
信源在某一时刻发出什么样的值取决于两方面
1、这一时刻该变量的分布概率
2、这一时刻以前发出的消息
如一个人讲话
所谓平稳是指序列的统计性质与时间的推移无关
（俩个任意时刻信源发出符号的概率分布完全
相同） 。
1.3无记忆信源
在某些简单的离散平稳信源情况下, 信
源先后发出的一个个符号彼此是统计独
立的 。 也就是说信源输出的随机矢量
X=(X １ X ２ … X Ｎ ） 中, 各随机变量 Xi
(i=1,2,… N)之间是 无依赖的, 统计独立的,
则 N维随机矢量的联合概率分布满足
P(X)=P１ （ Ｘ １ ） P２ （ Ｘ ２ ） … PＮ （ Ｘ Ｎ ）
我们称由信源空间 ［ X,P(x)］ 描述的信
源 X为离散无记忆信源 。 这信源在不同时
刻发出的符号之间是无依赖的, 彼此统
计独立的 。
1.4有记忆信源
信源在不同时刻发出的符号之间是相互依赖的 。
也就是信源输出的平稳随机序列 X中, 各随机
变量 Xi之间是有依赖的 。 例如, 在汉字组成的
中文序列中, 只有根据中文的语法, 习惯用语,
修辞制约和表达实际意义的制约所构成的中文
序列才是有意义的中文句子或文章 。 所以, 在
汉字序列中前后文字的出现是有依赖的, 不能
认为是彼此不相关的 。 其他如英文, 德文等自
然语言都是如此 。 这种信源称为有记忆信源 。
我们需在 N维随机矢量的联合概率分布中,
引入条件概率分布来说明它们之间的关
联 。
* 1.5 马尔可夫信源 (非平稳的）
实际上信源发出的符号往往只与前若干
个符号的依赖关系强, 而与更前面的符
号依赖关系弱 。
当记忆长度为 m+1时, 称这种有记忆信
源为 m阶马尔可夫信源 。 也就是信源每次
发出的符号只与前 m个符号有关, 与更前
面的符号无关 。
我们认为，一个字符它所携带的信息量是和该字符
出现的概率有关，概率可以表征自信息量的大小
( ) [ ( ) ]iiI a f P a?
根据客观事实和人们的习惯概念，应满足
以下条件,
2.1自信息
（ 2）当 ( ) 1iPa ? 时 ( ) 0ifP ?
()ifP ??（ 3）当 时( ) 0iPa ?
（ 4）两个独立事件的联合信息量应等于它们分别的信息量
之和。
(1) 应是先验概率的单调递减函数,
即当 时
()ifp
1 1 2 2( ) ( )P a P a?
12( ) ( )f P f P?
1( ) l o g
()i iIa Pa?
()iIa 有 两个含义,
1、当事件发生前，表示该事件发生的不确定性；
2、当事件发生后，标是该事件所提供的信息量．
自信息量的单位取决于对数所取的底，若以 2
为底，单位为 比特,以 e为底，单位为 奈特,以
10为底，单位为 哈特,通常取比特为单位
1a 2a
1,2
() 1 / 4,3 / 4
aaX
px
???? ?
?????? ??
1( ) l o g 4 2Ia ??
2
4( ) l o g 0, 4 1 5
3
Ia ??
例：设天气预报有两种消息，晴天和雨天，出现的概率
分别为 1/4和 3/4，我们分别用 来表示晴天，以 来
表示雨天，则我们的信源模型如下：
我们定义自信息的数学期望为信源的平均信息量
1
1( ) [ l og ] ( ) l og ( )
()
q
ii
ii
H X E P a P apa
?
? ? ? ?
信息熵具有以下两种物理含义,
1、表示信源输出前信源的平均不确定性
2、表示信源输出后，每个符号所携带的
平均信息量
2.2信息熵
例：天气预报，有两个信源
1,21
() 1 / 4,3 / 4
aaX
px
????
? ????
?? ??
1,22
() 1 / 2,1 / 2
aaX
px
????
? ????
?? ??
1
1 3 4( ) l o g 4 l o g 0, 8 0 9
4 4 3HX ? ? ?
2
11( ) l o g 2 l o g 2 1
22HX ? ? ?
则：
说明第二个信源的平均不确定性更大一些
2.2.1 二维有记忆符号序列信源及其信息
熵
信源发出序列中只有前后两个符号间有依赖关系，我们
可以对其二维扩展信源进行分析。
信源的概率空间,
连续两个信源符号出现的联合概率分布为：
12
12
,,,( ) 1
( ),( ),,( )()
q
i
q
a a aX pa
p a p a p aPX
???? ??
????
?? ?? ?
q
i=1
且
1
( ) ( ) 1
i j i j
j
P a a P a a
?
???
i=1
且
已知符号 出现后，紧跟着 出现的条件概率为：ia
ja
()( | )
()
ij
ji
i
P a aP a a
Pa?
由二维离散信源的发出符号序列的特点可以把其分
成每两个符号一组，每组代表新信源 中的一个
符号。并假设组与组之间是统计独立的，互不相关的。
12X X X?
得到一个新的离散无记忆信源,其联合概率空间为：
12XX
12
12()
XX
P x x
??
????
1 1 1 2 1,,.,,,,
( ) ( ) ( | )
q q q q
i j i j i
a a a a a a a a
P a a P a P a a
????
???
??
12
11
( ) ( ) l og ( )
i j i j
ij
H X X P a a P a a
??
?? ??
根据信息熵的定义，可得：
（ 1） 联合熵
可以表征信源输出长度为 2的平均不确定性，或所含
有的信息量。
(2)条件熵
21
1
( | ) ( | ) l og ( | )
q
i j i j i
j
H X X a P a a P a a
?
? ? ? ?
则：
2 1 2 1
1
( | ) ( ) ( | )q ii
i
H X X P a H X X a
?
???
11
( ) ( | ) l og ( | )
i j i j i
ij
P a P a a P a a
??
?? ??
11
( ) l o g ( | )
i j j i
ij
P a a P a a
??
?? ??
另外还可以得到,21( | ) ( )H X X H X?
1 2 1 2( ) ( ) ( ) 2 ( )H X X H X H X H X? ? ?
只有信源统计独立时等号成立。
可以证明：
1 2 1 2 1( ) ( ) ( | )H X X H X H X X??
2.3 平均互信息
1,信道疑义度
1
1( / ) ( / ) l o g
( / )
r
j i j
i ij
H X b P a b p a b
?
? ?
这是收到 后关于 X的后验熵，表示收到 后关于输
入符号的信息测度 jb jb
,
1( / ) [ ( / ) ( ) l og
( / )j XYH X Y E H X b P x y P x y?? ?
这个条件熵称为信道疑义度,表示输出端在收到一个
符号后，对输入符号尚存的不确定性,这是由信道干扰
造成的，如果没有干扰,H(X/Y)=0,一般情括下 H(X/Y)
小于 H(X)，说明经过信道传输，总能消除一些信源的不
确定性，从而获得一些信息。
I(X;Y)=H(X)-H(X/Y)
2,平均互信息
因为 H(X),表示传输前信源的不确定性，而 H(X/Y)表示
收到一个符号后，对信源尚存的不确定性，所以二者之
差信道传递的信息量。
.
( / )( ; ) ( ) l og
()XY
P x yI X Y P x y
Py? ?
下面我们讨论一下互信息与其他的熵之间的关系
I(X;Y)=H(X)-H(X/Y)
=H(X)+H(Y)-H(XY)
=H(Y)-H(Y/X) (2-1)
也可以得到,H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y)
由 2-1也可以看出，互信息 I(X;Y)也表示输出端
H(Y)的不确定性和已知 X的条件下关于 Y的不确定性
之差，也等于发送前后关于 Y的不确定性之差。
H(X/Y)即信到 疑义度,也表示通过有噪信道造成的
损失，故也称为 损失熵,因此信源的熵等于收到的信
息量加上损失的熵；而 H(Y/X)表示已知输入的情况下，
对输出端还残留的不确定性，这个不确定性是由噪声
引起的，故也称之为 噪声熵 。
2.4 马尔可夫信源
01 10
0:0.51:0.2
0:0.2
00
0:0.8
11
1:0.8
1:0.5
0:0.5
1:0.5
由上例可知,m阶马尔可夫信源符号集共有 q个符号，则
信源共有 个不同状态。信源在某一时刻时，必然处于某
一种状态，等到下一个字符输出时，转移到另外一个状态。
mq
2.5 冗余度
那透过窗户映照在床前的月光，起初以为是一层层的白
霜。仰首看那空中的一轮明月，不由得低下头来沉思，
愈加想念自己的故乡。
宁静的夜晚所引起的乡思
静夜思
李白
床前明月光，疑是地上霜。
举头望明月，低头思故乡。
29/69
信息效率 ----η为信源实际的信息熵与具有通用符号集的
最大熵的比值,
冗余度为 γ=1- η
冗余度可以反映信源符号间的依赖程度
