总复习
2010-5-21 1
? 信息与消息和信号的区别
? 消息：是指包含有信息的语言、文字和图像等，可表
达客观物质运动和主观思维活动的状态。
? 信号：把消息变换成适合信道传输的物理量，这种物
理量称为信号（如电信号、光信号、声音信号等）。
第一章 概 论
总复习
2010-5-21 2
? 信息是该事物运动的状态和状态改变的方式
? 研究信息论的目的,它的主要目的是提高信息系统的
可靠性, 有效性 和 安全性 以便达到系统最优化。所谓 可
靠性 高，就是要使信源发出的消息经过信道传输以后，
尽可能准确地、不失真地再现在接收端。而所谓 有效性
高，就是经济效果好，即用尽可能短的时间和尽可能少
的设备来传送一定数量的信息。
? 狭义信息论（香农信息论）
信息的测度、信道容量、信源和信道编码理论
? 广义信息论
所有与信息相关的邻域
第一章 概 论
总复习
2010-5-21 3
单符号离散信源
? 自信息量
? 用概率测度定义信息量
? 设离散信源 X，其概率空间为
? 如果知道事件 xi 已发生，则该事件所含有的自信息定义为
? 当事件 xi 发生以前：表示事件 xi 发生的不确定性。
? 当事件 xi 发生以后：表示事件 xi 所含有（或所提供）的信息量
第二章 信源熵
总复习
2010-5-21 4
? 联合自信息量
? 当 X 和 Y 相互独立时,p(xiyj)=p(xi)p(yj)
第二章 信源熵
总复习
2010-5-21 5
? 条件自信息量,已知 yj 的条件下 xi 仍然存在的不确定度。
? 自信息量、条件自信息量和联合自信息量之间的关系
第二章 信源熵
总复习
2010-5-21 6
? 互信息量,yj 对 xi 的互信息量定义为的后验概率与先验概率比值的
对数。
第二章 信源熵
总复习
2010-5-21 7
? 观察者站在输出端,两个不确定度之差是不确定度被消除的部分，
即等于自信息量减去条件自信息量。
? 观察者站在输入端, 观察者得知输入端发出 xi 前、后对输出端出
现 yj 的不确定度的差。
? 观察者站在通信系统总体立场上,通信后的互信息量，等于前后不
确定度的差。
第二章 信源熵
总复习
2010-5-21 8
? 平均信息量 — 信源熵,自信息的数学期望。也称为信源的信息熵 /
信源熵 /香农熵 /无条件熵 /熵函数 /熵。
? 信息熵的意义,信源的信息熵 H 是从 整个 信源的统计特性来考虑
的。它是从 平均 意义上来表征信源的总体特性的。对于某特定的信
源，其信息熵只有一个。不同的信源因统计特性不同，其熵也不同。
? 信源熵的三种物理含义
? 信源熵 H(X) 是表示信源输出后每个消息 /符号所提供的平均信
息量；
? 信源熵 H(X) 是表示信源输出前，信源的平均不确定性；
? 用信源熵 H(X) 来表征变量 X 的随机性。
第二章 信源熵
总复习
2010-5-21 9
? 条件熵,是在联合符号集合 XY 上的条件自信息的数学期望。
第二章 信源熵
总复习
2010-5-21 10
? 信道疑义度 — H(X/Y),表示信
宿在收到 Y 后，信源 X 仍然存
在的不确定度。是通过有噪信
道传输后引起的信息量的损失，
故也可称为损失熵。
? 噪声熵 — H(Y/X),表示在已知
X 的条件下，对于符号集 Y 尚
存在的不确定性（疑义），这
完全是由于信道中噪声引起的。
第二章 信源熵
H ( X / Y ) 疑 义 度
H ( X )
H ( Y )
H ( Y / X ) 噪 声 熵
I ( X ; Y )
总复习
2010-5-21 11
? 联合熵 H(XY),表示输入随机变量 X，经信道传输到达
信宿，输出随机变量 Y。即收、发双方通信后，整个系
统仍然存在的不确定度。
第二章 信源熵
总复习
2010-5-21 12
? 最大离散熵定理 (极值性 ), 离散无记忆信源输出 n 个不
同的信息符号，当且仅当各个符号出现概率相等时 (即
p(xi)=1/n)，熵最大。
H[p(x1),p(x2),…,p (xn) ]≤H(1/n,1/n,…,1/ n)=log2n
出现任何符号的可能性相等时，不确定性最大。
第二章 信源熵
总复习
2010-5-21 13
? 二进制信源的熵函数 H(p) 为
第二章 信源熵
H ( p )
p
0
1
0, 5
图 2, 1, 5 n = 2 时 熵 与 概 率 的 关 系
1
总复习
2010-5-21 14
? 平均互信息量定义,互信息量 I(xi;yj) 在联合概率空间 P(XY) 中的
统计平均值。
从一个事件获得另一个事件的平均互信息需要 消除不确定度,
一旦消除了不确定度，就获得了信息。
第二章 信源熵
总复习
2010-5-21 15
? 站在输出端,I(X;Y)— 收到 Y 前、后关于 X 的不确定度减少的量。 从 Y
获得的关于 X 的平均信息量 。
? 站在输入端,I(Y;X) — 发出 X 前、后关于 Y 的先验不确定度减少的量。
? 站在总体,I(X;Y) — 通信前、后整个系统不确定度减少量。
第二章 信源熵
总复习
2010-5-21 16
? 离散无记忆信源 X 的 N 次扩展信源的熵等于离散信源
X 的熵的 N 倍，即
H(X)=H(XN)=NH(X)
? 离散平稳信源,各维联合概率均与时间起点无关的完
全平稳信源称为离散平稳信源。二维离散平稳信源的
熵为
第二章 信源熵
总复习
2010-5-21 17
? 平均符号熵,信源平均每发一个符号提供的信息量为
? 离散平稳有记忆信源的极限熵,当 N→∞ 时，平均符号熵取极限值
称之为极限熵或极限信息量。用 H∞表示，即
? 极限熵的存在性,当离散有记忆信源是 平稳信源 时，极限熵等于关
联长度 N→∞ 时，条件熵 H(XN/X1X2… XN-1)的极限值，即
? 极限熵的含义,代表了一般离散平稳有记忆信源平均每发一个符号
提供的信息量。
第二章 信源熵
总复习
2010-5-21 18
? m阶马尔可夫信源
? m阶马尔可夫信源的极限熵
? 有关问题的说明
? H∞并非在任何情况下都存在。对 n元 m阶马尔可夫
信源来说，只有 状态极限概率 p(sj)即课本中的 Wj，
j=1,2,…,nm都存在时，方能计算出 H∞。状态极限概
率 p(sj)可根据下式求出。
第二章 信源熵
1
( ) ( ) ( / ) ( 1,2,,)
mn
m
j i j i
i
p s p s p s s j n
?
???
总复习
2010-5-21 19
? 信源熵的相对率 η,η= H∞/H0
? 信源冗余度 ξ,ξ=1－ η=(H0－ H∞)/H0
? 信源的冗余度表示信源可压缩的程度 。
第二章 信源熵
总复习
2010-5-21 20
? 连续信源的熵 为
? 上式定义的熵在形式上和离散信源相似，也满足离散熵
的主要特性，如可加性，但在概念上与离散熵有差异因
为它失去了离散熵的部分含义和性质。
第二章 信源熵
总复习
2010-5-21 21
? 连续信源熵有关问题说明
? 连续信源熵并不是实际信源输出的绝对熵；
? 连续信源的绝对熵还有一项正的无限大量；
? Hc(X) 已不能代表信源的平均不确定度，也不能代表连续信源输
出的信息量。
? 连续信源熵的意义
? 在实际问题中常常讨论的是熵之间的差值问题，如信息变差、
平均互信息等。在讨论熵差时，两个无限大量互相抵消。所以
熵差具有信息的特征；
? 连续信源的熵 Hc(X) 具有相对性，因此 Hc(X) 也称为 相对熵 。
第二章 信源熵
总复习
2010-5-21 22
第三章 信源编码
? 码的分类
? 定长编码定理
? 变长编码定理
? 最佳编码
? 香农编码
? 费诺编码
? 哈夫曼编码
? 编码效率的计算
总复习
2010-5-21 23
? 失真度
? 设离散无记忆信源为
第四章 信息率失真函数
总复习
2010-5-21 24
? 对每一对 (xi,yj)，指定一个非负函数
d(xi,yj)≥0 i=1,2,…,n j=1,2,…,m
称 d(xi,yj) 为 单个符号的失真度 /失真函数。表示信源发
出一个符号 xi，在接收端再现 yj 所引起的误差或失真。
第四章 信息率失真函数
总复习
2010-5-21 25
? 平均失真度定义
? d(xi,yj) 只能表示两个特定的具体符号 xi 和 yj 之间的失真。
? 平均失真度,平均失真度为失真度的数学期望，
第四章 信息率失真函数
总复习
2010-5-21 26
? 平均失真度意义
? 是在平均意义上，从总体上对整个系统失真情
况的描述。它是信源统计特性 p(xi),信道统计特
性 p(yj/xi ) 和失真度 d(xi,yj) 的函数 。当 p(xi)，
p(yj/xi)和 d(xi,yj) 给定后，平均失真度就不是一个随
机变量了，而是一个确定的量。
? 如果信源和失真度一定,就只是信道统计特性
的函数。信道传递概率不同，平均失真度随之改变。
第四章 信息率失真函数
总复习
2010-5-21 27
? 允许平均失真度, 率失真函数中的自变量 D，也就是
人们规定的平均失真度 的上限值。
? 率失真函数的定义域 问题就是在信源和失真函数已知
的情况下，讨论 允许平均失真度 D 的最小和最大值问
题 。
? D 的选取必须根据固定信源 X 的统计特性 P(X) 和选
定的失真函数 d(xi,yj)，在平均失真度 的可能取值
范围内。
第四章 信息率失真函数
总复习
2010-5-21 28
? 常用的失真函数
? 当 a=1时称为 汉明失真矩阵 。
第四章 信息率失真函数
总复习
2010-5-21 29
? 单符号信源和单符号信道的信息率失真函数
? 在信源和失真度给定以后,PD 是满足保真度准则 的
试验信道集合，平均互信息 I(X;Y) 是信道传递概率 p(yj /xi) 的
下凸函数，所以在 PD 中一定可以找到某个试验信道，使
I(X;Y)达到最小，即
这个最小值 R(D) 称为信息率失真函数,简称 率失真函数 。
? 在信源给定以后，总希望在允许一定失真的情况下，传送信
源所必须的信息率越小越好。 从接收端来看，就是在满足保
真度准则 的条件下，寻找再现信源消息必须的最低平
均信息量，即平均互信息的最小值 。
第四章 信息率失真函数
总复习
2010-5-21 30
? 求信息率失真函数的方法
信息率失真函数 R(D) 是假定信源给定的情况下，在用户可
以容忍的失真度内再现信源消息所必须获得的最小平均信
息量。它反映的是信源可压缩程度。不同的信源，其 R(D)
是不同的。
? 研究信道编码和率失真函数的意义
? 研究信息率失真函数的意义,研究信息率失真函数是为了解
决在已知信源和允许失真度 D 的条件下，使信源必须传送给
信宿的信息率最小。即用尽可能少的码符号尽快地传送尽可
能多的信源消息，以 提高通信的有效性 。这是 信源编码 问题。
第四章 信息率失真函数
2010-5-21 1
? 信息与消息和信号的区别
? 消息：是指包含有信息的语言、文字和图像等，可表
达客观物质运动和主观思维活动的状态。
? 信号：把消息变换成适合信道传输的物理量，这种物
理量称为信号（如电信号、光信号、声音信号等）。
第一章 概 论
总复习
2010-5-21 2
? 信息是该事物运动的状态和状态改变的方式
? 研究信息论的目的,它的主要目的是提高信息系统的
可靠性, 有效性 和 安全性 以便达到系统最优化。所谓 可
靠性 高，就是要使信源发出的消息经过信道传输以后，
尽可能准确地、不失真地再现在接收端。而所谓 有效性
高，就是经济效果好，即用尽可能短的时间和尽可能少
的设备来传送一定数量的信息。
? 狭义信息论（香农信息论）
信息的测度、信道容量、信源和信道编码理论
? 广义信息论
所有与信息相关的邻域
第一章 概 论
总复习
2010-5-21 3
单符号离散信源
? 自信息量
? 用概率测度定义信息量
? 设离散信源 X，其概率空间为
? 如果知道事件 xi 已发生，则该事件所含有的自信息定义为
? 当事件 xi 发生以前：表示事件 xi 发生的不确定性。
? 当事件 xi 发生以后：表示事件 xi 所含有（或所提供）的信息量
第二章 信源熵
总复习
2010-5-21 4
? 联合自信息量
? 当 X 和 Y 相互独立时,p(xiyj)=p(xi)p(yj)
第二章 信源熵
总复习
2010-5-21 5
? 条件自信息量,已知 yj 的条件下 xi 仍然存在的不确定度。
? 自信息量、条件自信息量和联合自信息量之间的关系
第二章 信源熵
总复习
2010-5-21 6
? 互信息量,yj 对 xi 的互信息量定义为的后验概率与先验概率比值的
对数。
第二章 信源熵
总复习
2010-5-21 7
? 观察者站在输出端,两个不确定度之差是不确定度被消除的部分，
即等于自信息量减去条件自信息量。
? 观察者站在输入端, 观察者得知输入端发出 xi 前、后对输出端出
现 yj 的不确定度的差。
? 观察者站在通信系统总体立场上,通信后的互信息量，等于前后不
确定度的差。
第二章 信源熵
总复习
2010-5-21 8
? 平均信息量 — 信源熵,自信息的数学期望。也称为信源的信息熵 /
信源熵 /香农熵 /无条件熵 /熵函数 /熵。
? 信息熵的意义,信源的信息熵 H 是从 整个 信源的统计特性来考虑
的。它是从 平均 意义上来表征信源的总体特性的。对于某特定的信
源，其信息熵只有一个。不同的信源因统计特性不同，其熵也不同。
? 信源熵的三种物理含义
? 信源熵 H(X) 是表示信源输出后每个消息 /符号所提供的平均信
息量；
? 信源熵 H(X) 是表示信源输出前，信源的平均不确定性；
? 用信源熵 H(X) 来表征变量 X 的随机性。
第二章 信源熵
总复习
2010-5-21 9
? 条件熵,是在联合符号集合 XY 上的条件自信息的数学期望。
第二章 信源熵
总复习
2010-5-21 10
? 信道疑义度 — H(X/Y),表示信
宿在收到 Y 后，信源 X 仍然存
在的不确定度。是通过有噪信
道传输后引起的信息量的损失，
故也可称为损失熵。
? 噪声熵 — H(Y/X),表示在已知
X 的条件下，对于符号集 Y 尚
存在的不确定性（疑义），这
完全是由于信道中噪声引起的。
第二章 信源熵
H ( X / Y ) 疑 义 度
H ( X )
H ( Y )
H ( Y / X ) 噪 声 熵
I ( X ; Y )
总复习
2010-5-21 11
? 联合熵 H(XY),表示输入随机变量 X，经信道传输到达
信宿，输出随机变量 Y。即收、发双方通信后，整个系
统仍然存在的不确定度。
第二章 信源熵
总复习
2010-5-21 12
? 最大离散熵定理 (极值性 ), 离散无记忆信源输出 n 个不
同的信息符号，当且仅当各个符号出现概率相等时 (即
p(xi)=1/n)，熵最大。
H[p(x1),p(x2),…,p (xn) ]≤H(1/n,1/n,…,1/ n)=log2n
出现任何符号的可能性相等时，不确定性最大。
第二章 信源熵
总复习
2010-5-21 13
? 二进制信源的熵函数 H(p) 为
第二章 信源熵
H ( p )
p
0
1
0, 5
图 2, 1, 5 n = 2 时 熵 与 概 率 的 关 系
1
总复习
2010-5-21 14
? 平均互信息量定义,互信息量 I(xi;yj) 在联合概率空间 P(XY) 中的
统计平均值。
从一个事件获得另一个事件的平均互信息需要 消除不确定度,
一旦消除了不确定度，就获得了信息。
第二章 信源熵
总复习
2010-5-21 15
? 站在输出端,I(X;Y)— 收到 Y 前、后关于 X 的不确定度减少的量。 从 Y
获得的关于 X 的平均信息量 。
? 站在输入端,I(Y;X) — 发出 X 前、后关于 Y 的先验不确定度减少的量。
? 站在总体,I(X;Y) — 通信前、后整个系统不确定度减少量。
第二章 信源熵
总复习
2010-5-21 16
? 离散无记忆信源 X 的 N 次扩展信源的熵等于离散信源
X 的熵的 N 倍，即
H(X)=H(XN)=NH(X)
? 离散平稳信源,各维联合概率均与时间起点无关的完
全平稳信源称为离散平稳信源。二维离散平稳信源的
熵为
第二章 信源熵
总复习
2010-5-21 17
? 平均符号熵,信源平均每发一个符号提供的信息量为
? 离散平稳有记忆信源的极限熵,当 N→∞ 时，平均符号熵取极限值
称之为极限熵或极限信息量。用 H∞表示，即
? 极限熵的存在性,当离散有记忆信源是 平稳信源 时，极限熵等于关
联长度 N→∞ 时，条件熵 H(XN/X1X2… XN-1)的极限值，即
? 极限熵的含义,代表了一般离散平稳有记忆信源平均每发一个符号
提供的信息量。
第二章 信源熵
总复习
2010-5-21 18
? m阶马尔可夫信源
? m阶马尔可夫信源的极限熵
? 有关问题的说明
? H∞并非在任何情况下都存在。对 n元 m阶马尔可夫
信源来说，只有 状态极限概率 p(sj)即课本中的 Wj，
j=1,2,…,nm都存在时，方能计算出 H∞。状态极限概
率 p(sj)可根据下式求出。
第二章 信源熵
1
( ) ( ) ( / ) ( 1,2,,)
mn
m
j i j i
i
p s p s p s s j n
?
???
总复习
2010-5-21 19
? 信源熵的相对率 η,η= H∞/H0
? 信源冗余度 ξ,ξ=1－ η=(H0－ H∞)/H0
? 信源的冗余度表示信源可压缩的程度 。
第二章 信源熵
总复习
2010-5-21 20
? 连续信源的熵 为
? 上式定义的熵在形式上和离散信源相似，也满足离散熵
的主要特性，如可加性，但在概念上与离散熵有差异因
为它失去了离散熵的部分含义和性质。
第二章 信源熵
总复习
2010-5-21 21
? 连续信源熵有关问题说明
? 连续信源熵并不是实际信源输出的绝对熵；
? 连续信源的绝对熵还有一项正的无限大量；
? Hc(X) 已不能代表信源的平均不确定度，也不能代表连续信源输
出的信息量。
? 连续信源熵的意义
? 在实际问题中常常讨论的是熵之间的差值问题，如信息变差、
平均互信息等。在讨论熵差时，两个无限大量互相抵消。所以
熵差具有信息的特征；
? 连续信源的熵 Hc(X) 具有相对性，因此 Hc(X) 也称为 相对熵 。
第二章 信源熵
总复习
2010-5-21 22
第三章 信源编码
? 码的分类
? 定长编码定理
? 变长编码定理
? 最佳编码
? 香农编码
? 费诺编码
? 哈夫曼编码
? 编码效率的计算
总复习
2010-5-21 23
? 失真度
? 设离散无记忆信源为
第四章 信息率失真函数
总复习
2010-5-21 24
? 对每一对 (xi,yj)，指定一个非负函数
d(xi,yj)≥0 i=1,2,…,n j=1,2,…,m
称 d(xi,yj) 为 单个符号的失真度 /失真函数。表示信源发
出一个符号 xi，在接收端再现 yj 所引起的误差或失真。
第四章 信息率失真函数
总复习
2010-5-21 25
? 平均失真度定义
? d(xi,yj) 只能表示两个特定的具体符号 xi 和 yj 之间的失真。
? 平均失真度,平均失真度为失真度的数学期望，
第四章 信息率失真函数
总复习
2010-5-21 26
? 平均失真度意义
? 是在平均意义上，从总体上对整个系统失真情
况的描述。它是信源统计特性 p(xi),信道统计特
性 p(yj/xi ) 和失真度 d(xi,yj) 的函数 。当 p(xi)，
p(yj/xi)和 d(xi,yj) 给定后，平均失真度就不是一个随
机变量了，而是一个确定的量。
? 如果信源和失真度一定,就只是信道统计特性
的函数。信道传递概率不同，平均失真度随之改变。
第四章 信息率失真函数
总复习
2010-5-21 27
? 允许平均失真度, 率失真函数中的自变量 D，也就是
人们规定的平均失真度 的上限值。
? 率失真函数的定义域 问题就是在信源和失真函数已知
的情况下，讨论 允许平均失真度 D 的最小和最大值问
题 。
? D 的选取必须根据固定信源 X 的统计特性 P(X) 和选
定的失真函数 d(xi,yj)，在平均失真度 的可能取值
范围内。
第四章 信息率失真函数
总复习
2010-5-21 28
? 常用的失真函数
? 当 a=1时称为 汉明失真矩阵 。
第四章 信息率失真函数
总复习
2010-5-21 29
? 单符号信源和单符号信道的信息率失真函数
? 在信源和失真度给定以后,PD 是满足保真度准则 的
试验信道集合，平均互信息 I(X;Y) 是信道传递概率 p(yj /xi) 的
下凸函数，所以在 PD 中一定可以找到某个试验信道，使
I(X;Y)达到最小，即
这个最小值 R(D) 称为信息率失真函数,简称 率失真函数 。
? 在信源给定以后，总希望在允许一定失真的情况下，传送信
源所必须的信息率越小越好。 从接收端来看，就是在满足保
真度准则 的条件下，寻找再现信源消息必须的最低平
均信息量，即平均互信息的最小值 。
第四章 信息率失真函数
总复习
2010-5-21 30
? 求信息率失真函数的方法
信息率失真函数 R(D) 是假定信源给定的情况下，在用户可
以容忍的失真度内再现信源消息所必须获得的最小平均信
息量。它反映的是信源可压缩程度。不同的信源，其 R(D)
是不同的。
? 研究信道编码和率失真函数的意义
? 研究信息率失真函数的意义,研究信息率失真函数是为了解
决在已知信源和允许失真度 D 的条件下，使信源必须传送给
信宿的信息率最小。即用尽可能少的码符号尽快地传送尽可
能多的信源消息，以 提高通信的有效性 。这是 信源编码 问题。
第四章 信息率失真函数
