? 连续信源的熵和互信息
? 信息率失真理论
? 标量量化编码
? 矢量量化编码
? 语音压缩编码
? 图象压缩编码
第四章 限失真信源编码
第四章 限失真信源编码
限失真编码, 信源编码经过译码后能保留应用要求的
信息, 允许信源有一定的失真 。
为什么要限失真编码
1° 连续信源的绝对熵为无限大, 由于信道的带宽有限,
受信道容量的限制 。 不可能实现完全无失真的信源信息的
传输 。 (可能性 )
2° 信道资源和技术经济因素的限制 。 (可实现性 )
3° 实际应用不必要无失真地恢复信源消息,不必要完全
无失真的信源信息的传输, (必要性 )
4° 数字系统的应用,模拟量的采样,量化也会引入失真,
语音信号传输
语音 （ 音频 ） 信号的带宽, 20～ 20000HZ
实际应用音频范围,
电话质量, 300～ 3.4KHZ 电话公用网
调幅广播质量, 50 ～ 7 KHZ 有现场感的语音传输
高保真音频信号, 20 ～ 20 KHZ 高保真音响
图像信号传输
一路 6MHz的普通电视信号数字化后, 其数码率将
高达 167Mbps,对储存器容量要求很大, 占有的带宽将
达 80MHz左右
表 4－ 1 各种 图像信号 应用的码率
应用种类 象素数 /行 行 数/帧 码率 bps压缩前 压缩后
HDTV 1920 1080 1.18G 20~25M
普通电视 720 480 167M 4~8M
会议电视 352 288 36.5M 1.5~2M
电视电话 128 112 5.2M 56k
一、连续消息的统计特性
2.描述,
1.波形信源：
在一个具体的时间点 ti, {x(ti)} 为一个取值
连续的随机变量，可用有限维 概率密度函数 族
描述,? ?
? ?
? ?
1 1 1
2 1 1 2 2
1 2 1 2
,
,,,
,,,,,,,
n n n
p x t
p x t x t
p x x x t t t
?
?
?
?
?
?
?
12( ) { ( ),( ),,( ) }nx t x t x t x t?
4.1 连续信源的熵和互信息
?平稳随机过程,统计特性 不随时间平移而变化 的随机过程。
? ? ? ?1 2 1 2 1 2 1 2,,,,,,,,,,,,,,n n n n n np x x x t t t p x x x t t t? ? ?? ? ? ?
★ {x(t)}在时刻 t= ti的集平均,
[ ] ( ) [ ( ) ] ( )it i i iE x x t p x t d x t????? ?
{x(t)}在某一时刻 ti变量 x(ti)的统计平均
一、波形信源的特性
2.描述,
11
1
(,,,,,) (,)
n
n n n k k
k
p x x t t p x t
?
? ?独 立 的 随 机 过 程,
?
★ {x(ti)}的时间平均,{x(t
i)}某一样本函数 x’(t)的时间平均值
???? ??? T TT dt)t(xT2 1lim)t(x
? 遍历平稳过程,若一平稳随机过程 {x(t)}的 集平均以概率 1
等于其时间平均,则称 {x(t)}为遍历的平稳过程。
二、连续信源的熵
??
?
??
??
??
?
??
?
)()( xp
R
xp
X 1)( ??
R dxxp
变量 X的概率分布与概率密度函数的关系为：
( ) ( )dp x P xdx? ( ) ( )xP x p x d x
??
? ?
1、方法
对连续变量 X的量化方法如下：
将 X的取值范围 [a,b]作 n等分，每份 ?=(b-a)/n
? ? ( 1 )( 1 ) ( ) ( )aiii aiP P a i x a i p x d x p x? ?? ? ????? ? ? ? ? ? ? ??
p(x)
a b0 a+(i-1)Δ a+iΔ
Pi
x
Δ
二、连续信源的熵
则 X落在第 i区间内的概率为：
),)1([ ?????? iaiax i
12
12
,,,,,
:
( ),,( )( ),( ),( ),
iNN
iN
xxxxX
p x p xp x p xPx ????
???? ?
??????
??
变 为
( 1 )11
,( ) ( ) ( ) 1
NN a i b
i a i a
ii
p x p x d x p x d x?
?
? ?
????
? ? ??? ??且
则连续信源 X:
??
?
??
??
??
?
??
?
)()( xp
R
xp
X 1)( ??
R dxxp
?此信源合理！
二、连续信源的熵
二、连续信源的熵
2、相对熵
1( ) ( )
()
b
a
h X p x log d xpx? ?
,( ) ( ) log ( )Rh X p x p x dx?? ?或
1( ) ( )
()h X Y p x y l o g d x d yp x y? ??
1( ) ( )
()h Y X p x y l o g d x d yp y x? ??
( ) ( ) l o g ( )h X Y p x y p x y d x d y?? ??
三、平均互信息
波形信道｛ x(t)｝ ｛ y(t)｝
1(,,)NX X X? 1(,,)NY Y Y?
[,]iX a b? [,]iY c d?
()p y x
( ; ) ( ) ( | ) ( ) ( | )I X Y h X h X Y h Y h Y X? ? ? ?
基本公式
实际应用中,允许信号有一定的失真,当失真超过一定
限度后,信息将失去实用价值,因此要规定失真的限度,
信息率失真是 A/D转换, 量化, 频带压缩和数据压缩的
理论基础,
4.2.1 失真函数
1) 失真函数定义
信源 经过信源编码后输出
对于每一对 ( ui,vj ),指定一个非负函数
d ( ui,vj ) ≥ 0 i = 1,2,…,n j = 1,2,…,m
称 d ( xi,yj ) 为单个符号的失真函数, 表示信源发出符
号 xi,接收端再现 yj 所引起的误差或失真,
d ( xi,yj ) = 0 无失真,d ( xi,yj ) > 0 有失真,
},,,{ 21 nuuuU ??
},,,{ 21 mvvvV ??
4.2 信息率失真函数
2) 常用的失真函数
1° 平方误差失真函数 d ( xi,yj ) = (xi - yj )2
2° 绝对误差失真函数 d ( xi,yj ) = | xi - yj |
3° 相对误差失真函数 d ( xi,yj ) = | xi - yj |/ | xi |
4° 误码失真函数
失真函数 1°,2°,3° 用于连续信源,失真函数 4° 用
于离散信源,失真函数 4° 也称 Hanmming失真函数,
3) 失真矩阵 d
n × m 矩阵
??
? ??
其他1
0),( jiyxd
ji
?
?
?
?
?
?
?
?
?
?
?
),(),(
),(),(
1
111
mnn
m
yxdyxd
yxdyxd
d
?
???
?
4.2.2 平均失真
xi 和 yj 均为随机变量,所以 d ( xi,yj ) 也
为随机变量,
d ( xi,yj )的 平均失真 用其 数学期望 或 统计平
均值 描述,用
符号 表示,
? ?? ?
? ?? ?
??
n
i
m
j
jiiji
n
i
m
j
jiji vuduvpupvudvupD
1 11 1
),()|()(),(),(
D
4.2.3 信息率失真函数 R(D)
1) 受信道容量的限制,实际应用中必须对信源进行
压缩,应
1° 使其压缩后的信息传输率小于信道容量 ;
2° 保证压缩所引入的平均失真 不超过预先给定
的 允许失真度 D;
3° 在满足 ≤ D的前提下,使编码后的信息率尽
可能小,
不等式 ≤ D 称为 保真度准则
D
D
D
2) 试验信道
1° 有失真的信源编码器视作有干扰的信道 (假想信道 )
2° 当信源已知 (即 B(U)已知 )时,单个符号的失真度给
定,选择一类假想信道,使得 ≤ D,这类假想信道称为
D 失真允许信道,或 D 失真允许试验信道, 记为
BD={ p( v j | u i ),≤ D ; i=1,2,…,n ; j=1,2,… m }
p(v j | u i )为信道的传递概率。
D
3)离散信源的信息率失真函数
)};({m in)( )|( VUIDR
Dij Buvp ?
?
在允许信道 BD 中,寻求一个信道 p( V |U ),使给定的信源经
过此信道后,互信息量 I(U ;V )达到最小, 该最小互信息量称
为 信息率失真函数 R(D),简称 率失真函数
N维信源符号序列的信息率失真函数 RN(D):
)};({m in)( )();|( VUIDR NDNDsypN ??
4) 连续信源的信息率失真函数
? ? ?????? d u d vvuduvpupvudED ),()|()()],([
连续信源平均失真度为,
连续信源的信息率失真函数,
)};({inf)( )|( VUIDR
DBuvP ?
?
4) 信息率失真函数 R(D)物理意义
1° R(D)是信源给定的情况下,在可容忍的失真度内再现
信源消息所必须获得的最小平均信息量,
2° R(D)是反映给定信源可压缩的程度,
3° R(D)求出后,就与选择的试验信道无关,而只是信源
特性的参量,不同的信源,其 R(D)是不同的,
5) 信息率失真函数 R(D)的计算
已给定 信源概率 P(X)和失真函数 d ( xi,yj ),求信息率
失真函数 R(D)的问题,可以归结为在约束条件保真度准
则 ≤ D 下,求极小值的问题, D
6) 限失真信源编码定理 (香农第三定理 )
设离散无记忆信源 X的信息率失真函数 R(D),并
选定失真函数,对于任意允许平均失真度 D≥0 和任
意小的 ε≥0,当信息率 R ≥R(D),只要信源序列 L足够
长,则一定存在一种编码方法,使其译码失真 ≤D+ε,反
之,若 R ＜ R(D),无论用什么编码方法,其译码失真
必＞ D 存在性定理
※ 任何信源的信息率失真函数 R(D)是该信源在限
失真条件下进行编码的最小信息传输率 。
4.3 标量量化编码
? 标量量化 ----零记忆量化
每次只量化一个模拟样本值。
? 均匀量化：线性量化
? 最优量化：使量化器的均方误差 σ e2最小或信
噪比 SNR最小的量化。
（概率非均匀分布的最优量化算法）
4.3.1 均匀量化
? 量化器输入,x，对应实数值域空间为 R；
? 量化器输出,y，对应实数值域空间为 Rc；
对应取值范围 [a0,an]
? y=Q (x)
? 均匀量化：将区间 [a0,an]分割为 n个相等距离
且互不重叠的子区间 [ai,ai+1]，取每个小区间
的中点值作为量化值 yi，即 ai≤x≤a i+1时，
yi=(ai+1+ai)/2
均匀量化的量化误差：
iyxxQxe ???? )(
量化器均方误差：
? ?
? ?
?
?
??
??
?
??
??
N
i
a
a
i
e
i
i
dxxpyx
dxxpxQx
1
2
2
2
1
)()(
)()(?
量化器输入方差：
? ??
?
??
?? ?
??
N
i
a
a
i
i
dxxpxdxxpx
1
222
1
)()(?
量化器的信噪比 SNR：
2
2
lg10
e
S N R
?
??
量化器的工作区域：
1,正常量化区,量化器能得到正常量化。
],[ 0 naax ?
naxax ?? 或02,限幅区,量化器处于限幅或过载工
作状态，产生较大失真。
3,空载区：
（ 1）当 x=ai时，量化器输出在两个量化级间往返跳动，
形成一个矩形输出，结果将产生点状噪声。
（ 2） x在 ai之上或之下，量化输出分别为恒定值
2/2/ ?????? aix
4.3.2 最优量化
? 最优量化与 p (x)有关，区间分割也与 p (x)有
关,N足够大时，近似认为在各个区间 [ai,ai+1]
上的概率分布 p (x)为一常数，各子区间上被
视为均匀分布。
? 对于 x的概率分布非均匀的标量量化采用 Max-
Livod算法。
对 ai取偏导并置零
d(ai,yi-1)=d(ai,yi)
对于均方失真和绝对失真，有
ai=(yi+yi-1)/2
可知此时边界点在相邻量化值之中点,σ e2最
小。
0)()()()( 221
2
????? ? iiiiii
i
e apyaapya
a?
??
量化值的选定则与概率密度有关。
对于均方失真，
yi最佳位置在 ai和 ai+1区间的概率中心。
??
?
?
??
?
?
??
????
11
1
1
)(
][
)(
)(
0)()(2
2
i
i
i
i
i
i
i
i
a
a
a
a
a
a
i
a
a
i
i
e
dxxp
xE
dxxp
dxxxp
y
dxxpyx
y?
??
? Max-Livod迭代方法：
1）任取 y0;
2）由,计算 a1;
3）根据公式 计算 y1;
4）重复步骤（ 2）、（ 3），分别计算出 a2,y2,a3,y3,….,直至最
后求得 yn-1
5）检验 yn是否为 [an-1,an]的概率中心，
即 是否成立，或在允许的一定误差范
围内成立。
6）若步骤（ 5）满足，则过程结束，否则，重新选 y0。
? ??10 0)()( 0aa dxxpyx
niyya iii,.,,,,2,1,21 ??? ?
? ? ?? ?nnaa n dxxpyx1 0)()( 1
实用化必须考虑的问题
代价问题 ---均匀量化
失真测度 ---符合主观特性
量化噪声 ---均方失真
概率特性 ---近似测定
截止幅度 ---过载失真,动态范围
使用环境 ---带宽,质量要求等
4.4 矢量量化编码
? 把多个信源符号联合起来形成多维矢量，再
对矢量进行标量量化，量化级数可进一步减
小，码率可进一步压缩。 —— 矢量量化
? LGB算法 ---最佳标量量化算法的推广
? 量化器输入集,X={X1,X2,…, XN}，
Xj=（ xj1,xj2,…,x jk）
? Rk划分为 J=2n个互不相交的子空间 R1，
R2,…R J,
? 子空间的质心 Yi (码字或码矢 )构成量化器的
输出空间 Y,Y={Y1,Y2,…,Y J} -----码书
? 矢量量化 实质上是判断输入 Xj属于哪个子空
间 Ri,然后输出该子空间代表码字 Yi：
Yi=Q（ X j）
4.5 语音压缩编码
? 语音编码就是将模拟语音信号数字化，数字
化之后可以作为数字信号传输、存储或处理，
可以充分利用数字信号处理的各种技术。为
了减小存储空间或降低传输比特率节省带宽，
还需要对数字化之后的语音信号进行压缩编
码，这就是语音压缩编码技术。
? 语音的压缩编码方法归纳起来可以分为三大
类,波形编码, 参数编码 和 混合编码 。
? 波形编码 比较简单，失真最小，方法简单，
但数码率比较高。
? 参数编码 的编码速率可以很低，但音质较差，
只能达到合成语音质量，其次是复杂度高。
? 混合编码 吸收了波形编码和参数编码的优点，
从而在较低的比特率上获得较高的语音质量，
当前受到人们较大的关注。
? 语音压缩编码的主要技术：
1937年,A.H.Reeves提出 PCM编码方法 ;
1972年,CCITT确定 64kb/s的 PCM语音编码
G.711建议 ;
1984年，通过了 ADPCM语音编码 G.721建议 ;
1992年，公布了 G.728建议（ LD-CELP）
1995年,G.729建议（ SC-ACELP）国际标准
目前，语音压缩编码技术主要有两个努力方向：
一个是中低速率的语音编码的实用化，及如何使
用化过程中进一步减低编码速率和提高其抗干扰、
抗噪声能力；
另一个是如何进一步的降低其编码速率，目前已
能在 5kb/s-6kb/s的速率上获得高质量的重建语音，
下一个目标则是要在 4kb/s的速率上获得短延时、
高质量的重建语音。
Shannon Th1与 Shannon Th3区别
无失真 限失真
R?R(D)
()rL H X?
RC? *() DDR R D ??
客观冗余 次要信息
? 信息率失真理论
? 标量量化编码
? 矢量量化编码
? 语音压缩编码
? 图象压缩编码
第四章 限失真信源编码
第四章 限失真信源编码
限失真编码, 信源编码经过译码后能保留应用要求的
信息, 允许信源有一定的失真 。
为什么要限失真编码
1° 连续信源的绝对熵为无限大, 由于信道的带宽有限,
受信道容量的限制 。 不可能实现完全无失真的信源信息的
传输 。 (可能性 )
2° 信道资源和技术经济因素的限制 。 (可实现性 )
3° 实际应用不必要无失真地恢复信源消息,不必要完全
无失真的信源信息的传输, (必要性 )
4° 数字系统的应用,模拟量的采样,量化也会引入失真,
语音信号传输
语音 （ 音频 ） 信号的带宽, 20～ 20000HZ
实际应用音频范围,
电话质量, 300～ 3.4KHZ 电话公用网
调幅广播质量, 50 ～ 7 KHZ 有现场感的语音传输
高保真音频信号, 20 ～ 20 KHZ 高保真音响
图像信号传输
一路 6MHz的普通电视信号数字化后, 其数码率将
高达 167Mbps,对储存器容量要求很大, 占有的带宽将
达 80MHz左右
表 4－ 1 各种 图像信号 应用的码率
应用种类 象素数 /行 行 数/帧 码率 bps压缩前 压缩后
HDTV 1920 1080 1.18G 20~25M
普通电视 720 480 167M 4~8M
会议电视 352 288 36.5M 1.5~2M
电视电话 128 112 5.2M 56k
一、连续消息的统计特性
2.描述,
1.波形信源：
在一个具体的时间点 ti, {x(ti)} 为一个取值
连续的随机变量，可用有限维 概率密度函数 族
描述,? ?
? ?
? ?
1 1 1
2 1 1 2 2
1 2 1 2
,
,,,
,,,,,,,
n n n
p x t
p x t x t
p x x x t t t
?
?
?
?
?
?
?
12( ) { ( ),( ),,( ) }nx t x t x t x t?
4.1 连续信源的熵和互信息
?平稳随机过程,统计特性 不随时间平移而变化 的随机过程。
? ? ? ?1 2 1 2 1 2 1 2,,,,,,,,,,,,,,n n n n n np x x x t t t p x x x t t t? ? ?? ? ? ?
★ {x(t)}在时刻 t= ti的集平均,
[ ] ( ) [ ( ) ] ( )it i i iE x x t p x t d x t????? ?
{x(t)}在某一时刻 ti变量 x(ti)的统计平均
一、波形信源的特性
2.描述,
11
1
(,,,,,) (,)
n
n n n k k
k
p x x t t p x t
?
? ?独 立 的 随 机 过 程,
?
★ {x(ti)}的时间平均,{x(t
i)}某一样本函数 x’(t)的时间平均值
???? ??? T TT dt)t(xT2 1lim)t(x
? 遍历平稳过程,若一平稳随机过程 {x(t)}的 集平均以概率 1
等于其时间平均,则称 {x(t)}为遍历的平稳过程。
二、连续信源的熵
??
?
??
??
??
?
??
?
)()( xp
R
xp
X 1)( ??
R dxxp
变量 X的概率分布与概率密度函数的关系为：
( ) ( )dp x P xdx? ( ) ( )xP x p x d x
??
? ?
1、方法
对连续变量 X的量化方法如下：
将 X的取值范围 [a,b]作 n等分，每份 ?=(b-a)/n
? ? ( 1 )( 1 ) ( ) ( )aiii aiP P a i x a i p x d x p x? ?? ? ????? ? ? ? ? ? ? ??
p(x)
a b0 a+(i-1)Δ a+iΔ
Pi
x
Δ
二、连续信源的熵
则 X落在第 i区间内的概率为：
),)1([ ?????? iaiax i
12
12
,,,,,
:
( ),,( )( ),( ),( ),
iNN
iN
xxxxX
p x p xp x p xPx ????
???? ?
??????
??
变 为
( 1 )11
,( ) ( ) ( ) 1
NN a i b
i a i a
ii
p x p x d x p x d x?
?
? ?
????
? ? ??? ??且
则连续信源 X:
??
?
??
??
??
?
??
?
)()( xp
R
xp
X 1)( ??
R dxxp
?此信源合理！
二、连续信源的熵
二、连续信源的熵
2、相对熵
1( ) ( )
()
b
a
h X p x log d xpx? ?
,( ) ( ) log ( )Rh X p x p x dx?? ?或
1( ) ( )
()h X Y p x y l o g d x d yp x y? ??
1( ) ( )
()h Y X p x y l o g d x d yp y x? ??
( ) ( ) l o g ( )h X Y p x y p x y d x d y?? ??
三、平均互信息
波形信道｛ x(t)｝ ｛ y(t)｝
1(,,)NX X X? 1(,,)NY Y Y?
[,]iX a b? [,]iY c d?
()p y x
( ; ) ( ) ( | ) ( ) ( | )I X Y h X h X Y h Y h Y X? ? ? ?
基本公式
实际应用中,允许信号有一定的失真,当失真超过一定
限度后,信息将失去实用价值,因此要规定失真的限度,
信息率失真是 A/D转换, 量化, 频带压缩和数据压缩的
理论基础,
4.2.1 失真函数
1) 失真函数定义
信源 经过信源编码后输出
对于每一对 ( ui,vj ),指定一个非负函数
d ( ui,vj ) ≥ 0 i = 1,2,…,n j = 1,2,…,m
称 d ( xi,yj ) 为单个符号的失真函数, 表示信源发出符
号 xi,接收端再现 yj 所引起的误差或失真,
d ( xi,yj ) = 0 无失真,d ( xi,yj ) > 0 有失真,
},,,{ 21 nuuuU ??
},,,{ 21 mvvvV ??
4.2 信息率失真函数
2) 常用的失真函数
1° 平方误差失真函数 d ( xi,yj ) = (xi - yj )2
2° 绝对误差失真函数 d ( xi,yj ) = | xi - yj |
3° 相对误差失真函数 d ( xi,yj ) = | xi - yj |/ | xi |
4° 误码失真函数
失真函数 1°,2°,3° 用于连续信源,失真函数 4° 用
于离散信源,失真函数 4° 也称 Hanmming失真函数,
3) 失真矩阵 d
n × m 矩阵
??
? ??
其他1
0),( jiyxd
ji
?
?
?
?
?
?
?
?
?
?
?
),(),(
),(),(
1
111
mnn
m
yxdyxd
yxdyxd
d
?
???
?
4.2.2 平均失真
xi 和 yj 均为随机变量,所以 d ( xi,yj ) 也
为随机变量,
d ( xi,yj )的 平均失真 用其 数学期望 或 统计平
均值 描述,用
符号 表示,
? ?? ?
? ?? ?
??
n
i
m
j
jiiji
n
i
m
j
jiji vuduvpupvudvupD
1 11 1
),()|()(),(),(
D
4.2.3 信息率失真函数 R(D)
1) 受信道容量的限制,实际应用中必须对信源进行
压缩,应
1° 使其压缩后的信息传输率小于信道容量 ;
2° 保证压缩所引入的平均失真 不超过预先给定
的 允许失真度 D;
3° 在满足 ≤ D的前提下,使编码后的信息率尽
可能小,
不等式 ≤ D 称为 保真度准则
D
D
D
2) 试验信道
1° 有失真的信源编码器视作有干扰的信道 (假想信道 )
2° 当信源已知 (即 B(U)已知 )时,单个符号的失真度给
定,选择一类假想信道,使得 ≤ D,这类假想信道称为
D 失真允许信道,或 D 失真允许试验信道, 记为
BD={ p( v j | u i ),≤ D ; i=1,2,…,n ; j=1,2,… m }
p(v j | u i )为信道的传递概率。
D
3)离散信源的信息率失真函数
)};({m in)( )|( VUIDR
Dij Buvp ?
?
在允许信道 BD 中,寻求一个信道 p( V |U ),使给定的信源经
过此信道后,互信息量 I(U ;V )达到最小, 该最小互信息量称
为 信息率失真函数 R(D),简称 率失真函数
N维信源符号序列的信息率失真函数 RN(D):
)};({m in)( )();|( VUIDR NDNDsypN ??
4) 连续信源的信息率失真函数
? ? ?????? d u d vvuduvpupvudED ),()|()()],([
连续信源平均失真度为,
连续信源的信息率失真函数,
)};({inf)( )|( VUIDR
DBuvP ?
?
4) 信息率失真函数 R(D)物理意义
1° R(D)是信源给定的情况下,在可容忍的失真度内再现
信源消息所必须获得的最小平均信息量,
2° R(D)是反映给定信源可压缩的程度,
3° R(D)求出后,就与选择的试验信道无关,而只是信源
特性的参量,不同的信源,其 R(D)是不同的,
5) 信息率失真函数 R(D)的计算
已给定 信源概率 P(X)和失真函数 d ( xi,yj ),求信息率
失真函数 R(D)的问题,可以归结为在约束条件保真度准
则 ≤ D 下,求极小值的问题, D
6) 限失真信源编码定理 (香农第三定理 )
设离散无记忆信源 X的信息率失真函数 R(D),并
选定失真函数,对于任意允许平均失真度 D≥0 和任
意小的 ε≥0,当信息率 R ≥R(D),只要信源序列 L足够
长,则一定存在一种编码方法,使其译码失真 ≤D+ε,反
之,若 R ＜ R(D),无论用什么编码方法,其译码失真
必＞ D 存在性定理
※ 任何信源的信息率失真函数 R(D)是该信源在限
失真条件下进行编码的最小信息传输率 。
4.3 标量量化编码
? 标量量化 ----零记忆量化
每次只量化一个模拟样本值。
? 均匀量化：线性量化
? 最优量化：使量化器的均方误差 σ e2最小或信
噪比 SNR最小的量化。
（概率非均匀分布的最优量化算法）
4.3.1 均匀量化
? 量化器输入,x，对应实数值域空间为 R；
? 量化器输出,y，对应实数值域空间为 Rc；
对应取值范围 [a0,an]
? y=Q (x)
? 均匀量化：将区间 [a0,an]分割为 n个相等距离
且互不重叠的子区间 [ai,ai+1]，取每个小区间
的中点值作为量化值 yi，即 ai≤x≤a i+1时，
yi=(ai+1+ai)/2
均匀量化的量化误差：
iyxxQxe ???? )(
量化器均方误差：
? ?
? ?
?
?
??
??
?
??
??
N
i
a
a
i
e
i
i
dxxpyx
dxxpxQx
1
2
2
2
1
)()(
)()(?
量化器输入方差：
? ??
?
??
?? ?
??
N
i
a
a
i
i
dxxpxdxxpx
1
222
1
)()(?
量化器的信噪比 SNR：
2
2
lg10
e
S N R
?
??
量化器的工作区域：
1,正常量化区,量化器能得到正常量化。
],[ 0 naax ?
naxax ?? 或02,限幅区,量化器处于限幅或过载工
作状态，产生较大失真。
3,空载区：
（ 1）当 x=ai时，量化器输出在两个量化级间往返跳动，
形成一个矩形输出，结果将产生点状噪声。
（ 2） x在 ai之上或之下，量化输出分别为恒定值
2/2/ ?????? aix
4.3.2 最优量化
? 最优量化与 p (x)有关，区间分割也与 p (x)有
关,N足够大时，近似认为在各个区间 [ai,ai+1]
上的概率分布 p (x)为一常数，各子区间上被
视为均匀分布。
? 对于 x的概率分布非均匀的标量量化采用 Max-
Livod算法。
对 ai取偏导并置零
d(ai,yi-1)=d(ai,yi)
对于均方失真和绝对失真，有
ai=(yi+yi-1)/2
可知此时边界点在相邻量化值之中点,σ e2最
小。
0)()()()( 221
2
????? ? iiiiii
i
e apyaapya
a?
??
量化值的选定则与概率密度有关。
对于均方失真，
yi最佳位置在 ai和 ai+1区间的概率中心。
??
?
?
??
?
?
??
????
11
1
1
)(
][
)(
)(
0)()(2
2
i
i
i
i
i
i
i
i
a
a
a
a
a
a
i
a
a
i
i
e
dxxp
xE
dxxp
dxxxp
y
dxxpyx
y?
??
? Max-Livod迭代方法：
1）任取 y0;
2）由,计算 a1;
3）根据公式 计算 y1;
4）重复步骤（ 2）、（ 3），分别计算出 a2,y2,a3,y3,….,直至最
后求得 yn-1
5）检验 yn是否为 [an-1,an]的概率中心，
即 是否成立，或在允许的一定误差范
围内成立。
6）若步骤（ 5）满足，则过程结束，否则，重新选 y0。
? ??10 0)()( 0aa dxxpyx
niyya iii,.,,,,2,1,21 ??? ?
? ? ?? ?nnaa n dxxpyx1 0)()( 1
实用化必须考虑的问题
代价问题 ---均匀量化
失真测度 ---符合主观特性
量化噪声 ---均方失真
概率特性 ---近似测定
截止幅度 ---过载失真,动态范围
使用环境 ---带宽,质量要求等
4.4 矢量量化编码
? 把多个信源符号联合起来形成多维矢量，再
对矢量进行标量量化，量化级数可进一步减
小，码率可进一步压缩。 —— 矢量量化
? LGB算法 ---最佳标量量化算法的推广
? 量化器输入集,X={X1,X2,…, XN}，
Xj=（ xj1,xj2,…,x jk）
? Rk划分为 J=2n个互不相交的子空间 R1，
R2,…R J,
? 子空间的质心 Yi (码字或码矢 )构成量化器的
输出空间 Y,Y={Y1,Y2,…,Y J} -----码书
? 矢量量化 实质上是判断输入 Xj属于哪个子空
间 Ri,然后输出该子空间代表码字 Yi：
Yi=Q（ X j）
4.5 语音压缩编码
? 语音编码就是将模拟语音信号数字化，数字
化之后可以作为数字信号传输、存储或处理，
可以充分利用数字信号处理的各种技术。为
了减小存储空间或降低传输比特率节省带宽，
还需要对数字化之后的语音信号进行压缩编
码，这就是语音压缩编码技术。
? 语音的压缩编码方法归纳起来可以分为三大
类,波形编码, 参数编码 和 混合编码 。
? 波形编码 比较简单，失真最小，方法简单，
但数码率比较高。
? 参数编码 的编码速率可以很低，但音质较差，
只能达到合成语音质量，其次是复杂度高。
? 混合编码 吸收了波形编码和参数编码的优点，
从而在较低的比特率上获得较高的语音质量，
当前受到人们较大的关注。
? 语音压缩编码的主要技术：
1937年,A.H.Reeves提出 PCM编码方法 ;
1972年,CCITT确定 64kb/s的 PCM语音编码
G.711建议 ;
1984年，通过了 ADPCM语音编码 G.721建议 ;
1992年，公布了 G.728建议（ LD-CELP）
1995年,G.729建议（ SC-ACELP）国际标准
目前，语音压缩编码技术主要有两个努力方向：
一个是中低速率的语音编码的实用化，及如何使
用化过程中进一步减低编码速率和提高其抗干扰、
抗噪声能力；
另一个是如何进一步的降低其编码速率，目前已
能在 5kb/s-6kb/s的速率上获得高质量的重建语音，
下一个目标则是要在 4kb/s的速率上获得短延时、
高质量的重建语音。
Shannon Th1与 Shannon Th3区别
无失真 限失真
R?R(D)
()rL H X?
RC? *() DDR R D ??
客观冗余 次要信息
