XIDIAN
西安电子科技大学多媒体研究所
http://www.mti.xidian.edu.cn
多媒体数据压缩基础 2
数据压缩在多媒体数据处理中的地位信息的机器载体（比特）
信息的人类载体（声、
图、文、语言等）
知识发现（学习）
编码 解码多媒体数据压缩发展历程多媒体数据压缩发展前景
压缩的极限是多少？
目前情况：
JPEG 25-30倍
DVD 50倍
高清晰电视 75倍
H.263电信标准 70－ 80倍
将来：
H.264,MPEG4 目标 250倍
日本数字电视 2030年达到 300倍高阶熵编码应用
RLE（行程编码）和词典编码一个例子
1111222244448888
行程编码为
1＃ 4 2#4 4#4 8#4
是否消除了所有的数据相关性？
将空域图像或视频信号通过一种映射关系变换到另一个正交矢量空间
（变换域或频域），产生一批新的变换系数，对变换系数进行编码处理。
变换编码
定义
原理
数学模型
K-L变换
小波变换 主要包括以下典型变换方法
K-L变换
DCT变换
小波变换
1.真实图像或视频信号在空（时）域描述时信息冗余度大，进行变换后，可以消除数据之间的相关性，变换系数相对独立，数据量减少。
2.利用人的视（听）觉特性，对高频细节不敏感，可以在变换过程中滤除高频系数，保留低频系数，从而进一步减少数据量。
变换编码
定义
原理
数学模型
K-L变换
小波变换变换编码
定义
原理
数学模型
K-L变换
小波变换
1
0
1 e xp 2 0,1,,1N
x
F u f x j ux N u NN?
任何正交变换都可表示成矩阵的形式。
X A x?
相对在 N维空间中对原坐标轴进行旋转平移正交变换还具有能量不变特性（欧式距离）
信号在时域描述时信息冗余度大，
变换后，参数独立，数据量减少。
向量空间中的正交变换，就是寻找一组新的规范正交基，求取原向量在新的正交基上的系数。
利用人的视觉特性，对高频细节不敏感，可以滤除高频系数，保留低频系数。
用有限维数线性组合去逼近原向量，
达到最好近似效果，投影定理。
能量集中特性变换编码
定义
原理
数学模型
K-L变换
小波变换是最佳正交变换方式。对相关向量求协方差矩阵，按照特征值的大小排列特征向量。变换域中能量可以集中到少数几个变换系数上（特征值大的特征向量上的系数），其编码效率最高，误差最小。但运算复杂度大。
变换编码
定义
原理
数学模型
K-L变换
小波变换具有很好的理论指导性，奇异值分解技术以及主向量分析技术都与其相关，可以看成是 K-L变换的变种。
X1
X2
Y1
Y2
K-L变换图示变换编码
定义
原理
数学模型
K-L变换
小波变换其根本目的，就是依次寻找能量最大的坐标轴，用于消除多维数据之间的相关性。
是一种具有很好局部性的时－
频分析方法
小波基的构造具有平移（时域）
和伸缩（频域）特性
多分辨率特性，对低频信息的持续分解（ Mallat塔式分解）
变换编码
定义
原理
数学模型
K-L变换
小波变换变换编码
定义
原理
数学模型
K-L变换
小波变换分辨率 均值 细节系数
3 9 7 6 8 5 3 4 2
2 8 7 4 3 1 -1 1 1
1 7.5 3.5 0.5 0.5
简单的一维哈尔（小波）变换示意图变换编码
定义
原理
数学模型
K-L变换
小波变换图像二维小波变换示意图变换编码
定义
原理
数学模型
K-L变换
小波变换均值（低频分量）
图像二维小波变换示意图变换编码
定义
原理
数学模型
K-L变换
小波变换差值（高频分量）图像二维小波变换示意图量化处理是使数据比特率下降的一个强有力的措施。
量化输入值动态范围很大，需要以多比特数表示一个数值，量化输出只能取有限个整数，称量化级。每个量化输入被强迫归一到与其接近的某个输出，即量化到某个级。量化处理总是把一批输入量化到一个输出级上，所以量化是个多对一的处理过程，量化中由信息丢失，或者说，会引起量化误差（量化噪声）。
量化
概念
A/D量化
量化过程
量化实例模拟量经过 A/D转换，得到二进制码的过程，就是脉冲编码调制
（ PCM） 编码过程，也称 PCM编码。
A/D转换中的采样和量化分别是对时间和模拟量进行数字化的过程。
量化
概念
A/D量化
量化过程
量化实例输入输出阈值代表级量化曲线根据量化步距的不同，量化可以分为均匀量化、非均匀量化和自适应量化等。
00 01 10 11
0-1-2-3-4 1 2 3 4
量化
概念
A/D量化
量化过程
量化实例量化
概念
A/D量化
量化过程
量化实例
矢量量化是近年来在图像、语音编码技术中很流行的一种编码方法。
将数据分组，每组 k个数构成一个 k维向量，以矢量为单元进行量化。
矢量量化方式可以充分利用数据之间的相关性，可以获得更好的压缩比。
矢量量化量化
概念
A/D量化
量化过程
量化实例矢量量化示例（ LBG-VQ）
矢量量化示例（ LBG-VQ）量化
概念
A/D量化
量化过程
量化实例
24位标准图像量化
概念
A/D量化
量化过程
量化实例真彩色图像中的 64K种颜色采样一种颜色来表示。每个象素的颜色数由 16M减少为 256色，可以大幅度的减少数据量。
8位标准图像目前的研究热点
基于对象的编码方法
运动估计
三维对象编码
可变压缩率编码方法
The 71th plenary meeting of MPEG (ISO/IEC
JTC1/SC29/WG11) be held in the Hong Kong University of
Science and Technology (HKUST) in the Hong Kong,
China,during 17-21 January 2005,
The MPEG Home Page
小结
熵编码理论给出了最佳编码长度定理。
正交变换是一种有效的消除数据之间相关性的数学工具。
选择合适的变换方式需要综合考虑编码效率和时间复杂度。
量化方法是在多媒体编码中引起媒体质量下降的主要原因。
学习原理只是了解多媒体编码的第一步，要深入了解编码，需要多编程实践。
西安电子科技大学多媒体研究所
http://www.mti.xidian.edu.cn
多媒体数据压缩基础 2
数据压缩在多媒体数据处理中的地位信息的机器载体（比特）
信息的人类载体（声、
图、文、语言等）
知识发现（学习）
编码 解码多媒体数据压缩发展历程多媒体数据压缩发展前景
压缩的极限是多少？
目前情况：
JPEG 25-30倍
DVD 50倍
高清晰电视 75倍
H.263电信标准 70－ 80倍
将来：
H.264,MPEG4 目标 250倍
日本数字电视 2030年达到 300倍高阶熵编码应用
RLE（行程编码）和词典编码一个例子
1111222244448888
行程编码为
1＃ 4 2#4 4#4 8#4
是否消除了所有的数据相关性？
将空域图像或视频信号通过一种映射关系变换到另一个正交矢量空间
（变换域或频域），产生一批新的变换系数，对变换系数进行编码处理。
变换编码
定义
原理
数学模型
K-L变换
小波变换 主要包括以下典型变换方法
K-L变换
DCT变换
小波变换
1.真实图像或视频信号在空（时）域描述时信息冗余度大，进行变换后，可以消除数据之间的相关性，变换系数相对独立，数据量减少。
2.利用人的视（听）觉特性，对高频细节不敏感，可以在变换过程中滤除高频系数，保留低频系数，从而进一步减少数据量。
变换编码
定义
原理
数学模型
K-L变换
小波变换变换编码
定义
原理
数学模型
K-L变换
小波变换
1
0
1 e xp 2 0,1,,1N
x
F u f x j ux N u NN?
任何正交变换都可表示成矩阵的形式。
X A x?
相对在 N维空间中对原坐标轴进行旋转平移正交变换还具有能量不变特性（欧式距离）
信号在时域描述时信息冗余度大，
变换后，参数独立，数据量减少。
向量空间中的正交变换，就是寻找一组新的规范正交基，求取原向量在新的正交基上的系数。
利用人的视觉特性，对高频细节不敏感，可以滤除高频系数，保留低频系数。
用有限维数线性组合去逼近原向量，
达到最好近似效果，投影定理。
能量集中特性变换编码
定义
原理
数学模型
K-L变换
小波变换是最佳正交变换方式。对相关向量求协方差矩阵，按照特征值的大小排列特征向量。变换域中能量可以集中到少数几个变换系数上（特征值大的特征向量上的系数），其编码效率最高，误差最小。但运算复杂度大。
变换编码
定义
原理
数学模型
K-L变换
小波变换具有很好的理论指导性，奇异值分解技术以及主向量分析技术都与其相关，可以看成是 K-L变换的变种。
X1
X2
Y1
Y2
K-L变换图示变换编码
定义
原理
数学模型
K-L变换
小波变换其根本目的，就是依次寻找能量最大的坐标轴，用于消除多维数据之间的相关性。
是一种具有很好局部性的时－
频分析方法
小波基的构造具有平移（时域）
和伸缩（频域）特性
多分辨率特性，对低频信息的持续分解（ Mallat塔式分解）
变换编码
定义
原理
数学模型
K-L变换
小波变换变换编码
定义
原理
数学模型
K-L变换
小波变换分辨率 均值 细节系数
3 9 7 6 8 5 3 4 2
2 8 7 4 3 1 -1 1 1
1 7.5 3.5 0.5 0.5
简单的一维哈尔（小波）变换示意图变换编码
定义
原理
数学模型
K-L变换
小波变换图像二维小波变换示意图变换编码
定义
原理
数学模型
K-L变换
小波变换均值（低频分量）
图像二维小波变换示意图变换编码
定义
原理
数学模型
K-L变换
小波变换差值（高频分量）图像二维小波变换示意图量化处理是使数据比特率下降的一个强有力的措施。
量化输入值动态范围很大，需要以多比特数表示一个数值，量化输出只能取有限个整数，称量化级。每个量化输入被强迫归一到与其接近的某个输出，即量化到某个级。量化处理总是把一批输入量化到一个输出级上，所以量化是个多对一的处理过程，量化中由信息丢失，或者说，会引起量化误差（量化噪声）。
量化
概念
A/D量化
量化过程
量化实例模拟量经过 A/D转换，得到二进制码的过程，就是脉冲编码调制
（ PCM） 编码过程，也称 PCM编码。
A/D转换中的采样和量化分别是对时间和模拟量进行数字化的过程。
量化
概念
A/D量化
量化过程
量化实例输入输出阈值代表级量化曲线根据量化步距的不同，量化可以分为均匀量化、非均匀量化和自适应量化等。
00 01 10 11
0-1-2-3-4 1 2 3 4
量化
概念
A/D量化
量化过程
量化实例量化
概念
A/D量化
量化过程
量化实例
矢量量化是近年来在图像、语音编码技术中很流行的一种编码方法。
将数据分组，每组 k个数构成一个 k维向量，以矢量为单元进行量化。
矢量量化方式可以充分利用数据之间的相关性，可以获得更好的压缩比。
矢量量化量化
概念
A/D量化
量化过程
量化实例矢量量化示例（ LBG-VQ）
矢量量化示例（ LBG-VQ）量化
概念
A/D量化
量化过程
量化实例
24位标准图像量化
概念
A/D量化
量化过程
量化实例真彩色图像中的 64K种颜色采样一种颜色来表示。每个象素的颜色数由 16M减少为 256色，可以大幅度的减少数据量。
8位标准图像目前的研究热点
基于对象的编码方法
运动估计
三维对象编码
可变压缩率编码方法
The 71th plenary meeting of MPEG (ISO/IEC
JTC1/SC29/WG11) be held in the Hong Kong University of
Science and Technology (HKUST) in the Hong Kong,
China,during 17-21 January 2005,
The MPEG Home Page
小结
熵编码理论给出了最佳编码长度定理。
正交变换是一种有效的消除数据之间相关性的数学工具。
选择合适的变换方式需要综合考虑编码效率和时间复杂度。
量化方法是在多媒体编码中引起媒体质量下降的主要原因。
学习原理只是了解多媒体编码的第一步，要深入了解编码，需要多编程实践。
