XIDIAN
西安电子科技大学多媒体研究所
http://www.mti.xidian.edu.cn
多媒体数据压缩原理多媒体数据处理流程信息的机器载体（比特）
信息的人类载体（声、
图、文、语言等）
知识发现（学习）
编码 解码多媒体数据压缩介绍
数据压缩就是在一定的精度损失条件下，以最少的数码表示信源所发出的信号。多媒体数据压缩技术就是针对多媒体数据特性而进行数据压缩技术，是许多多媒体应用的基础。
多媒体数据压缩的必要性
存储容量
传输带宽
多媒体数据压缩的可能性
信息冗余（数据相关性）
感官误差允许数据压缩方法
去除数据之间的相关性和冗余性
统计编码
变换方法
感官误差允许
量化方法
变换方法量化处理是使数据比特率下降的一个强有力的措施。
量化输入值动态范围很大，需要以多比特数表示一个数值，量化输出只能取有限个整数，称量化级。每个量化输入被强迫归一到与其接近的某个输出，即量化到某个级。量化处理总是把一批输入量化到一个输出级上，所以量化是个多对一的处理过程，量化中由信息丢失，或者说，会引起量化误差（量化噪声）。
量化
概念
A/D量化
量化过程
量化实例模拟量经过 A/D转换，得到二进制码的过程，就是脉冲编码调制
（ PCM） 编码过程，也称 PCM编码。
A/D转换中的采样和量化分别是对时间和模拟量进行数字化的过程。
量化
概念
A/D量化
量化过程
量化实例输入输出阈值代表级量化曲线量化
概念
A/D量化
量化过程
量化实例根据量化步距的不同，量化可以分为均匀量化、非均匀量化和自适应量化等。
矢量量化示例量化
概念
A/D量化
量化过程
量化实例矢量量化示例量化
概念
A/D量化
量化过程
量化实例
24位标准图像量化
概念
A/D量化
量化过程
量化实例真彩色图像中的 64K种颜色采样一种颜色来表示。每个象素的颜色数由 16M减少为 256色，可以大幅度的减少数据量。
8位标准图像将空域图像或视频信号通过一种映射关系变换到另一个正交矢量空间
（变换域或频域），产生一批新的变换系数，对变换系数进行编码处理。
变换编码
定义
原理
数学模型
K-L变换
小波变换 主要包括以下典型变换方法
K-L变换
DCT变换
小波变换
1.真实图像或视频信号在空（时）域描述时信息冗余度大，进行变换后，
变换系数相对独立，数据量减少。
2.利用人的视觉特性，对高频细节不敏感，可以在变换过程中滤除高频系数，保留低频系数，从而减少数据量。
变换编码
定义
原理
数学模型
K-L变换
小波变换
信号在时域描述时信息冗余度大，
变换后，参数独立，数据量减少。
向量空间中的正交变换，就是寻找一组新的规范正交基，求去原向量在新的正交基上的系数。
利用人的视觉特性，对高频细节不敏感，可以滤除高频系数，保留低频系数。
用有限维数线性组合去逼近原向量，
达到最好近似效果，投影定理。
变换编码
定义
原理
数学模型
K-L变换
小波变换是最佳正交变换方式。对相关向量求协方差矩阵，按照特征值的大小排列特征向量。变换域中能量可以集中到少数几个变换系数上（特征值大的特征向量上的系数），其编码效率最高，误差最小。但运算复杂度大。
变换编码
定义
原理
数学模型
K-L变换
小波变换具有很好的理论指导性，奇异值分解技术以及主向量分析技术都与其相关，可以看成是 K-L变换的变种。
X1
X2
Y1
Y2
K-L变换图示变换编码
定义
原理
数学模型
K-L变换
小波变换其根本目的，就是寻找能量最大的坐标轴，用于解除多维数据之间的相关性。
是一种具有很好局部性的时－
频分析方法
小波基的构造具有平移（时域）
和伸缩（频域）特性
多分辨率特性，对低频信息的持续分解（ Mallat塔式分解）
变换编码
定义
原理
数学模型
K-L变换
小波变换
)(0 xfA )(1 xfA )(2 xfA
)(1 xfD )(2 xfD
小波多分辨率分解示意图简单的一维哈尔（小波）变换示意图变换编码
定义
原理
数学模型
K-L变换
小波变换分辨率 均值 细节系数
3 9 7 6 8 5 3 4 2
2 8 7 4 3 1 -1 1 1
1 7.5 3.5 0.5 0.5
变换编码
定义
原理
数学模型
K-L变换
小波变换图像二维小波变换示意图变换编码
定义
原理
数学模型
K-L变换
小波变换图像二维小波变换示意图均值 (低频 )
变换编码
定义
原理
数学模型
K-L变换
小波变换图像二维小波变换示意图细节 (高频 )
变换和量化的一个简单应用
8× 8的图像块进行
DCT变换后，生成
64个频率（正交基）
上的系数。直流分量幅度值比较大，
用更多的位数进行量化；而其它交流分量，幅度值比较小，采用比较少的位数进行量化。
图像 8*8DCT变换示意图变换编码最新应用
JPEG2000 静态图像压缩标准
DWT(离散小波变换 )
MPEG-4 基于内容的音视频编码标准
DCT（离散余弦变换）
H.264(MPEG4 Part10)
整数变换变换编码的总结
变换编码的基本原理就是找到一组新的正交基，求原向量在新正交基上的系数。
对高频系数（高频基）的舍弃可以进一步提高压缩率，其直观表现是投影定理。
小波变换是一种新兴的数学分析方法，但它还是满足空间变换的基本原理，其突出特点就是可以做时频分析并具有多分辨率特性。
编码中采用的变换并不只取决于其变换效果，还与其空间时间复杂度有关。
压缩方法小结（无损压缩）
基于统计的方法
霍夫曼编码
香农－范诺方法
算术编码方法
行程编码（ RLE）
词典编码
LZSS
LZW
压缩方法小结（有损压缩）
量化
均匀量化
非均匀量化
（自适应）预测编码
变换编码
小波变换
DCT变换
整数变换彩色图像压缩算法概要
JPEG(Joint Photographic Experts Group) 是一个由
ISO和 CCITT两个组织机构联合组成的一个图像专家小组，负责制定静态的数字图像数据压缩编码标准，这个专家组开发的算法称为 JPEG算法，并且成为国际上通用的标准，因此又称为 JPEG标准。 JPEG是一个适用范围很广的静态图像数据压缩标准，既可用于灰度图像又可用于彩色图像。 JPEG不仅适于静止图像的压缩，电视图像的帧内图像的压缩编码，也常采用此算法。
标准包含两种基本的压缩算法，一种是采用以离散余弦变换 (Discrete Cosine Transform,DCT)为基础的有损压缩算法，另一种是采用以预测技术为基础的 DPCM无损压缩算法。
JPEG编码标准
JPEG压缩编码算法的主要计算步骤如下：
1.正向离散余弦变换 (FDCT)。
2.量化 (quantization)。
3.Z字形编码 (zigzag scan)。
4.使用差分脉冲编码调制 (differential pulse code
modulation,DPCM)对直流系数 (DC)进行编码。
5.使用行程长度编码 (run-length encoding,RLE)对交流系数 (AC)进行编码。
6.熵编码 (entropy coding)。
JPEG编码标准压缩编码大致分成三个步骤：
1.使用正向离散余弦变换 (forward discrete cosine transform,FDCT)把空间域表示的图变换成频率域表示的图。
2.使用加权函数对 DCT系数进行量化，这个加权函数对于人的视觉系统是最佳的。
3.使用霍夫曼可变字长编码器对量化系数进行编码。
JPEG编码标准
FDCT
译码或者叫做解压缩的过程与压缩编码过程正好相反。
IDCT
JPEG编码标准正向离散余弦变换对每个单独的彩色图像分量，把整个分量图像分成 8× 8的图像块，如图所示，并作为两维离散余弦变换 DCT的输入。通过 DCT变换，把能量集中在少数几个系数上。
DCT变换使用下式计算逆变换使用下式计算
JPEG编码标准
FDCT变换本质
每个 8× 8图像采样数据块，实质上生成 64点离散信号。
假想在一个 64维的向量空间中,64点离散信号对应一个高维数据点。
寻找一个新的正交向量基，求取高维数据点的新坐标
产生二维频域的变换参数。
量化对于有损压缩算法,JPEG
算法使用如图所示的均匀量化器进行量化，量化步距是按照系数所在的位置和每种颜色分量的色调值来确定。
JPEG编码标准量化因为人眼对亮度信号比对色差信号更敏感，因此使用了两种量化表：亮度量化值和色差量化值。此外，由于人眼对低频分量的图像比对高频分量的图像更敏感，因此图中的左上角的量化步距要比右下角的量化步距小。
JPEG编码标准
DC系数编码和 AC系数 ZIGZAG编码
JPEG编码标准
JPEG编码示例熵 编码使用熵编码还可以对 DPCM编码后的直流 DC系数和 RLE编码后的交流 AC系数作进一步的压缩。
在 JPEG有损压缩算法中，使用霍夫曼编码器来减少熵。
使用霍夫曼编码器的理由是可以使用很简单的查表 (lookup
table)方法进行编码。压缩数据符号时，霍夫曼编码器对出现频度比较高的符号分配比较短的代码，而对出现频度较低的符号分配比较长的代码。这种可变长度的霍夫曼码表可以事先进行定义。
JPEG编码标准基于 DPCM的预测 编码无失真编码器源图像数据 压缩的图像数据预测器 熵编码器表说明
DPCM预测编码框图
JPEG编码标准
JPEG2000编码标准
需求：新的多媒体应用，网络应用，以及对压缩比的更高要求。
JPEG 2000 正式名称为,ISO 15444，同样是由 JPEG 组织负责制定。该标准是由联合摄影专家组于 1997年开始征集提案，把它作为 JPEG标准的一个更新换代标准。它的目标是进一步改进目前压缩算法的性能，以适应低带宽、高噪声的环境，以及医疗图像、电子图书馆、传真,Internet网上服务和保安等方面的应用。国际标准化组织的 WG1小组已于 2000年 8月制定了最终的国际标准化草案（ The Final
Draft International Standard，简称 FDIS）。
JPEG2000新特征
高压缩率,JPEG2000格式的图片压缩比可在现在的 JPEG基础上再提高 10％～ 30％，而且压缩后的图像显得更加细腻平滑。
无损压缩和有损压缩,JPEG2000提供无损和有损两种压缩方式。
同时 JPEG2000提供的是嵌入式码流，允许从有损到无损的渐进解压。
渐进传输,现在网络上的 JPEG图像下载时是按“块”传输的，因此只能一行一行地显示，而采用 JPEG 2000格式的图像支持渐进传输
(Progressive Transmission)。所谓的渐进传输就是先传输图像轮廓数据，然后再逐步传输其他数据来不断提高图像质量。
JPEG2000新特征
感兴趣区域压缩 （ Region of Interest）
码流的随机访问和处理
容错性
开放的框架结构
基于内容的描述
JPEG2000基本结构小波变换 量化 熵编码 压缩图像数据熵解码 压缩图像数据逆量化小波反变换源图像数据合成图像数据编码器解码器存储或传输图像分块示意图
JPEG2000编码过程
把原图像分解成各个成分（亮度信号和色度信号）。
把图像和它的各个成分分解成矩形图像片。
对每个图像片实施小波变换。
对分解后的小波系数进行量化并组成矩形的编码块
对在编码块中的系数“位平面”熵编码。
为使码流具有容错性，在码流中添加相应的标识符。
可选的文件格式用来描述图像和它的各个成分的意义。
思考问题：为什么最新的 JPEG2000标准中采用了离散小波变换，而最新的视频编码标准中还采用离散余弦变换？
谢 谢
西安电子科技大学多媒体研究所
http://www.mti.xidian.edu.cn
多媒体数据压缩原理多媒体数据处理流程信息的机器载体（比特）
信息的人类载体（声、
图、文、语言等）
知识发现（学习）
编码 解码多媒体数据压缩介绍
数据压缩就是在一定的精度损失条件下，以最少的数码表示信源所发出的信号。多媒体数据压缩技术就是针对多媒体数据特性而进行数据压缩技术，是许多多媒体应用的基础。
多媒体数据压缩的必要性
存储容量
传输带宽
多媒体数据压缩的可能性
信息冗余（数据相关性）
感官误差允许数据压缩方法
去除数据之间的相关性和冗余性
统计编码
变换方法
感官误差允许
量化方法
变换方法量化处理是使数据比特率下降的一个强有力的措施。
量化输入值动态范围很大，需要以多比特数表示一个数值，量化输出只能取有限个整数，称量化级。每个量化输入被强迫归一到与其接近的某个输出，即量化到某个级。量化处理总是把一批输入量化到一个输出级上，所以量化是个多对一的处理过程，量化中由信息丢失，或者说，会引起量化误差（量化噪声）。
量化
概念
A/D量化
量化过程
量化实例模拟量经过 A/D转换，得到二进制码的过程，就是脉冲编码调制
（ PCM） 编码过程，也称 PCM编码。
A/D转换中的采样和量化分别是对时间和模拟量进行数字化的过程。
量化
概念
A/D量化
量化过程
量化实例输入输出阈值代表级量化曲线量化
概念
A/D量化
量化过程
量化实例根据量化步距的不同，量化可以分为均匀量化、非均匀量化和自适应量化等。
矢量量化示例量化
概念
A/D量化
量化过程
量化实例矢量量化示例量化
概念
A/D量化
量化过程
量化实例
24位标准图像量化
概念
A/D量化
量化过程
量化实例真彩色图像中的 64K种颜色采样一种颜色来表示。每个象素的颜色数由 16M减少为 256色，可以大幅度的减少数据量。
8位标准图像将空域图像或视频信号通过一种映射关系变换到另一个正交矢量空间
（变换域或频域），产生一批新的变换系数，对变换系数进行编码处理。
变换编码
定义
原理
数学模型
K-L变换
小波变换 主要包括以下典型变换方法
K-L变换
DCT变换
小波变换
1.真实图像或视频信号在空（时）域描述时信息冗余度大，进行变换后，
变换系数相对独立，数据量减少。
2.利用人的视觉特性，对高频细节不敏感，可以在变换过程中滤除高频系数，保留低频系数，从而减少数据量。
变换编码
定义
原理
数学模型
K-L变换
小波变换
信号在时域描述时信息冗余度大，
变换后，参数独立，数据量减少。
向量空间中的正交变换，就是寻找一组新的规范正交基，求去原向量在新的正交基上的系数。
利用人的视觉特性，对高频细节不敏感，可以滤除高频系数，保留低频系数。
用有限维数线性组合去逼近原向量，
达到最好近似效果，投影定理。
变换编码
定义
原理
数学模型
K-L变换
小波变换是最佳正交变换方式。对相关向量求协方差矩阵，按照特征值的大小排列特征向量。变换域中能量可以集中到少数几个变换系数上（特征值大的特征向量上的系数），其编码效率最高，误差最小。但运算复杂度大。
变换编码
定义
原理
数学模型
K-L变换
小波变换具有很好的理论指导性，奇异值分解技术以及主向量分析技术都与其相关，可以看成是 K-L变换的变种。
X1
X2
Y1
Y2
K-L变换图示变换编码
定义
原理
数学模型
K-L变换
小波变换其根本目的，就是寻找能量最大的坐标轴，用于解除多维数据之间的相关性。
是一种具有很好局部性的时－
频分析方法
小波基的构造具有平移（时域）
和伸缩（频域）特性
多分辨率特性，对低频信息的持续分解（ Mallat塔式分解）
变换编码
定义
原理
数学模型
K-L变换
小波变换
)(0 xfA )(1 xfA )(2 xfA
)(1 xfD )(2 xfD
小波多分辨率分解示意图简单的一维哈尔（小波）变换示意图变换编码
定义
原理
数学模型
K-L变换
小波变换分辨率 均值 细节系数
3 9 7 6 8 5 3 4 2
2 8 7 4 3 1 -1 1 1
1 7.5 3.5 0.5 0.5
变换编码
定义
原理
数学模型
K-L变换
小波变换图像二维小波变换示意图变换编码
定义
原理
数学模型
K-L变换
小波变换图像二维小波变换示意图均值 (低频 )
变换编码
定义
原理
数学模型
K-L变换
小波变换图像二维小波变换示意图细节 (高频 )
变换和量化的一个简单应用
8× 8的图像块进行
DCT变换后，生成
64个频率（正交基）
上的系数。直流分量幅度值比较大，
用更多的位数进行量化；而其它交流分量，幅度值比较小，采用比较少的位数进行量化。
图像 8*8DCT变换示意图变换编码最新应用
JPEG2000 静态图像压缩标准
DWT(离散小波变换 )
MPEG-4 基于内容的音视频编码标准
DCT（离散余弦变换）
H.264(MPEG4 Part10)
整数变换变换编码的总结
变换编码的基本原理就是找到一组新的正交基，求原向量在新正交基上的系数。
对高频系数（高频基）的舍弃可以进一步提高压缩率，其直观表现是投影定理。
小波变换是一种新兴的数学分析方法，但它还是满足空间变换的基本原理，其突出特点就是可以做时频分析并具有多分辨率特性。
编码中采用的变换并不只取决于其变换效果，还与其空间时间复杂度有关。
压缩方法小结（无损压缩）
基于统计的方法
霍夫曼编码
香农－范诺方法
算术编码方法
行程编码（ RLE）
词典编码
LZSS
LZW
压缩方法小结（有损压缩）
量化
均匀量化
非均匀量化
（自适应）预测编码
变换编码
小波变换
DCT变换
整数变换彩色图像压缩算法概要
JPEG(Joint Photographic Experts Group) 是一个由
ISO和 CCITT两个组织机构联合组成的一个图像专家小组，负责制定静态的数字图像数据压缩编码标准，这个专家组开发的算法称为 JPEG算法，并且成为国际上通用的标准，因此又称为 JPEG标准。 JPEG是一个适用范围很广的静态图像数据压缩标准，既可用于灰度图像又可用于彩色图像。 JPEG不仅适于静止图像的压缩，电视图像的帧内图像的压缩编码，也常采用此算法。
标准包含两种基本的压缩算法，一种是采用以离散余弦变换 (Discrete Cosine Transform,DCT)为基础的有损压缩算法，另一种是采用以预测技术为基础的 DPCM无损压缩算法。
JPEG编码标准
JPEG压缩编码算法的主要计算步骤如下：
1.正向离散余弦变换 (FDCT)。
2.量化 (quantization)。
3.Z字形编码 (zigzag scan)。
4.使用差分脉冲编码调制 (differential pulse code
modulation,DPCM)对直流系数 (DC)进行编码。
5.使用行程长度编码 (run-length encoding,RLE)对交流系数 (AC)进行编码。
6.熵编码 (entropy coding)。
JPEG编码标准压缩编码大致分成三个步骤：
1.使用正向离散余弦变换 (forward discrete cosine transform,FDCT)把空间域表示的图变换成频率域表示的图。
2.使用加权函数对 DCT系数进行量化，这个加权函数对于人的视觉系统是最佳的。
3.使用霍夫曼可变字长编码器对量化系数进行编码。
JPEG编码标准
FDCT
译码或者叫做解压缩的过程与压缩编码过程正好相反。
IDCT
JPEG编码标准正向离散余弦变换对每个单独的彩色图像分量，把整个分量图像分成 8× 8的图像块，如图所示，并作为两维离散余弦变换 DCT的输入。通过 DCT变换，把能量集中在少数几个系数上。
DCT变换使用下式计算逆变换使用下式计算
JPEG编码标准
FDCT变换本质
每个 8× 8图像采样数据块，实质上生成 64点离散信号。
假想在一个 64维的向量空间中,64点离散信号对应一个高维数据点。
寻找一个新的正交向量基，求取高维数据点的新坐标
产生二维频域的变换参数。
量化对于有损压缩算法,JPEG
算法使用如图所示的均匀量化器进行量化，量化步距是按照系数所在的位置和每种颜色分量的色调值来确定。
JPEG编码标准量化因为人眼对亮度信号比对色差信号更敏感，因此使用了两种量化表：亮度量化值和色差量化值。此外，由于人眼对低频分量的图像比对高频分量的图像更敏感，因此图中的左上角的量化步距要比右下角的量化步距小。
JPEG编码标准
DC系数编码和 AC系数 ZIGZAG编码
JPEG编码标准
JPEG编码示例熵 编码使用熵编码还可以对 DPCM编码后的直流 DC系数和 RLE编码后的交流 AC系数作进一步的压缩。
在 JPEG有损压缩算法中，使用霍夫曼编码器来减少熵。
使用霍夫曼编码器的理由是可以使用很简单的查表 (lookup
table)方法进行编码。压缩数据符号时，霍夫曼编码器对出现频度比较高的符号分配比较短的代码，而对出现频度较低的符号分配比较长的代码。这种可变长度的霍夫曼码表可以事先进行定义。
JPEG编码标准基于 DPCM的预测 编码无失真编码器源图像数据 压缩的图像数据预测器 熵编码器表说明
DPCM预测编码框图
JPEG编码标准
JPEG2000编码标准
需求：新的多媒体应用，网络应用，以及对压缩比的更高要求。
JPEG 2000 正式名称为,ISO 15444，同样是由 JPEG 组织负责制定。该标准是由联合摄影专家组于 1997年开始征集提案，把它作为 JPEG标准的一个更新换代标准。它的目标是进一步改进目前压缩算法的性能，以适应低带宽、高噪声的环境，以及医疗图像、电子图书馆、传真,Internet网上服务和保安等方面的应用。国际标准化组织的 WG1小组已于 2000年 8月制定了最终的国际标准化草案（ The Final
Draft International Standard，简称 FDIS）。
JPEG2000新特征
高压缩率,JPEG2000格式的图片压缩比可在现在的 JPEG基础上再提高 10％～ 30％，而且压缩后的图像显得更加细腻平滑。
无损压缩和有损压缩,JPEG2000提供无损和有损两种压缩方式。
同时 JPEG2000提供的是嵌入式码流，允许从有损到无损的渐进解压。
渐进传输,现在网络上的 JPEG图像下载时是按“块”传输的，因此只能一行一行地显示，而采用 JPEG 2000格式的图像支持渐进传输
(Progressive Transmission)。所谓的渐进传输就是先传输图像轮廓数据，然后再逐步传输其他数据来不断提高图像质量。
JPEG2000新特征
感兴趣区域压缩 （ Region of Interest）
码流的随机访问和处理
容错性
开放的框架结构
基于内容的描述
JPEG2000基本结构小波变换 量化 熵编码 压缩图像数据熵解码 压缩图像数据逆量化小波反变换源图像数据合成图像数据编码器解码器存储或传输图像分块示意图
JPEG2000编码过程
把原图像分解成各个成分（亮度信号和色度信号）。
把图像和它的各个成分分解成矩形图像片。
对每个图像片实施小波变换。
对分解后的小波系数进行量化并组成矩形的编码块
对在编码块中的系数“位平面”熵编码。
为使码流具有容错性，在码流中添加相应的标识符。
可选的文件格式用来描述图像和它的各个成分的意义。
思考问题：为什么最新的 JPEG2000标准中采用了离散小波变换，而最新的视频编码标准中还采用离散余弦变换？
谢 谢
