多媒体技术基础第三章 多媒体数据压缩技术
多媒体数据压缩的基本原理和方法;
声音压缩标准;
图像压缩标准;
视频压缩标准;
一、冗余的类型
1.空间冗余同一幅图像中,规则物体和规则背景的表面物体特性具有相关性,例如:
很多像素点完全一样活十分接近,这些都可以压缩。
2.时间冗余时间冗余反映在视频帧序列中,相邻帧图像之间有较大的相关性。
3.信息熵冗余所携带的信息量少于数据本身而反映出来的冗余。
4.视觉冗余人类的视觉系统由于受生理特性的限制,对于图像场的注意是非均匀的。
一般只能分辨 26灰度等级,而一般都采用 28灰度等级。
5.听觉冗余人耳对不同频率的声音的敏感性是不同的,不能察觉所有频率的变化,对某些频率不必特别关注,因此存在听觉冗余。
6.结构冗余数字化图像中物体表面纹理等结构往往存在着数据冗余。称结构冗余。
7.知识冗余由图像的记录方式与人对图像的知识之间的差别所产生的冗余称为知识冗余。例如:人脸的图像有固定的结构,
鼻子位于脸的中线上,上方是眼睛,下方是嘴等。人具有这些规律性的知识,
但计算机还是把图像一个一个像素的存起来。这就形成了知识冗余。
二、数据压缩编码方法的分类编码压缩方法有许多种,从不同的角度出发有不同的分类方法。
1.按照压缩方法是否产生失真分类压缩方法可被分为有失真编码和无失真编码两大类。
无失真编码压缩比较低,一般大都在 2,1~5,1之间,如 LZW编码、行程编码、霍夫曼编码。
1.按照压缩方法的原理分类预测编码、变换编码、统计编码、
分析合成编码、混合编码等。
预测编码利用像素的相关性,可进一步减小差值。
从前面的分析可以看出,如果差值编码中小幅度出现的机会增加,由于其对应的码长较短,总数码率会进一步减小。如果能猜出下一个样值,那么差值就会是零,当然这种情况是没有 意义的,因为若预先知道下一样值,就不需要进行通信了。但可以肯定,如果我们不仅利用 前后样值的相关性,同时也利用其它行、其它帧的像素的相关性
,用更接近当前样值的预测 值与当前样值相减,小幅度差值就会增加,总数码率就会减小,这就是预测编码的方法变换编码也是针对空间冗余和时间冗余的压缩方法。其基本思想是将图像的光强矩阵变换到系数空间上,然后对系数进行编码压缩。
分析合成编码是指都是通过对源数据的分析,将其分解成一系列更适合于表示的,基元,或从中提取若干更为本质意义的参数,编码仅对这些基本单元或特征参数进行。
译码时则借助于一定的规则或模型,
按一定的算法将这些基元或参数综合成源数据的一个逼近。这种压缩方法可能得到极高的压缩比。
统计编码属于无失真编码。他是根据信息出现的概率进行压缩编码。
编码时某种比特或字节模式的出现概率大,用较短码字表示;概率小用较长的码字表示。
衡量一个压缩编码方法优劣的重要指标是:
(1)压缩比要高,有几倍、几十倍,
也有几百乃至几千倍;一般用每个像素的比特数,既 bpp表示,例如,2bpp
(2)解压缩的图像质量要好。
主观评测:非常好、好、一般、差和非常差。
客观尺度通常有以下三种:均方误差、信噪比和峰值信噪比
(3)压缩与解压缩要快,算法要简单,
硬件实现容易;
全动态视频要求达到 25帧或 30帧。
最少 5帧以上霍夫曼编码霍夫曼编码是可变字长编码 (VLC)的一种。 Huffman于 1952年提出一种编码方法,该方法完全依据字符出现概率来构造异字头的平均长 度最短的码字,
有时称之为最佳编码,一般就叫作
Huffman编码。下面引证一个定理,该定 理保证了按字符出现概率分配码长,
可使平均码长最短。
大小顺序排列为,
U:
(a b c d e f g)
50 30 12 8 6 3 1
0 10 110 1110 11110 111110 111111
50*1+30*2+12*3+8*4+6*5+3+6+1*7=223
100*3=300
例如,011100001010110000101
3.2预测编码预测编码利用像素的相关性,可进一步减小差值。
DPCM编码
ADPCM编码
3.3变换编码离散傅里叶变换 DFT,离散余弦变换等。
3.4统计编码行程编码,LZW编码,哈夫曼编码,
算术编码
3.5分析合成编码
3.6音频压缩标准
3.6.1音频压缩的基本方法波形编码、参数编码和同时利用两种技术的混合编码对音频的评价:主观、客观
3.6.2电话质量的语音压缩标准频率范围是 300Hz~3.4kHz,用标准的 PCM。
典型的算法有,ADPCM,码本激励线性预测编码( CELP) 等
3.6.3调幅广播质量的音频压缩标准
50Hz~7kHz,
3.6.4高保真立体声音频压缩标准
50Hz~20kHz
数字音频输入 编好码的位流信号掩模比
MPEG音频编码器的原理框图滤波器组 比特或噪声分配 位流格式化心理学模型
3.7图像和视频压缩标准
3.7.1图像和视频压缩编码的基本方法有失真编码的主要方法有:预测编码、变换编码、模型编码、基于重要性的编码以及混合编码等
R,G,B彩色空间,H,S,I彩色空间
( H色调,S饱和度,I亮度)
不同的电视制式采用不同的彩色空间的表示,如 Y,I,Q方式和 Y,U,V方式( Y亮度)
3.7.2静止图形压缩标准已有多个国际标准,如 ISO制定的
JPEG标准,JBIG标准,ITU-T的 G3与 G4
标准等。
1.JPEG压缩标准
20,1或 25,1 2,1
1) JPEG的无损预测编码算法三邻域原图像数据 预测器 熵编码器 压缩的图像数据表说明
2) JPEG的基于 DCT的有损编码算法基本系统和增强系统顺序工作方式和累进工作方式基本系统只采用顺序工作方式熵编码时只能采用 Huffman编码,且只能存储两套码表原图像数据块准备
JPEG 8*8DCT正变换编码器 量化器 (表说明)
熵编码器 (表说明)
压缩后的图像数据
( 1)块准备
4,1,1
4800 1200 1200
( 2) DCT变换
DCT正变换为:
逆变换为:
当 u,v=0
其他
DCT有相应的快速变换
]c o sc o s),()[()(),( 16 )12(16 )12(
7
0
7
0
4
1 vxux
x y
yxfvEuEvuC


]c o sc o s),()()([),( 16 )12(16 )12(
7
0
7
0
4
1 vxux
x y
vucvEuEyxf


2/1)()( vEuE
1)()( vEuE
( 3) 量化
JPEG采用均匀量化器,量化公式为:
CQ(u,v)=Integer Round(C(u,v)/Q(u,v))
其中 Q(u,v) 为量化器的步长
( 4) DCT系数的编码
( 5)熵编码
Huffman编码和自适应二进制算术编码
3)基于 DCT的增强系统
( 1) 按频段累进
( 2)按位逼近
4)基于 DCT得分层操作方式
1.JPEG2000简介其主要内容包括六个部分
JPEG2000图像编码系统(核心部分)
应用扩展(在核心上扩展更多特性)
运动 JPEG2000
兼容性
参考软件
复合图像文件格式放弃了离散余弦变换算法,改用以离散小波变换算法为主的多解析编码方式
3.7.3视频压缩标准
MPEG(Motion Picture Experts Group)
1.MPEG-I压缩标准
1)时间冗余量的减少
I帧:内码帧
P帧:预测帧
B帧:双向帧或插补帧
IBBPBBPBBI
IBBPBBPBBPBBI
( 1)运动补偿预测法
( 2)运动补偿插补法
2)空间冗余量的减少
3) MPEG的分层结构和位流
3.MPEG-IV压缩标准基于内容的视频编码过程可由三步完成:
( 1) VO( 视频对象)的形成
( 2)编码
( 3)复合
4.MPEG-VII简介
5.MPEG-21简介第 4章多媒体硬件基础
数字音频处理接口
数字视频处理接口
多媒体输入 /输出设备
多媒体存储技术
多媒体计算机
4.1数字音频处理接口
4.1.1音频卡的工作原理处理音频信号的 PC插卡是音频卡
( Audio Card)
1.音频卡的功能和分类功能:音频的录制与播放,编辑与合成,MIDI接口,文 -语转换,CD-ROM接口及游戏接口等。
1)录制、编辑和回放数字声音文件
2)编辑与合成
3) MIDI接口和音乐合成
4) 文 -语转换和语音识别
5)游戏接口
6) CD-ROM驱动器接口
7)支持全双工功能
2.音频卡的体系结构
1)数字化声音处理
2)混音器
3)合成器
4.1.2音乐合成和 MIDI接口规范
1.音乐合成与 MIDI
2.MIDI术语( P83)
3.MIDI接口
4.MIDI技术规范
4.2数字视频处理接口
4.2.1视频图像显示
1.显示系统技术
1) VGA混合
2) 可伸缩的 VGA混合
3)双缓冲 VGA混合 /伸缩
2.视频显示技术标准
3.CRT显示系统
1)屏幕尺寸
2)荫罩和点间距
3)荧光粉类型
4)刷新或(扫描)频率与闪烁
5)隔行和非隔行扫描
6)显示缓冲区与颜色定义
7)模拟信号接口与数字信号接口
8)视频 BIOS
4.平板显示系统
1)被动 LCD矩阵显示
2)主动 LCD矩阵显示
4.2.2视频卡的工作原理
1.视频卡的分类与功能简介
1)分类
2)功能
2.视频采集卡的工作原理
1) A/D变换和数字解码
2)窗口控制器
3)帧存储系统
4)数模转换和矩阵变换
5)视频信号和 VGA信号的叠加
6) 数字式多制式视频信号编码部分
4.3多媒体输入 /输出设备
4.3.1笔输入
1.手写板和手写笔
2.图形输入板
4.3.2触摸屏
1.触摸屏的分类
1)按安装方式分类
2) 按结构特性与技术分类
2.各种触摸频技术特点的分析与对比
1)红外技术触摸屏
2)电容技术触摸屏
3)电阻技术触摸屏
4)表面声波触摸屏
5)压感触摸屏
6)五类触摸屏的特色对比
4.3.3扫描仪
1.扫描仪的结构原理
2.分类
按扫描方式分类
按扫描幅面分类
按扫描分辨率分类
按灰度与彩色分类
按反射式或透射式分类
3.技术指标
3.技术指标原稿种类扫描精度扫描分辨率色彩精度扫描速度阶调灰阶鲜锐度色彩再现能力接口标准
4.3.4数码相机
1.结构原理
2.工作过程
4.3.5虚拟现实的三维交互工具
1.跟踪探测设备
1)跟踪器机械式跟踪器电磁式跟踪器超声式跟踪器
2)跟踪球
2.数字手套
3.立体视觉设备
1)头盔显示器
2)立体眼镜
4.3.6输入 /输出接口
1.SCSI接口
1) SCSI概述
2) SCSI接口技术
2.USB接口
1) USB规范的组成
2) USB中数据传输方式
4.4多媒体存储技术
4.4.1光存储的类型
只读型光存储系统
一次写型光存储系统
可重写型光存储系统
4.4.2光存储系统的技术指标尺寸容量平均存取时间、平均寻道时间和平均等待时间数据传输速率误码率平均无故障时间
4.4.3光存储格式标准和类型
4.4.4 CD-ROM光存储系统
1.CD-ROM盘片的物理层次
2.CD-ROM驱动器的构造光头聚焦伺服道跟踪伺服
CLV控制
EFM解调器错误检测和校正
4.4.5 CD-R光存储系统
1.CD-R盘片的物理层次
2.CD-R的刻录和读取原理
4.4.6磁光存储系统
4.4.7相变 (PD)光存储系统
4.4.8 DVD光存储系统
1.DVD盘片的物理结构
2.几种 DVD光盘驱动器
4.4.9光盘库系统
4.5多媒体计算机
4.5.1多媒体处理器
1.几种典型的多媒体处理器
2.Intel公司的 MMX技术
4.5.2多媒体总线
1.PCI总线
2.AGP总线
4.5.3多媒体个人计算机( MPC)
具有多媒体功能的个人计算机
1.MPC规范
MPC联盟规定多媒体计算机包括五个基本部件:个人计算机 (PC),只读光盘驱动器( CD-ROM),声卡,windows操作系统和一组音箱或耳机。
2.MPC的性能
1)图像处理能力
2)声音的处理能力
3) MIDI乐器数字接口
4) 动画处理能力
5)多媒体数据的存储
6) MPC之间的信息传递本章小结
1)芯片类
2)板卡类
3) 外设类
4) MPC规范所制定的配置模式