2009-7-29 1
多媒体应用技术基础
媒体介绍
什么是多媒体
多媒体技术应用的发展历史
2009-7-29 2
单媒体与多媒体介绍人类大脑与五官（甚至包括第六感）对大千世界的观察是立体的、联想的、开放的，也可以说是全息的。在技术的限制下，人们只能制造出各种仅能表达形形式式的单媒体来近似表达不完全的信息 。 随着人类社会的进步，多媒体信息系统将负担起运用多媒体手段来表达完整信息的任务。起发展的过程如下：
全 息单媒体
.
.
.
.
.
单媒体多媒体
MULTIMEIDIA
全 息
2009-7-29 3
多媒体技术的基本概念
“多媒体,翻译自英文：,MULTIMEDIA”,意思是
,大量的,,字根,media”是拉丁字 medium的复数形式，其基本意是,中间、中心,,后来，逐渐表示
,媒体,的意思。从词源我们可以判断出，多媒体意味着,多媒介,或者是,多方法,的媒体。这里所谓的媒体就是承载信息的载体或者说是信息的表达形式。
将此概念引用到信息与通信技术领域中，运用多媒介或多方法媒体的新技术称为多媒体信息技术，由此形成的系统称为多媒体信息系统。
2009-7-29 4
多媒体应用技术的发展历史我们可以通过下面的发展图来了解多媒体的发展过程
P1 P3
P2
通信大众传播计算多媒体信息系统与网络
2009-7-29 5
多媒体信息的演变
媒体的演变过程如下图文声像音视频数 据 信 息 知识
2009-7-29 6
媒体的种类与性质
媒体主要包括以下一些成员：
视觉部分，首先是静止的图像、图形、符号、文字；
动态部分是视频、真实感三维动画，二维动画。
听觉部分，声响（自然界）、语音、音乐。
触觉部分，压力、运动、传感 /发生器。
其它媒体还有包括嗅觉等。
2009-7-29 7
数制与数制转换
数制是进位计数制度的简称
最早采用的是,逢十进一,；
钟表采用的是,逢六十进一,
十二英寸为一英尺采用的是十二进制
每一种数制的应用决不是偶然的，它要适应人们的习惯和便于使用。
2009-7-29 8
数制的表示方法
十进制
二进制
任意进制
2009-7-29 9
数制转换
二进制转化为十进制
十进制转化为二进制
2009-7-29 10
信息量的计算方法
什么是信息量
信源、信道、信素
计算方法
2009-7-29 11
信息量的概念所谓信息量就是信息所携带的不确定度的减少量。人们所的到的信息就是不肯定程度减小的量，
或者说是两次不定性之差。所谓不肯定程度和不定性就是指人们对客观事物不了解不清楚时所表现出的那种无知、少知的茫然状态；当人们通过某种方法某种渠道，了解和掌握了客观事物的有关情况之后，那么，这种无知、少知的茫然状态就会得到不同程度的改变，以至消除。（申农）
2009-7-29 12
信源、信道、信宿
消息的来源称之为信源
消息传播的渠道称之为信道
消息的接受方称之为信宿
2009-7-29 13
信息量的计算方法如果信源能够产生 X1,X2…… Xr等 r个符号且每个符号出现的概率分别为 P(X1),P(X2)… P(Xr)，则每个符号的信息量为其出现的概率取以 2为底的负对数。以每个符号出现的概论进行加权平均，可以得到其平均信息量。
2009-7-29 14
符号数据的表示方式 ASCII
美国标准信息交换码，采用 7位进行编码，
可以表示 0～ 9,a~z,A~Z以及标点和运算符号。
ASCII码的校验：补位法
2009-7-29 15
文字与数据
文字称之为,正文,(Text)，用二进制编码表示
西文 用 ASCII,是由 7个二进制位组成的字符编码系统，包括：大小写字母，标点符号，阿拉伯数字，
数学符号，控制符号等共 128个字符。
汉字
GB2312－ 80标准,1980年制定，用 2*7个二进制位表示一个汉字，共有 6763个汉字和 850个符号。
ISO10646标准，中、日、韩均可，已批准为国际标准，
16位编码,2万多汉字。
数据 数据库的结构化数据，表格
2009-7-29 16
音频
音频 (Audio)在 15Hz－ 20KHz频率范围内。
声源：麦克风、磁带录音、无线电与电视、
CD
音频信号的数字化处理
采样 Sampling即将模拟信号变换成数字化信号。
以下以正弦波为例，根据采样原理，采样频率高于或等于信号最高效频的 2倍。
2009-7-29 17
音频信号的采样原始波形采样数据采样频率重建波形
2009-7-29 18
音频文件的大小及其计算
量化是将采样值整数化，用二进制表示，如用 8位即有 256个量化级。
数字录音文件大小的计算公式：
S=F× T× (r/8)× C
其中,S为文件大小，以字节来计算
F为采样频率，以 Hz来计
T为录音时间，以秒来记
r为分辨率，二进制位数计，如 8位,16位
C为声道数
2009-7-29 19
MIDI(Musical Instrument Digital Interface)
乐器数字接口，它提供详细描述乐谱的协议如音符、音调、乐器等，它实际上是用来记录音乐过程的一串符号命令。通过合成器来播放，
因此：
计算机＋合成器＋作曲软件＝音乐
2009-7-29 20
图形计算机图形（ computer graphic）是用计算机产生、储存、处理物体的物理模型和它们的画面。
计算机图形学＝数据结构＋图形算法＋语言
2009-7-29 21
图像
从名称来看，图像是用于描绘或用于摄影等方法得到的外在景物的相似物；像是直接或间接（如拍照）
得到的人或物的视觉印象，一般讲，能为人类视觉系统所感觉的信息形式或人们心目中的有形想象。
从技术角度来看，图像在计算机上以位图（ bitmap）
表示，实际上是自然的二维光场分布经过空间和亮度的散化，将它考虑为一个矩阵，矩阵中的任一元素，对应于图像中的一点，称为 pixel（像元－或像素），而这个点相应的值反映它的灰度（或颜色）
等级，这是数字化后的结果。
2009-7-29 22
图形与图像的关系
图像是位图，以像素 pixels为基础，图像更逼真，而图形更抽象。
显示过程 图形－图元顺序、链码、与图元数据有关；图像－扫描，从左自右、从上到下
图形变换无失真，如发大无失真；
图象变换会失真，如放大会产生阶梯效应
图形能以图元为单位进行属性修改、编辑等操作，而图像只能对像素或分块进行处理
2009-7-29 23
图形、图像与识别的关系如图：
图像抽象文字符号图形真实感描述图像分析与模式识别图像处理
2009-7-29 24
动画
基本概念
动画（ Animation)是运动的图画
帧动画（ Frame animation):由一幅幅连续的画面组成的图像或图形序列（每秒 25幅）
造型动画（ Cast-based animation),对每个活动的对象分别进行设计，赋予每个对象不同特征（如形状大、小与颜色等），然后用这些对象组成完整的画面。
二维动画：画面仅是二维的透视效果，并无独立的空间造型。
制作过程：关键帧 +插值
特点：色彩鲜艳，清晰度高，容易掌握与使用，如：
Animator Pro.等
三维动画：用三维框架（三视图）来创造出空间形象
设计过程：建模 －动作设计－材质选取－光源设定－摄像机设定－着色生成－录演播
特点：立体感强，动态效果逼真，如 3DMax,Maya等
2009-7-29 25
数字视频
数字视频是一系列相关图像，其特点是：
速度高，每帧 1/25秒，每点越 31ns
容量大,B=h.w.q.c.f.s(垂直、水平、量化、
波段、频率、专门算法）
2009-7-29 26
多媒体压缩技术
为什么要对多媒体文件进行压缩
压缩的主要方法
举例：哈夫曼编码（ Huffman Codes） ;游程码（ RLE）
2009-7-29 27
文件压缩的目的
无损压缩：仙农把数据看作是信息和冗余度的组合。 压缩的主要目的就是减小或者消除数据中的冗余度 。它是一个可逆过程。
有损压缩：利用人类视觉听觉上的特性，在不影响人们接受信息的前提下，来减小数据的信息量，从而达到 减少数据量 的目的。它是不可逆的过程。
2009-7-29 28
压缩的主要方法介绍
音频的压缩方法：
无损压缩,HUFFMAN;RLC
有损压缩,PCM;DPCM;ADPCM;LPC(AC-3)
视频的压缩方法：
无损压缩,HUFFMAN;RLE;LZW
有损压缩,DCT;JPEG;MPEG;H.261
2009-7-29 29
HUFFMAN编码介绍
哈夫曼编码是使用事件频度或者事件概率作为压缩码基，如果 P(x)是概率,X随输入流而产生，
若 P(x)大时赋较短的码,P(x)小时赋较长的码。
一个相对简单的算法如下：
A，令 OP是事件概率的集合
B，令 Pi与 Pj在 OP内是最小的两个概率（ Pi<Pj）
B1，产生一个分支节点 Nij作为对 Pi与 Pj的双亲
B2，标出分支 Nij Pi为 0,Nij Pj为 1
B3，令 P(Nij)＝ Pi＋ Pj；从 OP中删除 Pi和 Pj并臵
P(Nij)于 OP
C,如果 OP中包含一个 P，停止，否则 goto b
2009-7-29 30
HAFFMAN编码举例
Intensity X Occurrence probability
P(x)
I1=01101110 0.35
I2=10011000 0.25
I3=01010100 0.20
I4=11100011 0.12
I5=00001000 0.05
I6=11001011 0.0335 1
25 0
60 1
20 1 40 0
12 1 20 0
5 1 8 0
3 0
root
2009-7-29 31
HAFFMAN编码举例
例如一条扫描线 I4 I1 I1 I2 I1 I2 I6
11100011 01101110 01101110 10011000 01101110 1001110 11001011
进行编码以后相应的码流变成为：
001 11 11 10 11 10 0000
这里从 7个字节变成为两个多一点字节，从而实现了数据的压缩。
2009-7-29 32
Run－ Length Encoding（ Suppression of
repeating Characters）
REL（游程码）将一串迭代字符（重复符号）
表示为该字符上所迭代的次数。
适用于重复字符较多的数据，如果重复字符很少则可能会导致文件数据量的增加。
2009-7-29 33
REL编码举例
例一,11111100000003333
编码结果为,617043这里减少了 11个字符
例二,000023300034422000001111211000
编码结果为,401223301324225041122130
以上两例子为有利压缩
例三,1020304050607080
编码结果为,11101210131014101510161017101810
例三则为不利压缩的代表
2009-7-29 34
计算机组成结构
CPU 输出设备存储器输入设备表示媒体 存储媒体展现媒体展现媒体感觉媒体感觉媒体表示媒体传输媒体
多媒体应用技术基础
媒体介绍
什么是多媒体
多媒体技术应用的发展历史
2009-7-29 2
单媒体与多媒体介绍人类大脑与五官（甚至包括第六感）对大千世界的观察是立体的、联想的、开放的，也可以说是全息的。在技术的限制下，人们只能制造出各种仅能表达形形式式的单媒体来近似表达不完全的信息 。 随着人类社会的进步，多媒体信息系统将负担起运用多媒体手段来表达完整信息的任务。起发展的过程如下：
全 息单媒体
.
.
.
.
.
单媒体多媒体
MULTIMEIDIA
全 息
2009-7-29 3
多媒体技术的基本概念
“多媒体,翻译自英文：,MULTIMEDIA”,意思是
,大量的,,字根,media”是拉丁字 medium的复数形式，其基本意是,中间、中心,,后来，逐渐表示
,媒体,的意思。从词源我们可以判断出，多媒体意味着,多媒介,或者是,多方法,的媒体。这里所谓的媒体就是承载信息的载体或者说是信息的表达形式。
将此概念引用到信息与通信技术领域中，运用多媒介或多方法媒体的新技术称为多媒体信息技术，由此形成的系统称为多媒体信息系统。
2009-7-29 4
多媒体应用技术的发展历史我们可以通过下面的发展图来了解多媒体的发展过程
P1 P3
P2
通信大众传播计算多媒体信息系统与网络
2009-7-29 5
多媒体信息的演变
媒体的演变过程如下图文声像音视频数 据 信 息 知识
2009-7-29 6
媒体的种类与性质
媒体主要包括以下一些成员：
视觉部分，首先是静止的图像、图形、符号、文字；
动态部分是视频、真实感三维动画，二维动画。
听觉部分，声响（自然界）、语音、音乐。
触觉部分，压力、运动、传感 /发生器。
其它媒体还有包括嗅觉等。
2009-7-29 7
数制与数制转换
数制是进位计数制度的简称
最早采用的是,逢十进一,；
钟表采用的是,逢六十进一,
十二英寸为一英尺采用的是十二进制
每一种数制的应用决不是偶然的，它要适应人们的习惯和便于使用。
2009-7-29 8
数制的表示方法
十进制
二进制
任意进制
2009-7-29 9
数制转换
二进制转化为十进制
十进制转化为二进制
2009-7-29 10
信息量的计算方法
什么是信息量
信源、信道、信素
计算方法
2009-7-29 11
信息量的概念所谓信息量就是信息所携带的不确定度的减少量。人们所的到的信息就是不肯定程度减小的量，
或者说是两次不定性之差。所谓不肯定程度和不定性就是指人们对客观事物不了解不清楚时所表现出的那种无知、少知的茫然状态；当人们通过某种方法某种渠道，了解和掌握了客观事物的有关情况之后，那么，这种无知、少知的茫然状态就会得到不同程度的改变，以至消除。（申农）
2009-7-29 12
信源、信道、信宿
消息的来源称之为信源
消息传播的渠道称之为信道
消息的接受方称之为信宿
2009-7-29 13
信息量的计算方法如果信源能够产生 X1,X2…… Xr等 r个符号且每个符号出现的概率分别为 P(X1),P(X2)… P(Xr)，则每个符号的信息量为其出现的概率取以 2为底的负对数。以每个符号出现的概论进行加权平均，可以得到其平均信息量。
2009-7-29 14
符号数据的表示方式 ASCII
美国标准信息交换码，采用 7位进行编码，
可以表示 0～ 9,a~z,A~Z以及标点和运算符号。
ASCII码的校验：补位法
2009-7-29 15
文字与数据
文字称之为,正文,(Text)，用二进制编码表示
西文 用 ASCII,是由 7个二进制位组成的字符编码系统，包括：大小写字母，标点符号，阿拉伯数字，
数学符号，控制符号等共 128个字符。
汉字
GB2312－ 80标准,1980年制定，用 2*7个二进制位表示一个汉字，共有 6763个汉字和 850个符号。
ISO10646标准，中、日、韩均可，已批准为国际标准，
16位编码,2万多汉字。
数据 数据库的结构化数据，表格
2009-7-29 16
音频
音频 (Audio)在 15Hz－ 20KHz频率范围内。
声源：麦克风、磁带录音、无线电与电视、
CD
音频信号的数字化处理
采样 Sampling即将模拟信号变换成数字化信号。
以下以正弦波为例，根据采样原理，采样频率高于或等于信号最高效频的 2倍。
2009-7-29 17
音频信号的采样原始波形采样数据采样频率重建波形
2009-7-29 18
音频文件的大小及其计算
量化是将采样值整数化，用二进制表示，如用 8位即有 256个量化级。
数字录音文件大小的计算公式：
S=F× T× (r/8)× C
其中,S为文件大小，以字节来计算
F为采样频率，以 Hz来计
T为录音时间，以秒来记
r为分辨率，二进制位数计，如 8位,16位
C为声道数
2009-7-29 19
MIDI(Musical Instrument Digital Interface)
乐器数字接口，它提供详细描述乐谱的协议如音符、音调、乐器等，它实际上是用来记录音乐过程的一串符号命令。通过合成器来播放，
因此：
计算机＋合成器＋作曲软件＝音乐
2009-7-29 20
图形计算机图形（ computer graphic）是用计算机产生、储存、处理物体的物理模型和它们的画面。
计算机图形学＝数据结构＋图形算法＋语言
2009-7-29 21
图像
从名称来看，图像是用于描绘或用于摄影等方法得到的外在景物的相似物；像是直接或间接（如拍照）
得到的人或物的视觉印象，一般讲，能为人类视觉系统所感觉的信息形式或人们心目中的有形想象。
从技术角度来看，图像在计算机上以位图（ bitmap）
表示，实际上是自然的二维光场分布经过空间和亮度的散化，将它考虑为一个矩阵，矩阵中的任一元素，对应于图像中的一点，称为 pixel（像元－或像素），而这个点相应的值反映它的灰度（或颜色）
等级，这是数字化后的结果。
2009-7-29 22
图形与图像的关系
图像是位图，以像素 pixels为基础，图像更逼真，而图形更抽象。
显示过程 图形－图元顺序、链码、与图元数据有关；图像－扫描，从左自右、从上到下
图形变换无失真，如发大无失真；
图象变换会失真，如放大会产生阶梯效应
图形能以图元为单位进行属性修改、编辑等操作，而图像只能对像素或分块进行处理
2009-7-29 23
图形、图像与识别的关系如图：
图像抽象文字符号图形真实感描述图像分析与模式识别图像处理
2009-7-29 24
动画
基本概念
动画（ Animation)是运动的图画
帧动画（ Frame animation):由一幅幅连续的画面组成的图像或图形序列（每秒 25幅）
造型动画（ Cast-based animation),对每个活动的对象分别进行设计，赋予每个对象不同特征（如形状大、小与颜色等），然后用这些对象组成完整的画面。
二维动画：画面仅是二维的透视效果，并无独立的空间造型。
制作过程：关键帧 +插值
特点：色彩鲜艳，清晰度高，容易掌握与使用，如：
Animator Pro.等
三维动画：用三维框架（三视图）来创造出空间形象
设计过程：建模 －动作设计－材质选取－光源设定－摄像机设定－着色生成－录演播
特点：立体感强，动态效果逼真，如 3DMax,Maya等
2009-7-29 25
数字视频
数字视频是一系列相关图像，其特点是：
速度高，每帧 1/25秒，每点越 31ns
容量大,B=h.w.q.c.f.s(垂直、水平、量化、
波段、频率、专门算法）
2009-7-29 26
多媒体压缩技术
为什么要对多媒体文件进行压缩
压缩的主要方法
举例：哈夫曼编码（ Huffman Codes） ;游程码（ RLE）
2009-7-29 27
文件压缩的目的
无损压缩：仙农把数据看作是信息和冗余度的组合。 压缩的主要目的就是减小或者消除数据中的冗余度 。它是一个可逆过程。
有损压缩：利用人类视觉听觉上的特性，在不影响人们接受信息的前提下，来减小数据的信息量，从而达到 减少数据量 的目的。它是不可逆的过程。
2009-7-29 28
压缩的主要方法介绍
音频的压缩方法：
无损压缩,HUFFMAN;RLC
有损压缩,PCM;DPCM;ADPCM;LPC(AC-3)
视频的压缩方法：
无损压缩,HUFFMAN;RLE;LZW
有损压缩,DCT;JPEG;MPEG;H.261
2009-7-29 29
HUFFMAN编码介绍
哈夫曼编码是使用事件频度或者事件概率作为压缩码基，如果 P(x)是概率,X随输入流而产生，
若 P(x)大时赋较短的码,P(x)小时赋较长的码。
一个相对简单的算法如下：
A，令 OP是事件概率的集合
B，令 Pi与 Pj在 OP内是最小的两个概率（ Pi<Pj）
B1，产生一个分支节点 Nij作为对 Pi与 Pj的双亲
B2，标出分支 Nij Pi为 0,Nij Pj为 1
B3，令 P(Nij)＝ Pi＋ Pj；从 OP中删除 Pi和 Pj并臵
P(Nij)于 OP
C,如果 OP中包含一个 P，停止，否则 goto b
2009-7-29 30
HAFFMAN编码举例
Intensity X Occurrence probability
P(x)
I1=01101110 0.35
I2=10011000 0.25
I3=01010100 0.20
I4=11100011 0.12
I5=00001000 0.05
I6=11001011 0.0335 1
25 0
60 1
20 1 40 0
12 1 20 0
5 1 8 0
3 0
root
2009-7-29 31
HAFFMAN编码举例
例如一条扫描线 I4 I1 I1 I2 I1 I2 I6
11100011 01101110 01101110 10011000 01101110 1001110 11001011
进行编码以后相应的码流变成为：
001 11 11 10 11 10 0000
这里从 7个字节变成为两个多一点字节，从而实现了数据的压缩。
2009-7-29 32
Run－ Length Encoding（ Suppression of
repeating Characters）
REL（游程码）将一串迭代字符（重复符号）
表示为该字符上所迭代的次数。
适用于重复字符较多的数据，如果重复字符很少则可能会导致文件数据量的增加。
2009-7-29 33
REL编码举例
例一,11111100000003333
编码结果为,617043这里减少了 11个字符
例二,000023300034422000001111211000
编码结果为,401223301324225041122130
以上两例子为有利压缩
例三,1020304050607080
编码结果为,11101210131014101510161017101810
例三则为不利压缩的代表
2009-7-29 34
计算机组成结构
CPU 输出设备存储器输入设备表示媒体 存储媒体展现媒体展现媒体感觉媒体感觉媒体表示媒体传输媒体
