第二章 多媒体：媒体和数据流
媒体 (Media)
多媒体系统的主要属性
多媒体系统的定义
传统数据流特性
连续媒体数据流特性
计算机中的常见媒体
多媒体的综合特性
2.1 媒体 (Media)
媒体的定义
承载信息的载体
信息发布和表示的形式
媒体的分类
媒体可用不同标准分类，现用感知、表示、表现、存储、传输和信息交换对其进行分类
表示值和表示空间 (Representation
Values & Representation Space)
表示维度 (Representation Dimensions)
2.1.1 感知媒体 (Perception Media)
直接作用于人的感官而产生感觉
帮助人类感知环境：
人们怎样在计算机环境中感知信息？
感知信息靠五大感觉：
视觉、听觉、触觉、嗅觉、味觉
计算机看感知信息用可视介质：
文本、图形、图像、动画、视频计算机听感知信息用可听介质：
语音、音乐、噪声
2.1.2 表示媒体
(Representation Media)
对感知媒体进行有效处理、加工和传输
信息在计算机内的表示：
信息怎样编码？
计算机内媒体信息的编码是人造的媒体
文本字符,ASCII,EBCDIC,T.101,GB2312
图形,CEPT或 CAPTAIN视频正文标准,GKS图形标准
音频,PCM（每个样本用 16位线性量化）
图像,ISO group 3,JPEG,JBIG,H.261
A/V混合序列,TV标准格式 PAL,NTSC,SECAM（计算机中用 MPEG格式保存）
2.1.3 表现媒体
(Presentation Media)
又称显示媒体 (Display Media)
信息输入和输出的工具和设备：
计算机通过哪种媒体发送或接收信息？
完成感知媒体和用于通信的电信号之间变换的媒体
OUT：纸张、显示器（ CRT或 LCD）、扬声器、打印机
IN：键盘、鼠标、相机、话筒、摄像机
2.1.4 存储媒体 (Storage Media)
存放表示媒体的物理实体
存储信息的数据载体：
信息被存储在何种媒体？
存储媒体实例
缩微胶片
磁带
磁鼓
磁盘（软盘、硬盘）
CD-ROM
移动存储器
2.1.5 传输媒体 (Transfer Media)
传输数据信息
能够连续传输数据的信息载体：
信息将在什么媒体上传输？
传输媒体实例
网络传输介质（线、缆等物质介质）
无线传输（波，自由空间）
2.1.6 信息交换媒体
(Information Exchange Media)
存储并传输数据信息
包括所有传输和存储信息的载体（存储媒体和传输媒体）：
哪种信息用在不同地方之间进行信息交换？
信息通过传输介质流动
信息交换媒体实例
电子邮件系统（由存储和传输媒体配合实现）
2.1.7 表示值和表示空间
表示值
确定不同媒体的信息表示
文本媒体：一系列字符组成的句子（可视方式）
语音媒体：以声波的形式表示语句（由语音表示文本媒体）
有些表示值是媒体自身包含的，即能由接收者适当解释：温度、味觉和嗅觉
有些媒体需要预定由用户认可的符号集（文本、语言、
姿势）
表示值可以是连续值或一系列离散值
连续值：声波、电磁波
离散值：文本字符、音频采样值
2.1.7 表示值和表示空间
表示空间
每一种媒体定义了涉及五种感觉的表示值和表示空间
视觉的表示空间：计算机控制的投影、显示屏幕，纸
听觉的表示空间：立体声系统
表示空间也可能是信息输出表示媒体的一部分
2.1.8 表示维度
表示空间：一维或多维组成
二维：计算机屏幕
三维：全息照相、立体声
时间作为一维发生在每一种表示空间，对多媒体系统具有核心意义
多媒体按其表示空间的时间作用分类
时间无关媒体
时间依赖媒体
2.1.8 表示维度
时间无关媒体（离散媒体）
媒体的信息是由一系列独立元素或没有时间成分的连续元素组成，数据的有效性、正确性不依赖于任何时间状态：文本、图像
有些媒体可能在数值上是离散的，但时间上是连续的
2.1.8 表示维度
时间依赖媒体
媒体的值是随时间变化的。信息表达：独立值、值产生的时间。语义学上依赖于离散值或连续值相对改变的程度：温度传感器的值
数据的有效性及正确性依赖于时间条件：媒体的处理是有严格时限的
连续媒体：周期性发生的时间依赖媒体
一系列周期性发生的单个图像：自然源和人工源的视频
一些列带有周期性为的音频采样值：序列数字化声波采样存储的音频
各种传感器的信号：气压、温度、湿度、压力和放射
2.1.8 表示维度
时间依赖媒体
非连续媒体：非周期性发生的时间依赖媒体（表示值的不连续序列）
实时系统的控制命令
带有共享视窗的协同应用中信息传输（鼠标位置）
时间依赖媒体、离散媒体和连续媒体的概念与信息的计算机内部表示无关，而与观者或听者的感觉有关
电影：连续媒体，由一系列离散值组成，这些值在表示空间根据时间的变化而变化，当图像显示的帧速率达到 15帧 /秒时，
人眼的惯性将导致画面连续的印象第二章 多媒体：媒体和数据流
媒体 (Media)
多媒体系统的主要属性
多媒体系统的定义
传统数据流特性
连续媒体数据流特性
计算机中的常见媒体
多媒体的综合特性
2.2 多媒体系统的主要属性
媒体的结合
连续媒体与离散媒体都被应用
数量和质量：文本和图形结合就不是多媒体
独立性
媒体相互独立的级别
视音频信息是独立的，但又有紧密联系（磁带公共存储介质耦合）
DAT磁带机音频信号与计算机文本相结合满足媒体独立性的要求
2.2 多媒体系统的主要属性
计算机支持的集成
媒体独立性提供了以任意形式结合媒体的可能性
计算机控制的独立媒体的数据能被集成以完成某种功能（时间、空间和语义同步关系被包含）
媒体处理的灵活性：用文本和图形表现的信息可用视音频（与文本相结合）来表现
多媒体系统必须能够通信
计算机互联：多媒体信息分发超越计算机边界
分布式环境适用于多媒体应用第二章 多媒体：媒体和数据流
媒体 (Media)
多媒体系统的主要属性
多媒体系统的定义
传统数据流特性
连续媒体数据流特性
计算机中的常见媒体
多媒体的综合特性
2.3 多媒体系统的定义
多媒体是由多种表示媒体按照特定的时空同步关系组合在一起
多媒体服务特指能处理多种表示媒体的服务（ ITU定义）
多媒体系统是由计算机控制，对独立信息进行产生、操作、表现、存储和通信的集成，它至少通过一种连续媒体（时间依赖）
和一种离散媒体（时间无关）进行编码第二章 多媒体：媒体和数据流
媒体 (Media)
多媒体系统的主要属性
多媒体系统的定义
传统数据流特性
连续媒体数据流特性
计算机中的常见媒体
多媒体的综合特性
2.4 传统数据流特性
数据流：以时间依赖风格传递的单个分组序列
连续媒体数据流：电话系统中连续传输的语音信号
离散媒体数据流：数据库支持的检索
传输模式：异步传输模式、同步传输模式、
等时传输模式
2.4.1 异步传输模式
(Asynchronous Transfer Mode)
没有时间限制的通信，分组尽快到达接收端（电子邮件，以太网）
离散媒体信息可作为异步数据流传送，但如果与连续媒体同步化定时连接，则也包括有时间限制，连续媒体选择异步传输时，
附加技术要提供时间限制
2.4.2 同步传输模式
(Synchronous Transfer Mode)
为数据流的每个分组定义了一个最大的端到端时延
视频数据的未压缩传输具有高数据传输率和高的最大端到端时延（分别为 140Mb/s和 1s）
接收端需要较大的缓冲区
按照上例的数据需要 17.5MB
2.4.3 等时传输模式
(Isochronous Transfer Mode)
为数据流的每个分组定义了最大和最小端到端时延，每个分组的时延抖动被限制
接收端存储缓冲区减小，但要把数据路由经过的从起点到终点间所有中间部件中的存储都考虑在内第二章 多媒体：媒体和数据流
媒体 (Media)
多媒体系统的主要属性
多媒体系统的定义
传统数据流特性
连续媒体数据流特性
计算机中的常见媒体
多媒体的综合特性
2.5 连续媒体的数据流特性
相邻分组完整传输之间的时间间隔
相邻分组大小的变化
相邻分组之间的连续性（相关性）
实例
2.5.1 相邻分组完整传输之间的时间间隔
强周期性的数据流：相邻分组的时间间隔是固定的（即 T为常量），理想情况下抖动值为零
传统电话交换系统中 PCM编码的语音
T t
图 2.1 强周期数据流（ T为两个相邻包之间的时间间隔），即两个相邻包之间有相同长度的时间间隔
2.5.1 相邻分组完整传输之间的时间间隔
弱周期性的数据流：相邻分组的时间间隔不是固定的，但可用周期函数来描述
T
tT
1 T1T2 T2T3
图 2.2 弱周期数据流，即相邻两个包之间的时间间隔具有周期性
2.5.1 相邻分组完整传输之间的时间间隔
非周期性的数据流：除上述两种情况以外的数据流
多媒体会议系统、共享窗口中用户鼠标状态与位置在所有参与者之间分发
周期性发送：极高冗余
非周期性发送：位置或状态发生变化时交换数据
T1 t
图 2.3 非周期数据流，其时间间隔既不满足强周期条件也不满足弱周期条件
T2 Tn
2.5.2 相邻分组大小的变化
强规律数据流：数据流的生存周期中，所有分组的数据量是固定大小的
取自摄像机中的非压缩视频流
取自音频 CD中的音频流
D1
D1t
T
图 2.4 强规律数据流，所有包的大小都一样
2.5.2 相邻分组大小的变化
弱规律数据流：分组的数据大小呈周期性变化
D1
D3
D2
t
TD2
D1
D3
图 2.5 弱规律数据流，包的数据量呈周期性变化
2.5.2 相邻分组大小的变化
弱规律数据流：分组的数据大小呈周期性变化
压缩编码的图像每两秒钟周期性发送，在两秒周期当中传送附加的分组，它包括两相邻压缩图像之间的不同信息
MPEG压缩视频流分成 I,P,B帧图像（每帧图像所建立数据量的 I:B:P一般是确定的，常为 10:1:2）
I帧：压缩的独立图像，帧内图
P帧：预测图
B帧：双向插补图 图像的差别
2.5.2 相邻分组大小的变化
无规律数据流：分组数据量不是固定大小也不是按周期函数变化
压缩数据流分组的位率是变化的，从单个图像派生出来的独立分组的大小取决于先前变化图像的内容，这样建立的信息单元的大小依赖于视频序列，因而数据流是不规则的
D1
D3
D2
Dnt
图 2.6 无规律数据流，包的数据量既不恒定也没有周期性的变化规律
2.5.3 相邻分组之间的连续性
（相关性）
数据包在传输时，相邻分组之间是否有间隔，可以用来衡量某种系统资源（如网络）
的利用率
连续数据流
非连续数据流
2.5.3 相邻分组之间的连续性
（相关性）
连续数据流：所有分组无中间间隔地传送
（即连续流），数据的附加信息（如错误控制码）被考虑，系统资源 100％被利用和优化使用，可以获得最大的数据吞吐量
ISDN的 B通道 64Kb/s音频数据流
tD1 D2 D3
D
D4 Dn
图 2.7 连续的数据流，传输时包与包之间没有空隙
2.5.3 相邻分组之间的连续性
（相关性）
非连续数据流：信息单元之间存在间隔
（即离散流），当连续流通过容量较高的通道时，在分组之间产生间隔
用 JPEG编码，平均吞吐量为 1.24Mb/s的数据流在
FDDI网中传送时分组间将产生间隔
tD1 D2
D
D3 Dn
图 2.8 不连续的数据流，包之间存在空隙
2.5.4 实例
从视频摄像机中获取的信号，无压缩量化得到的数据流是强周期性，强规律性和连续性的，分组之间没有间隔；在压缩数字化处理后可能是弱周期性和弱规律性的，
在 16Mb/s的 Token Ring上传输的是非连续性的第二章 多媒体：媒体和数据流
媒体 (Media)
多媒体系统的主要属性
多媒体系统的定义
传统数据流特性
连续媒体数据流特性
计算机中的常见媒体
多媒体的综合特性
2.6 计算机中的常见媒体嗅觉、味觉等触觉：压力，运动，传感器 /发生器，温度,VR等听觉：时间依赖的连续媒体：声音（声响，语言，音乐）
视觉其它表示为视觉的媒体：音乐转化为音谱，哑语用姿势表示动态（时间依赖）
静态图像文字图形图像图形
2.6.1 表示为视觉的静态媒体
图像
位图图像，其基本单元是像素
黑白 /灰度、彩色显示、分辨率、颜色数、调色板、
数据量
数据量＝分辨率 × 图像（颜色）深度 ÷ 8
＝垂直 h像素 × 水平 w像素 × 颜色深度 c÷ 8
图像经过抽象化（矢量化）可得到图形，矢量化可由计算机自动或人工进行，是用来描述产生图形上点的过程和方法
2.6.1 表示为视觉的静态媒体
图形
矢量图形，其基本单元是图元
图形的特性
对图像抽象的结果
图形矢量化使得有可能对图中各部分分别进行控制
图形的产生需要时间
与图像的关系
图形矢量概念，图元图形命令；图像位图概念，像素
图元顺序显示图形；像素顺序显示图像
图形变化无失真；图像变换有失真
图形是更加抽象的图像
2.6.1 表示为视觉的静态媒体
文本（上下文相关特性的符号流）
符号
描述量，语言，数据，标识，事物或事件，用图形表示的数据曲线，数据库的关系数据等，数值、字符等有结构的符号组，是比图形更高一级的抽象，与使用着的知识有关，表达精确度高
文本：流结构形式，对文本控制不影响信息本身的表达，显示改变文本属性不影响本身的含义，处理应遵循内部结构
语言文字
文本多样化依赖文字（字的格式，字的定位，字体，字的大小）的变化及组合
2.6 计算机中的常见媒体嗅觉、味觉等触觉：压力，运动，传感器 /发生器，温度,VR等听觉：时间依赖的连续媒体：声音（声响，语言，音乐）
视觉其它表示为视觉的媒体：音乐转化为音谱，哑语用姿势表示动态（时间依赖）
静态图像文字图形图像图形
2.6.2 表示为视觉的动态媒体
图像
动态视频：单帧图像是真实图像（时间连续性，帧间强相关，实时要求高，数据量很大，帧速快，图像质量高）
制式,NTSC (525/60),PAL (625/50),SECAM (625/50)
比值表示扫描线行数 /帧频
颜色空间,R,G,B三彩空间； Y（宽度）,U,V（均为色差）； H（色调）,S（饱和度）,I（强度），它们之间可相互变换； Y,I,Q（ NTSC基础）
三维真实感动画：单帧图像是计算机生成的真实感动画，由三维动画＋真实光照效果和质感等组成
※ 背景资料
NTSC (National Television Committee)
美国 1953,525/60
颜色载波正交调幅，帧频为 30帧 /s,525线，工作频率为 60Hz，频道总带宽为 6.0MHz
4.2MHz给亮度 Y,I=R-Y为 1.0MHz
Q=B-Y为 0.6MHz，即色度带宽为 1.6MHz
※ 背景资料
PAL (Phase Alternating Line)
相交替行，西德 1962,625/50
正交调幅，颜色载波不加抑制，用 Y,U,V表示
颜色载波频率如下计算：
先颜色载波 × 色差信号 U
+ 后颜色载波偏移 90度 × 色差信号 V
再加入调制的 Y信号相位（减少相位误差）
标准相差幅度调制
※ 背景资料
SECAM (Sequential Couleur Avec Memoire)
法国,625/50
序列颜色和存储
调频
帧频为 25帧 /s,625线
2.6.2 表示为视觉的动态媒体
图形
二维动画（平面型）
图元为线、曲线、矩形、圆、填充区
工程建筑，电子线路，军事等高线地图
三维动画（二维动画＋空间形象）
在二维 CRT显示器上显示三维动画
三维地图,CAD，仿真系统,VR
2.6 计算机中的常见媒体嗅觉、味觉等触觉：压力，运动，传感器 /发生器，温度,VR等听觉：时间依赖的连续媒体：声音（声响，语言，音乐）
视觉其它表示为视觉的媒体：音乐转化为音谱，哑语用姿势表示动态（时间依赖）
静态图像文字图形图像图形
2.6.3 表示为听觉的声音媒体
声音媒体是时间依赖的连续媒体
声音媒体的种类：波形媒体，语音，音乐
声音的三要素
音频：频率
响度：振幅
音色：基音（频率）＋泛音（响度）
2.6.3 表示为听觉的声音媒体
声音媒体是时间依赖的连续媒体
声音的质量
波形声音：采样频率（声波被等分的份数）
采样精度（信息量的二进制表示位）
声道数（声音产生的波形数）
语言：可懂度，清晰度，自然度
音乐：保真度，空间感，音响效果
声音的连续谱
周期信号：线性谱
非周期信号：连续谱
2.6.3 表示为听觉的声音媒体
声音媒体是时间依赖的连续媒体
声音的方向感：立体声效果和空间感效果
声音是连续的时基媒体
音频技术：声音的采集、数字化、压缩 /解压、播放第二章 多媒体：媒体和数据流
媒体 (Media)
多媒体系统的主要属性
多媒体系统的定义
传统数据流特性
连续媒体数据流特性
计算机中的常见媒体
多媒体的综合特性
2.7 多媒体的综合特性
媒体之间的相互性质
多媒体的交互特性
媒体的转换
2.7.1 媒体之间的相互性质
静止和运动 (Still and moving)
静止：媒体在表现时间上不受媒体本身的限制，可保留任意的时间（图像、文本、图形）
运动：媒体在表现过程中与时间紧密相连，时间将决定其保留时间（视频、动画、声音）
空间和时间 (spatial and temporal)
时间：表现上需要时间；媒体的时间属性确定了该媒体对象所处的时间坐标点
空间
表现上需要空间：显示空间，听觉空间与可视媒体的同步等
媒体之间相互的空间关系：将信息在空间上进行有序组织
2.7.1 媒体之间的相互性质
暂时性和永久性 (transient and persistence)
暂时性中间数据不能持久，但没它们表现的时间过程无法完成
永久性数据是固定的：如存储形式（文件中的记录、
数据库中的元组和对象等）
2.7.1 媒体之间的相互性质
媒体的单位与量级文本 视频图像 图形 语音 静态图像元素级 字符 像素 向量 样点 像素中间级 词、句 光栅 音素词帧级 页 图像 图元 句 图像复合级 章、节,文献 节段、影 片 图段 段、演说 图像组表 2.1 媒体的单位和量级
2.7.1 媒体之间的相互性质
同步与异步 (sync and asyn)
同步与异步是媒体之间协调的关系形式
异步：时间上不能预知何时发生，无严格的限制
同步：媒体之间严格的时间关系加以约束，同步的时间粒度要求是实时性要求
一对一和一对多媒体
媒体交互形式
一对一：计算机上普通方式
一对多：大众传媒（广播、电视、书报）
一对多和多对多：多媒体信息系统，多媒体交互式影片
2.7.2 多媒体的交互特性
交互的过程
交互不仅是指丰富多彩的表现，而且是人与信息系统交换信息的全过程
交互具有多层含义
数据交换
数据解释：知识辅助
媒体内容证明：人工智能辅助
2.7.3 媒体的转换
格式转换
形式转换
媒体转换的两个重要过程
合成：语言合成
识别：语言识别，文字识别
媒体 (Media)
多媒体系统的主要属性
多媒体系统的定义
传统数据流特性
连续媒体数据流特性
计算机中的常见媒体
多媒体的综合特性
2.1 媒体 (Media)
媒体的定义
承载信息的载体
信息发布和表示的形式
媒体的分类
媒体可用不同标准分类，现用感知、表示、表现、存储、传输和信息交换对其进行分类
表示值和表示空间 (Representation
Values & Representation Space)
表示维度 (Representation Dimensions)
2.1.1 感知媒体 (Perception Media)
直接作用于人的感官而产生感觉
帮助人类感知环境：
人们怎样在计算机环境中感知信息？
感知信息靠五大感觉：
视觉、听觉、触觉、嗅觉、味觉
计算机看感知信息用可视介质：
文本、图形、图像、动画、视频计算机听感知信息用可听介质：
语音、音乐、噪声
2.1.2 表示媒体
(Representation Media)
对感知媒体进行有效处理、加工和传输
信息在计算机内的表示：
信息怎样编码？
计算机内媒体信息的编码是人造的媒体
文本字符,ASCII,EBCDIC,T.101,GB2312
图形,CEPT或 CAPTAIN视频正文标准,GKS图形标准
音频,PCM（每个样本用 16位线性量化）
图像,ISO group 3,JPEG,JBIG,H.261
A/V混合序列,TV标准格式 PAL,NTSC,SECAM（计算机中用 MPEG格式保存）
2.1.3 表现媒体
(Presentation Media)
又称显示媒体 (Display Media)
信息输入和输出的工具和设备：
计算机通过哪种媒体发送或接收信息？
完成感知媒体和用于通信的电信号之间变换的媒体
OUT：纸张、显示器（ CRT或 LCD）、扬声器、打印机
IN：键盘、鼠标、相机、话筒、摄像机
2.1.4 存储媒体 (Storage Media)
存放表示媒体的物理实体
存储信息的数据载体：
信息被存储在何种媒体？
存储媒体实例
缩微胶片
磁带
磁鼓
磁盘（软盘、硬盘）
CD-ROM
移动存储器
2.1.5 传输媒体 (Transfer Media)
传输数据信息
能够连续传输数据的信息载体：
信息将在什么媒体上传输？
传输媒体实例
网络传输介质（线、缆等物质介质）
无线传输（波，自由空间）
2.1.6 信息交换媒体
(Information Exchange Media)
存储并传输数据信息
包括所有传输和存储信息的载体（存储媒体和传输媒体）：
哪种信息用在不同地方之间进行信息交换？
信息通过传输介质流动
信息交换媒体实例
电子邮件系统（由存储和传输媒体配合实现）
2.1.7 表示值和表示空间
表示值
确定不同媒体的信息表示
文本媒体：一系列字符组成的句子（可视方式）
语音媒体：以声波的形式表示语句（由语音表示文本媒体）
有些表示值是媒体自身包含的，即能由接收者适当解释：温度、味觉和嗅觉
有些媒体需要预定由用户认可的符号集（文本、语言、
姿势）
表示值可以是连续值或一系列离散值
连续值：声波、电磁波
离散值：文本字符、音频采样值
2.1.7 表示值和表示空间
表示空间
每一种媒体定义了涉及五种感觉的表示值和表示空间
视觉的表示空间：计算机控制的投影、显示屏幕，纸
听觉的表示空间：立体声系统
表示空间也可能是信息输出表示媒体的一部分
2.1.8 表示维度
表示空间：一维或多维组成
二维：计算机屏幕
三维：全息照相、立体声
时间作为一维发生在每一种表示空间，对多媒体系统具有核心意义
多媒体按其表示空间的时间作用分类
时间无关媒体
时间依赖媒体
2.1.8 表示维度
时间无关媒体（离散媒体）
媒体的信息是由一系列独立元素或没有时间成分的连续元素组成，数据的有效性、正确性不依赖于任何时间状态：文本、图像
有些媒体可能在数值上是离散的，但时间上是连续的
2.1.8 表示维度
时间依赖媒体
媒体的值是随时间变化的。信息表达：独立值、值产生的时间。语义学上依赖于离散值或连续值相对改变的程度：温度传感器的值
数据的有效性及正确性依赖于时间条件：媒体的处理是有严格时限的
连续媒体：周期性发生的时间依赖媒体
一系列周期性发生的单个图像：自然源和人工源的视频
一些列带有周期性为的音频采样值：序列数字化声波采样存储的音频
各种传感器的信号：气压、温度、湿度、压力和放射
2.1.8 表示维度
时间依赖媒体
非连续媒体：非周期性发生的时间依赖媒体（表示值的不连续序列）
实时系统的控制命令
带有共享视窗的协同应用中信息传输（鼠标位置）
时间依赖媒体、离散媒体和连续媒体的概念与信息的计算机内部表示无关，而与观者或听者的感觉有关
电影：连续媒体，由一系列离散值组成，这些值在表示空间根据时间的变化而变化，当图像显示的帧速率达到 15帧 /秒时，
人眼的惯性将导致画面连续的印象第二章 多媒体：媒体和数据流
媒体 (Media)
多媒体系统的主要属性
多媒体系统的定义
传统数据流特性
连续媒体数据流特性
计算机中的常见媒体
多媒体的综合特性
2.2 多媒体系统的主要属性
媒体的结合
连续媒体与离散媒体都被应用
数量和质量：文本和图形结合就不是多媒体
独立性
媒体相互独立的级别
视音频信息是独立的，但又有紧密联系（磁带公共存储介质耦合）
DAT磁带机音频信号与计算机文本相结合满足媒体独立性的要求
2.2 多媒体系统的主要属性
计算机支持的集成
媒体独立性提供了以任意形式结合媒体的可能性
计算机控制的独立媒体的数据能被集成以完成某种功能（时间、空间和语义同步关系被包含）
媒体处理的灵活性：用文本和图形表现的信息可用视音频（与文本相结合）来表现
多媒体系统必须能够通信
计算机互联：多媒体信息分发超越计算机边界
分布式环境适用于多媒体应用第二章 多媒体：媒体和数据流
媒体 (Media)
多媒体系统的主要属性
多媒体系统的定义
传统数据流特性
连续媒体数据流特性
计算机中的常见媒体
多媒体的综合特性
2.3 多媒体系统的定义
多媒体是由多种表示媒体按照特定的时空同步关系组合在一起
多媒体服务特指能处理多种表示媒体的服务（ ITU定义）
多媒体系统是由计算机控制，对独立信息进行产生、操作、表现、存储和通信的集成，它至少通过一种连续媒体（时间依赖）
和一种离散媒体（时间无关）进行编码第二章 多媒体：媒体和数据流
媒体 (Media)
多媒体系统的主要属性
多媒体系统的定义
传统数据流特性
连续媒体数据流特性
计算机中的常见媒体
多媒体的综合特性
2.4 传统数据流特性
数据流：以时间依赖风格传递的单个分组序列
连续媒体数据流：电话系统中连续传输的语音信号
离散媒体数据流：数据库支持的检索
传输模式：异步传输模式、同步传输模式、
等时传输模式
2.4.1 异步传输模式
(Asynchronous Transfer Mode)
没有时间限制的通信，分组尽快到达接收端（电子邮件，以太网）
离散媒体信息可作为异步数据流传送，但如果与连续媒体同步化定时连接，则也包括有时间限制，连续媒体选择异步传输时，
附加技术要提供时间限制
2.4.2 同步传输模式
(Synchronous Transfer Mode)
为数据流的每个分组定义了一个最大的端到端时延
视频数据的未压缩传输具有高数据传输率和高的最大端到端时延（分别为 140Mb/s和 1s）
接收端需要较大的缓冲区
按照上例的数据需要 17.5MB
2.4.3 等时传输模式
(Isochronous Transfer Mode)
为数据流的每个分组定义了最大和最小端到端时延，每个分组的时延抖动被限制
接收端存储缓冲区减小，但要把数据路由经过的从起点到终点间所有中间部件中的存储都考虑在内第二章 多媒体：媒体和数据流
媒体 (Media)
多媒体系统的主要属性
多媒体系统的定义
传统数据流特性
连续媒体数据流特性
计算机中的常见媒体
多媒体的综合特性
2.5 连续媒体的数据流特性
相邻分组完整传输之间的时间间隔
相邻分组大小的变化
相邻分组之间的连续性（相关性）
实例
2.5.1 相邻分组完整传输之间的时间间隔
强周期性的数据流：相邻分组的时间间隔是固定的（即 T为常量），理想情况下抖动值为零
传统电话交换系统中 PCM编码的语音
T t
图 2.1 强周期数据流（ T为两个相邻包之间的时间间隔），即两个相邻包之间有相同长度的时间间隔
2.5.1 相邻分组完整传输之间的时间间隔
弱周期性的数据流：相邻分组的时间间隔不是固定的，但可用周期函数来描述
T
tT
1 T1T2 T2T3
图 2.2 弱周期数据流，即相邻两个包之间的时间间隔具有周期性
2.5.1 相邻分组完整传输之间的时间间隔
非周期性的数据流：除上述两种情况以外的数据流
多媒体会议系统、共享窗口中用户鼠标状态与位置在所有参与者之间分发
周期性发送：极高冗余
非周期性发送：位置或状态发生变化时交换数据
T1 t
图 2.3 非周期数据流，其时间间隔既不满足强周期条件也不满足弱周期条件
T2 Tn
2.5.2 相邻分组大小的变化
强规律数据流：数据流的生存周期中，所有分组的数据量是固定大小的
取自摄像机中的非压缩视频流
取自音频 CD中的音频流
D1
D1t
T
图 2.4 强规律数据流，所有包的大小都一样
2.5.2 相邻分组大小的变化
弱规律数据流：分组的数据大小呈周期性变化
D1
D3
D2
t
TD2
D1
D3
图 2.5 弱规律数据流，包的数据量呈周期性变化
2.5.2 相邻分组大小的变化
弱规律数据流：分组的数据大小呈周期性变化
压缩编码的图像每两秒钟周期性发送，在两秒周期当中传送附加的分组，它包括两相邻压缩图像之间的不同信息
MPEG压缩视频流分成 I,P,B帧图像（每帧图像所建立数据量的 I:B:P一般是确定的，常为 10:1:2）
I帧：压缩的独立图像，帧内图
P帧：预测图
B帧：双向插补图 图像的差别
2.5.2 相邻分组大小的变化
无规律数据流：分组数据量不是固定大小也不是按周期函数变化
压缩数据流分组的位率是变化的，从单个图像派生出来的独立分组的大小取决于先前变化图像的内容，这样建立的信息单元的大小依赖于视频序列，因而数据流是不规则的
D1
D3
D2
Dnt
图 2.6 无规律数据流，包的数据量既不恒定也没有周期性的变化规律
2.5.3 相邻分组之间的连续性
（相关性）
数据包在传输时，相邻分组之间是否有间隔，可以用来衡量某种系统资源（如网络）
的利用率
连续数据流
非连续数据流
2.5.3 相邻分组之间的连续性
（相关性）
连续数据流：所有分组无中间间隔地传送
（即连续流），数据的附加信息（如错误控制码）被考虑，系统资源 100％被利用和优化使用，可以获得最大的数据吞吐量
ISDN的 B通道 64Kb/s音频数据流
tD1 D2 D3
D
D4 Dn
图 2.7 连续的数据流，传输时包与包之间没有空隙
2.5.3 相邻分组之间的连续性
（相关性）
非连续数据流：信息单元之间存在间隔
（即离散流），当连续流通过容量较高的通道时，在分组之间产生间隔
用 JPEG编码，平均吞吐量为 1.24Mb/s的数据流在
FDDI网中传送时分组间将产生间隔
tD1 D2
D
D3 Dn
图 2.8 不连续的数据流，包之间存在空隙
2.5.4 实例
从视频摄像机中获取的信号，无压缩量化得到的数据流是强周期性，强规律性和连续性的，分组之间没有间隔；在压缩数字化处理后可能是弱周期性和弱规律性的，
在 16Mb/s的 Token Ring上传输的是非连续性的第二章 多媒体：媒体和数据流
媒体 (Media)
多媒体系统的主要属性
多媒体系统的定义
传统数据流特性
连续媒体数据流特性
计算机中的常见媒体
多媒体的综合特性
2.6 计算机中的常见媒体嗅觉、味觉等触觉：压力，运动，传感器 /发生器，温度,VR等听觉：时间依赖的连续媒体：声音（声响，语言，音乐）
视觉其它表示为视觉的媒体：音乐转化为音谱，哑语用姿势表示动态（时间依赖）
静态图像文字图形图像图形
2.6.1 表示为视觉的静态媒体
图像
位图图像，其基本单元是像素
黑白 /灰度、彩色显示、分辨率、颜色数、调色板、
数据量
数据量＝分辨率 × 图像（颜色）深度 ÷ 8
＝垂直 h像素 × 水平 w像素 × 颜色深度 c÷ 8
图像经过抽象化（矢量化）可得到图形，矢量化可由计算机自动或人工进行，是用来描述产生图形上点的过程和方法
2.6.1 表示为视觉的静态媒体
图形
矢量图形，其基本单元是图元
图形的特性
对图像抽象的结果
图形矢量化使得有可能对图中各部分分别进行控制
图形的产生需要时间
与图像的关系
图形矢量概念，图元图形命令；图像位图概念，像素
图元顺序显示图形；像素顺序显示图像
图形变化无失真；图像变换有失真
图形是更加抽象的图像
2.6.1 表示为视觉的静态媒体
文本（上下文相关特性的符号流）
符号
描述量，语言，数据，标识，事物或事件，用图形表示的数据曲线，数据库的关系数据等，数值、字符等有结构的符号组，是比图形更高一级的抽象，与使用着的知识有关，表达精确度高
文本：流结构形式，对文本控制不影响信息本身的表达，显示改变文本属性不影响本身的含义，处理应遵循内部结构
语言文字
文本多样化依赖文字（字的格式，字的定位，字体，字的大小）的变化及组合
2.6 计算机中的常见媒体嗅觉、味觉等触觉：压力，运动，传感器 /发生器，温度,VR等听觉：时间依赖的连续媒体：声音（声响，语言，音乐）
视觉其它表示为视觉的媒体：音乐转化为音谱，哑语用姿势表示动态（时间依赖）
静态图像文字图形图像图形
2.6.2 表示为视觉的动态媒体
图像
动态视频：单帧图像是真实图像（时间连续性，帧间强相关，实时要求高，数据量很大，帧速快，图像质量高）
制式,NTSC (525/60),PAL (625/50),SECAM (625/50)
比值表示扫描线行数 /帧频
颜色空间,R,G,B三彩空间； Y（宽度）,U,V（均为色差）； H（色调）,S（饱和度）,I（强度），它们之间可相互变换； Y,I,Q（ NTSC基础）
三维真实感动画：单帧图像是计算机生成的真实感动画，由三维动画＋真实光照效果和质感等组成
※ 背景资料
NTSC (National Television Committee)
美国 1953,525/60
颜色载波正交调幅，帧频为 30帧 /s,525线，工作频率为 60Hz，频道总带宽为 6.0MHz
4.2MHz给亮度 Y,I=R-Y为 1.0MHz
Q=B-Y为 0.6MHz，即色度带宽为 1.6MHz
※ 背景资料
PAL (Phase Alternating Line)
相交替行，西德 1962,625/50
正交调幅，颜色载波不加抑制，用 Y,U,V表示
颜色载波频率如下计算：
先颜色载波 × 色差信号 U
+ 后颜色载波偏移 90度 × 色差信号 V
再加入调制的 Y信号相位（减少相位误差）
标准相差幅度调制
※ 背景资料
SECAM (Sequential Couleur Avec Memoire)
法国,625/50
序列颜色和存储
调频
帧频为 25帧 /s,625线
2.6.2 表示为视觉的动态媒体
图形
二维动画（平面型）
图元为线、曲线、矩形、圆、填充区
工程建筑，电子线路，军事等高线地图
三维动画（二维动画＋空间形象）
在二维 CRT显示器上显示三维动画
三维地图,CAD，仿真系统,VR
2.6 计算机中的常见媒体嗅觉、味觉等触觉：压力，运动，传感器 /发生器，温度,VR等听觉：时间依赖的连续媒体：声音（声响，语言，音乐）
视觉其它表示为视觉的媒体：音乐转化为音谱，哑语用姿势表示动态（时间依赖）
静态图像文字图形图像图形
2.6.3 表示为听觉的声音媒体
声音媒体是时间依赖的连续媒体
声音媒体的种类：波形媒体，语音，音乐
声音的三要素
音频：频率
响度：振幅
音色：基音（频率）＋泛音（响度）
2.6.3 表示为听觉的声音媒体
声音媒体是时间依赖的连续媒体
声音的质量
波形声音：采样频率（声波被等分的份数）
采样精度（信息量的二进制表示位）
声道数（声音产生的波形数）
语言：可懂度，清晰度，自然度
音乐：保真度，空间感，音响效果
声音的连续谱
周期信号：线性谱
非周期信号：连续谱
2.6.3 表示为听觉的声音媒体
声音媒体是时间依赖的连续媒体
声音的方向感：立体声效果和空间感效果
声音是连续的时基媒体
音频技术：声音的采集、数字化、压缩 /解压、播放第二章 多媒体：媒体和数据流
媒体 (Media)
多媒体系统的主要属性
多媒体系统的定义
传统数据流特性
连续媒体数据流特性
计算机中的常见媒体
多媒体的综合特性
2.7 多媒体的综合特性
媒体之间的相互性质
多媒体的交互特性
媒体的转换
2.7.1 媒体之间的相互性质
静止和运动 (Still and moving)
静止：媒体在表现时间上不受媒体本身的限制，可保留任意的时间（图像、文本、图形）
运动：媒体在表现过程中与时间紧密相连，时间将决定其保留时间（视频、动画、声音）
空间和时间 (spatial and temporal)
时间：表现上需要时间；媒体的时间属性确定了该媒体对象所处的时间坐标点
空间
表现上需要空间：显示空间，听觉空间与可视媒体的同步等
媒体之间相互的空间关系：将信息在空间上进行有序组织
2.7.1 媒体之间的相互性质
暂时性和永久性 (transient and persistence)
暂时性中间数据不能持久，但没它们表现的时间过程无法完成
永久性数据是固定的：如存储形式（文件中的记录、
数据库中的元组和对象等）
2.7.1 媒体之间的相互性质
媒体的单位与量级文本 视频图像 图形 语音 静态图像元素级 字符 像素 向量 样点 像素中间级 词、句 光栅 音素词帧级 页 图像 图元 句 图像复合级 章、节,文献 节段、影 片 图段 段、演说 图像组表 2.1 媒体的单位和量级
2.7.1 媒体之间的相互性质
同步与异步 (sync and asyn)
同步与异步是媒体之间协调的关系形式
异步：时间上不能预知何时发生，无严格的限制
同步：媒体之间严格的时间关系加以约束，同步的时间粒度要求是实时性要求
一对一和一对多媒体
媒体交互形式
一对一：计算机上普通方式
一对多：大众传媒（广播、电视、书报）
一对多和多对多：多媒体信息系统，多媒体交互式影片
2.7.2 多媒体的交互特性
交互的过程
交互不仅是指丰富多彩的表现，而且是人与信息系统交换信息的全过程
交互具有多层含义
数据交换
数据解释：知识辅助
媒体内容证明：人工智能辅助
2.7.3 媒体的转换
格式转换
形式转换
媒体转换的两个重要过程
合成：语言合成
识别：语言识别，文字识别
