1
多媒体同步
2
主要内容
多媒体数据与约束关系
同步关系
同步机制的实现
3
多媒体数据与约束关系
根据时间在数据中的作用，多媒体数据分为
时间媒体或连续媒体（ Continuous Medium）
对时间敏感的媒体（如声音、视频），其值随时间而发生变化，信息表示与时间有关，这些媒体信息不仅用一系列值表示，而且要指出相应值出现的时间。
非时间媒体，或离散媒体（ Discrete Medium）或静态媒体
对时间不敏感的媒体，如文本和图形等则由一组独立的元素组成，不包含时间信息。
4
多媒体数据与约束关系
时间媒体数据可以看成是由逻辑数据单元
（ LDU,Logical Data Unit）构成的时间序列
（或称为流）（ 1）
LDU的划分（即所包含的内容）由具体的应用、编码方式、数据的存储方式和传输方式等因素决定。
5
多媒体数据与约束关系
时间媒体数据可以看成是由逻辑数据单元
（ LDU,Logical Data Unit）构成的时间序列
（或称为流）（ 2）
时间媒体数据的各个 LDU之间存在着固定的时间关系，例如以一帧图像为一个 LDU，则相继的 LDU之间的时间间隔为 40ms。
6
多媒体数据与约束关系
约束关系
基于内容的约束关系
空域约束关系
时域约束关系
7
多媒体数据与约束关系
时域约束关系（或称时域特征）
反映媒体对象在时间上的相对依赖关系，主要表现在如下两个方面
时间媒体对象的各个 LDU之间的相对时间关系；
各个媒体对象（包括时间媒体对象以及非时间媒体对象）
之间的相对时间关系。
例如，幻灯演示中包括音频（时间媒体）和幻灯片（非时间媒体）之间的时域同步。
8
多媒体数据与约束关系
时域约束关系（或称时域特征）
媒体对象之间的时域约束关系按照确立这种关系的时间来区分，可以分为：
实况 (Live)同步：在信息获取过程中建立的同步关系。
例如，人物口形动作和声音之间的配合，通常称为口形同步 (或唇音同步,Lip-Sync)；另有指针同步等。
合成 (Synthetic)同步：在分别获取不同的信息之后，
再人为地指定的同步关系。例如在一个导游系统中，根据用户即时键入的要求，系统自动地产生对某条旅游线的解说，介绍录像也同时播放。解说与录像之间的时间约束关系就是在运行过程中指定并执行的。
9
多媒体数据与约束关系
空域约束关系 (又称为布局 (Layout)关系 )
通常用来定义在同一时间点上的多媒体数据展示
(Presentation)过程中，不同媒体对象的空间位置关系。
在桌面出版系统中，空域关系通常表达为布局框架。布局框架生成后，就可往该框架中填入相应的内容。
10
多媒体数据与约束关系
基于内容的约束关系
基于内容的约束关系是指在用不同的媒体对象代表同一内容的不同表现形式之间所具有的约束关系。
内容关系定义了媒体对象间的依赖关系。
一个填充了数据的电子表单（ spreadsheet）和其数据的图形表示之间的相关性是内容关系的例子。在这种情况下，同样的数据以不同的方式表达。另一例子是用两个大小不同的图形来表示对同一数据的不同含义的解释。
11
多媒体数据与约束关系
同步分类
按 施加对象 分为媒体对象内（ intra-object）的同步和媒体对象间（ inter-object）的同步；
按照 同步的层次 分为系统同步、合成同步和用户级同步。
根据 多媒体系统的运行环境 分为单机环境下的同步和分布式环境（网络环境）下的同步。
12
主要内容
多媒体数据与约束关系
同步关系说明
同步机制的实现
13
同步关系说明
多媒体对象的同步关系说明描述多媒体对象中包含的各对象之间的时间依赖关系。
由于同步关系说明决定了整个表现，因此，它成了多媒体系统的重要问题。
14
同步说明包括的内容
同步说明应包括以下内容：
对象内的同步关系说明，主要用于媒体对象的展现
对象内同步的服务质量描述
媒体对象表现中对象间的同步关系说明
对象间同步的服务质量描述
15
基于时间的同步
基于间隔的同步说明
基于基准轴的同步说明
基于控制流的同步说明
基于 Petri网
16
基于时间的同步（一）
基于间隔的同步说明
在基于间隔的同步说明方法中，对象展现的持续时间被当作间隔。
两个时间间隔可以以 13种不同的方式同步，其中有些类型是互逆的（如前，后）。精简后得出 7种不可逆的同步类型，可使用这七种类型来说明两个媒体对象间的一个简单的同步说明方式。
17
18
基于时间的同步（二）
基于基准轴的同步说明
表现的开始和结束等表现事件被映射到所有对象的表现所共享的基准轴上。
基于全局定时器的同步
虚拟轴同步
19
基于时间的同步（二）
基于基准轴的同步说明
基于全局定时器的同步,所有单媒体对象被附加到由实际时间抽象而来的时间轴上。
20
基于基准轴的同步说明
虚拟轴同步 说明方式是时间轴同步说明方式的推广。
在这种说明方法中，可以为用户定义的度量单元说明坐标系统，然后根据这些坐标系统来执行同步说明，也可以使用几个虚拟轴来创建一个虚拟坐标空间。
21
采用虚拟轴实现同步关系说明两根时间轴和一个交互轴，后者以交互事件作为度量单元。
22
主要内容
多媒体数据与约束关系
同步关系说明
同步机制的实现
23
同步机制的实现
SMIL
Synchronized Multimedia Integration
Language，多媒体同步集成语言；
与 HTML的语法格式非常相似。
由 W3C（ World Wide Web Consortium）组织规定；
另有公司参与制定标准，有 Compaq,Gateway,IBM、
Microsoft,RealNetworks,Oratrix等。
已经渐渐称为网络多媒体的国际通用标准语言。
24
同步机制的实现
SMIL
25
同步机制的实现
SMIL
SMIL能够简化交互式音视频展现的创作过程。 SMIL典型的应用是“丰富的媒体（ rich media）”或多媒体的展现，
这些应用将图像、文本或其他类型的媒体集成在流式音频和视频中。
操纵（集成）多媒体片断；
对多媒体片断的有机的、智能的组合；
规定多媒体片断（包括声音文件、视频文件、动画、图片、
文字等）在什么时候、在什么地方、以什么样的方式播放。
集成、组合、演示布局、播放控制、同步控制、交互控制、
智能流、纯文本编辑等功能。
26
SMIL技术概述
SMIL的特色
类似 HTML的标记式语言，非常易懂；
可在低频宽网络环境下，展现如电视节目播放效果的网页特效；
整合声音、影像、文字和图片等各种多媒体格式于同一个档案；
使用简单的编辑器即可编辑 SMIL文件，使用者不需使用复杂的 Script语言或转换内容格式即可产生丰富又同步的多媒体内容
27
SMIL技术概述
SMIL的缺点
全面支持 SMIL2.0的播放器太少 ；
在 *.smil文件 中 用的多媒体 的格式 必须考虑 到播放器所能支持的 格式；
中文的支持能力有限；
制作的工具匮乏，目前仍没有发现好的编辑
SMIL的软件 。
28
SMIL的基本语法
编辑 SMIL文件的注意事项
保存 SMIL文件的后缀名为,.smil” ；
建议 用 Windows的记事本编辑；
在编辑过程种,需在英文 状态下编辑 。
也就是不要 打开 中文 输入 法。
因为 SMIL播放器不 认识 中文的 标点符号。
29
SMIL的基本语法
SMIL示例 1
30
RealText
RealText是纯文本类型的语言
以,rt 为扩展名的文本文件；
标记性语言，用 Windows的记事本编辑；
用 RealPlayer播放；
可以通过 SMIL集成，组成流式多媒体节目；
可以发布在 RealServer或 WebServer上。
31
RealPix
使用 RealPix，可以用静态图片,JPG,.GIF,.PNG创建流式的幻灯片，可以定义图片之间的过度效果，如淡入淡出、擦除效果等。
RealPix幻灯片是以（,rp）为扩展名的纯文本文件。
RealPix可以将幻灯片以单独的流播出，也可以用 SMIL将幻灯片与其它媒体集成在一起。
32
RealPix
RealPix的优势
兼容性好。 RealPix兼容 RealOne以前版本的 RM播放器，而 SMIL幻灯片只能在 RealOne及其以后版本的 RM播放器上播放。
效率高。不管幻灯片包含了多少个图像,Helix
Server只需为 RealPix幻灯片提供一个流，而 SMIL
幻灯片可能需要为每张图像提供一个流。因此，
RealPix幻灯片更适合于包含大量图像较长的幻灯片演示。
33
RealPix
RealPix的优势
图像在内存中缓冲。如果需要再次使用 RealPix中的图像,Real播放器会将图像缓冲到内存，直到它不再需要为止。因此 RealPix重新显示图像时，不需要消耗更多的带宽。当 RealPix结束之后，缓冲被删除。
创建复杂的效果更容易。 RealPix允许对图像部分显示、缩放或拉伸。
多媒体同步
2
主要内容
多媒体数据与约束关系
同步关系
同步机制的实现
3
多媒体数据与约束关系
根据时间在数据中的作用，多媒体数据分为
时间媒体或连续媒体（ Continuous Medium）
对时间敏感的媒体（如声音、视频），其值随时间而发生变化，信息表示与时间有关，这些媒体信息不仅用一系列值表示，而且要指出相应值出现的时间。
非时间媒体，或离散媒体（ Discrete Medium）或静态媒体
对时间不敏感的媒体，如文本和图形等则由一组独立的元素组成，不包含时间信息。
4
多媒体数据与约束关系
时间媒体数据可以看成是由逻辑数据单元
（ LDU,Logical Data Unit）构成的时间序列
（或称为流）（ 1）
LDU的划分（即所包含的内容）由具体的应用、编码方式、数据的存储方式和传输方式等因素决定。
5
多媒体数据与约束关系
时间媒体数据可以看成是由逻辑数据单元
（ LDU,Logical Data Unit）构成的时间序列
（或称为流）（ 2）
时间媒体数据的各个 LDU之间存在着固定的时间关系，例如以一帧图像为一个 LDU，则相继的 LDU之间的时间间隔为 40ms。
6
多媒体数据与约束关系
约束关系
基于内容的约束关系
空域约束关系
时域约束关系
7
多媒体数据与约束关系
时域约束关系（或称时域特征）
反映媒体对象在时间上的相对依赖关系，主要表现在如下两个方面
时间媒体对象的各个 LDU之间的相对时间关系；
各个媒体对象（包括时间媒体对象以及非时间媒体对象）
之间的相对时间关系。
例如，幻灯演示中包括音频（时间媒体）和幻灯片（非时间媒体）之间的时域同步。
8
多媒体数据与约束关系
时域约束关系（或称时域特征）
媒体对象之间的时域约束关系按照确立这种关系的时间来区分，可以分为：
实况 (Live)同步：在信息获取过程中建立的同步关系。
例如，人物口形动作和声音之间的配合，通常称为口形同步 (或唇音同步,Lip-Sync)；另有指针同步等。
合成 (Synthetic)同步：在分别获取不同的信息之后，
再人为地指定的同步关系。例如在一个导游系统中，根据用户即时键入的要求，系统自动地产生对某条旅游线的解说，介绍录像也同时播放。解说与录像之间的时间约束关系就是在运行过程中指定并执行的。
9
多媒体数据与约束关系
空域约束关系 (又称为布局 (Layout)关系 )
通常用来定义在同一时间点上的多媒体数据展示
(Presentation)过程中，不同媒体对象的空间位置关系。
在桌面出版系统中，空域关系通常表达为布局框架。布局框架生成后，就可往该框架中填入相应的内容。
10
多媒体数据与约束关系
基于内容的约束关系
基于内容的约束关系是指在用不同的媒体对象代表同一内容的不同表现形式之间所具有的约束关系。
内容关系定义了媒体对象间的依赖关系。
一个填充了数据的电子表单（ spreadsheet）和其数据的图形表示之间的相关性是内容关系的例子。在这种情况下，同样的数据以不同的方式表达。另一例子是用两个大小不同的图形来表示对同一数据的不同含义的解释。
11
多媒体数据与约束关系
同步分类
按 施加对象 分为媒体对象内（ intra-object）的同步和媒体对象间（ inter-object）的同步；
按照 同步的层次 分为系统同步、合成同步和用户级同步。
根据 多媒体系统的运行环境 分为单机环境下的同步和分布式环境（网络环境）下的同步。
12
主要内容
多媒体数据与约束关系
同步关系说明
同步机制的实现
13
同步关系说明
多媒体对象的同步关系说明描述多媒体对象中包含的各对象之间的时间依赖关系。
由于同步关系说明决定了整个表现，因此，它成了多媒体系统的重要问题。
14
同步说明包括的内容
同步说明应包括以下内容：
对象内的同步关系说明，主要用于媒体对象的展现
对象内同步的服务质量描述
媒体对象表现中对象间的同步关系说明
对象间同步的服务质量描述
15
基于时间的同步
基于间隔的同步说明
基于基准轴的同步说明
基于控制流的同步说明
基于 Petri网
16
基于时间的同步（一）
基于间隔的同步说明
在基于间隔的同步说明方法中，对象展现的持续时间被当作间隔。
两个时间间隔可以以 13种不同的方式同步，其中有些类型是互逆的（如前，后）。精简后得出 7种不可逆的同步类型，可使用这七种类型来说明两个媒体对象间的一个简单的同步说明方式。
17
18
基于时间的同步（二）
基于基准轴的同步说明
表现的开始和结束等表现事件被映射到所有对象的表现所共享的基准轴上。
基于全局定时器的同步
虚拟轴同步
19
基于时间的同步（二）
基于基准轴的同步说明
基于全局定时器的同步,所有单媒体对象被附加到由实际时间抽象而来的时间轴上。
20
基于基准轴的同步说明
虚拟轴同步 说明方式是时间轴同步说明方式的推广。
在这种说明方法中，可以为用户定义的度量单元说明坐标系统，然后根据这些坐标系统来执行同步说明，也可以使用几个虚拟轴来创建一个虚拟坐标空间。
21
采用虚拟轴实现同步关系说明两根时间轴和一个交互轴，后者以交互事件作为度量单元。
22
主要内容
多媒体数据与约束关系
同步关系说明
同步机制的实现
23
同步机制的实现
SMIL
Synchronized Multimedia Integration
Language，多媒体同步集成语言；
与 HTML的语法格式非常相似。
由 W3C（ World Wide Web Consortium）组织规定；
另有公司参与制定标准，有 Compaq,Gateway,IBM、
Microsoft,RealNetworks,Oratrix等。
已经渐渐称为网络多媒体的国际通用标准语言。
24
同步机制的实现
SMIL
25
同步机制的实现
SMIL
SMIL能够简化交互式音视频展现的创作过程。 SMIL典型的应用是“丰富的媒体（ rich media）”或多媒体的展现，
这些应用将图像、文本或其他类型的媒体集成在流式音频和视频中。
操纵（集成）多媒体片断；
对多媒体片断的有机的、智能的组合；
规定多媒体片断（包括声音文件、视频文件、动画、图片、
文字等）在什么时候、在什么地方、以什么样的方式播放。
集成、组合、演示布局、播放控制、同步控制、交互控制、
智能流、纯文本编辑等功能。
26
SMIL技术概述
SMIL的特色
类似 HTML的标记式语言，非常易懂；
可在低频宽网络环境下，展现如电视节目播放效果的网页特效；
整合声音、影像、文字和图片等各种多媒体格式于同一个档案；
使用简单的编辑器即可编辑 SMIL文件，使用者不需使用复杂的 Script语言或转换内容格式即可产生丰富又同步的多媒体内容
27
SMIL技术概述
SMIL的缺点
全面支持 SMIL2.0的播放器太少 ；
在 *.smil文件 中 用的多媒体 的格式 必须考虑 到播放器所能支持的 格式；
中文的支持能力有限；
制作的工具匮乏，目前仍没有发现好的编辑
SMIL的软件 。
28
SMIL的基本语法
编辑 SMIL文件的注意事项
保存 SMIL文件的后缀名为,.smil” ；
建议 用 Windows的记事本编辑；
在编辑过程种,需在英文 状态下编辑 。
也就是不要 打开 中文 输入 法。
因为 SMIL播放器不 认识 中文的 标点符号。
29
SMIL的基本语法
SMIL示例 1
30
RealText
RealText是纯文本类型的语言
以,rt 为扩展名的文本文件；
标记性语言，用 Windows的记事本编辑；
用 RealPlayer播放；
可以通过 SMIL集成，组成流式多媒体节目；
可以发布在 RealServer或 WebServer上。
31
RealPix
使用 RealPix，可以用静态图片,JPG,.GIF,.PNG创建流式的幻灯片，可以定义图片之间的过度效果，如淡入淡出、擦除效果等。
RealPix幻灯片是以（,rp）为扩展名的纯文本文件。
RealPix可以将幻灯片以单独的流播出，也可以用 SMIL将幻灯片与其它媒体集成在一起。
32
RealPix
RealPix的优势
兼容性好。 RealPix兼容 RealOne以前版本的 RM播放器，而 SMIL幻灯片只能在 RealOne及其以后版本的 RM播放器上播放。
效率高。不管幻灯片包含了多少个图像,Helix
Server只需为 RealPix幻灯片提供一个流，而 SMIL
幻灯片可能需要为每张图像提供一个流。因此，
RealPix幻灯片更适合于包含大量图像较长的幻灯片演示。
33
RealPix
RealPix的优势
图像在内存中缓冲。如果需要再次使用 RealPix中的图像,Real播放器会将图像缓冲到内存，直到它不再需要为止。因此 RealPix重新显示图像时，不需要消耗更多的带宽。当 RealPix结束之后，缓冲被删除。
创建复杂的效果更容易。 RealPix允许对图像部分显示、缩放或拉伸。
