多媒体技术及其应用万 麟 瑞南京航空航天大学计算机系
1,教材与参考书教 材：自编讲义,多媒体技术及其应用,
参考书：
【 1】 钟玉琢等,多媒体技术及其应用,机械工业出版社,2003
【 2】 吴玲达等,多媒体信息系统,电子工业出版社,2002
【 3】 刘积仁等,分布式多媒体技术导论,电子工业出版社,1999
【 4】 高文,多媒体数据压缩技术,电子工业出版社,1994
【 5】 汤庸等,多媒体数据库与网络应用,人民邮电出版社,2000
【 6】 马华东,多媒体计算机技术原理,清华大学出版社,1999
2,课时安排 ( 共 48h )
第一章 多媒体技术概论 ( 4h )
第二章 媒体信息处理技术 ( 6h )
第三章 数据压缩技术 ( 8～ 10h )
第四章 光盘存储技术 ( 4h )
第五章 多媒体数据库与超文本技术 ( 6h )
第六章 多媒体通信与分布式应用 ( 4～ 6h )
第七章 多媒体素材制作 ( 8～ 10h )
第八章 多媒体 CAI应用系统 ( 4h )
第一章 多媒体技术概论信息时代的主流技术：计算机网络与通信,
数据库与数据挖掘；
面向对象方法,软件体系结构；
多媒体,人工智能多媒体技术,20世纪 80年代初兴起,
90年代以来成为 IT研究热点；
21世纪的主要发展方向之一
1.1 多媒体技术的基本概念
1.1.1 多媒体技术的研究范畴多媒体技术 = 计算机技术 + 通信技术 + 视听信息处理技术
+ 数学方法 + 领域知识
1,多媒体分类
CCITT关于五种类型的多媒体定义：
(1) 感觉媒体：直接作用于人的感官,使人产生信息效应的媒体如声音,文字,图形,图像,动画,视频
(2) 表示媒体：对感觉媒体的标识与中间处理手段,如媒体编码
(3) 表现媒体：电信号与感觉媒体之间实现信号转换所用的实体包括输入显示媒体,如键盘,鼠标,扫描仪,摄像机输出显示媒体,如显示器,打印机,扬声器
(4) 存储媒体：媒体信息的存储表示与存放实体,如硬盘,软盘
(5) 传输媒体：表示媒体从一点传输到另一点的物理实体,
包括各种导线,电缆,光缆,无线电波和红外线等表示,人为构造的各种媒体对象描述方式如语言编码,数值编码,图像编码；
程序编码；
对象标识；
侧重形式化 ∕代码化的信息表达表现,媒体信息处理与信号转换方式如摄像机,键盘等输入方式,
显示和打印等输出方式；
侧重可视化 I∕O信号转换与用户交互界面
2,多媒体定义概要描述：
多媒体是采用计算机和各种媒体信息处理设备,
对传统的计算媒体 （ 如文本,图形,静止图像,动画 ）
和视听媒体 （ 如音频,视频 ） 进行数字化与综合处理的技术,
是使多种媒体之间建立逻辑联系和交互方式的方法,
是融多种技术,方法,设备和媒体为一体的集成化计算机系统多媒体定义的模型描述：
多媒体＝多种媒体信息
＋媒体信息处理技术
＋媒体信息处理设备
＋人机界面与系统集成机制
1.1.2 多媒体技术的研究对象研究对象：通过视觉和听觉,
进行信息交流的多种媒体元素及其表示与表现形式
(1) 文本 (Text),在计算机系统中,文本包括文字,数字和符号等,用二进制编码表示
(2) 图像 (Image),两种不同表示方式的可视元素 。 即位图,简称图像；矢量图,简称 图形图像分类：静止图像,运动图像运动图像,动画 — 慢动图像 （ 1-15帧 ∕秒 ） ；
视频 — 活动影像 （ 25∕30帧 ∕秒 ）
视频：电视视频 （ 模拟视频 ） ；计算机视频 （ 数字视频 ）
电视视频＋数字视频 → 高清晰度电视 HDTV
(3) 声音（ Sound）,是音频的同义词，包括语音和音乐音频信号的频率范围大约在 15HZ～ 20KHZ
(4) 超文本（ Hypertext）,由表达信息块的“节点”和表达节点之间连接关系的“链”所组成的电子文档信息“网络”，
是一种电子文献形式的信息管理即数据库技术
(5) 超媒体（ Hypermedia）,基于超文本支持的多媒体，
即超文本 (结构 )加多媒体 (信息 )，亦即多媒体超文本。
目前超媒体与超文本两词几乎成为同义概念
(6) 交互多媒体（ Interactive Multimedia）,多媒体的别称；
其内核是超媒体，
超媒体的内核是超文本，
超文本的内核是文本、图像和声音等基本媒体元素
1.1.3 多媒体技术特征主体特征：多维性，交互性，集成性，数字化其它特征：实时性，同步性，分布性
(1) 多维性,衡量信息处理范围的扩展与放大能力，
包括多媒体信息处理的空间维、时间维和特征维等
(2) 交互性,利用键盘、鼠标、触摸屏等多种交互工具，
提供接近自然的信息交互方式，
使人工可以干预多媒体节目的播放内容和次序
(3) 集成性,一是多种媒体设备的集成，
即视频、音响、存储设备与计算机系统的集成；
二是多种媒体信息的集成，即文本、图形、静图、动画、视频和声音的有机组合
(4) 数字化,采用计算机对多种可视听信息进行数字化处理全数字化是多媒体技术发展的核心所在
(5) 实时性,在多媒体播放过程中，
语音和音乐需要保持连续性，
视频图像需要以固定速率进行显示和更新，
因而多媒体系统对实时处理要求较高
(6) 同步性,对文本、图像和声音等信息进行混合处理，
需要解决多信号的空间组合与时间同步问题；
包括音频 ∕视频同步，数字信号 ∕模拟信号同步
(7) 分布性,多媒体信息的多样性和异构性，
使得多专业人员协同工作所需的原始数据，
往往分布在不同的空间和时间里多媒体的关键技术：
① 数据压缩技术：数据压缩编码标准；
压缩算法；数据压缩比的控制；数据重现精度的控制
② 专用芯片技术：包括固定功能芯片，如图像数据压缩卡；
带处理器的可编程芯片，如声音卡和视频卡
③ 大容量外存技术,CD_ROM驱动器； CD光盘驱动器光盘技术是衡量计算机多媒体能力的一个重要标志
④ 多媒体核心软件技术：音频／视频子系统，
多媒体操作系统内核程序
⑤ 多媒体网络通信技术：宽带高速网；协议支持多媒体技术需要进一步解决的问题：
压缩，集成，交互，实时，同步
1.2 多媒体技术的应用状况
(1) 基于产品研究方向的应用分类
① 计算机电视（ Compuvision）
CPU ＋ CD-ROM ＋ 显／声／视三卡 ＋ 多窗口系统
—— 以计算机为基础的多媒体化
② 电视计算机（ Teleputer）
电视／声像设备 ＋ CPU ＋ TV编程与控制技术
—— 以电视／声像设备为基础的数字化发展趋势,Compuvision ＋ Teleputer → HDTV
（多功能结合，标准化，实用化）
(2) 基于领域特征功能的应用分类
① 视频会议系统：
可视电话（面向家庭用户）；
桌面会议系统（领导 — 专家 — 企业家的交流）；
高中档视频会议系统（用于跨地区的大中型会议）
② 计算机支持的协同工作平台 CSCW：
可视化通信；共享信息系统；
共享工作空间系统；群体活动系统
③ 点播电视技术 VOD：视频服务器；编码器 ∕路由器；
用户请求计算机和记帐计算机；机顶盒
④ 虚拟现实技术：三维视觉 ∕立体听觉 ∕质感化的逼真实体；
VR对话；基于 3D传感设备的交互
(3) 其它应用多媒体 CAI
电子出版多媒体信息咨询系统多媒体 MIS
多媒体学习 ∕娱乐系统多媒体医疗服务专家系统多媒体军事指挥系统多媒体地理信息系统多媒体演示系统
1,教材与参考书教 材：自编讲义,多媒体技术及其应用,
参考书：
【 1】 钟玉琢等,多媒体技术及其应用,机械工业出版社,2003
【 2】 吴玲达等,多媒体信息系统,电子工业出版社,2002
【 3】 刘积仁等,分布式多媒体技术导论,电子工业出版社,1999
【 4】 高文,多媒体数据压缩技术,电子工业出版社,1994
【 5】 汤庸等,多媒体数据库与网络应用,人民邮电出版社,2000
【 6】 马华东,多媒体计算机技术原理,清华大学出版社,1999
2,课时安排 ( 共 48h )
第一章 多媒体技术概论 ( 4h )
第二章 媒体信息处理技术 ( 6h )
第三章 数据压缩技术 ( 8～ 10h )
第四章 光盘存储技术 ( 4h )
第五章 多媒体数据库与超文本技术 ( 6h )
第六章 多媒体通信与分布式应用 ( 4～ 6h )
第七章 多媒体素材制作 ( 8～ 10h )
第八章 多媒体 CAI应用系统 ( 4h )
第一章 多媒体技术概论信息时代的主流技术：计算机网络与通信,
数据库与数据挖掘；
面向对象方法,软件体系结构；
多媒体,人工智能多媒体技术,20世纪 80年代初兴起,
90年代以来成为 IT研究热点；
21世纪的主要发展方向之一
1.1 多媒体技术的基本概念
1.1.1 多媒体技术的研究范畴多媒体技术 = 计算机技术 + 通信技术 + 视听信息处理技术
+ 数学方法 + 领域知识
1,多媒体分类
CCITT关于五种类型的多媒体定义：
(1) 感觉媒体：直接作用于人的感官,使人产生信息效应的媒体如声音,文字,图形,图像,动画,视频
(2) 表示媒体：对感觉媒体的标识与中间处理手段,如媒体编码
(3) 表现媒体：电信号与感觉媒体之间实现信号转换所用的实体包括输入显示媒体,如键盘,鼠标,扫描仪,摄像机输出显示媒体,如显示器,打印机,扬声器
(4) 存储媒体：媒体信息的存储表示与存放实体,如硬盘,软盘
(5) 传输媒体：表示媒体从一点传输到另一点的物理实体,
包括各种导线,电缆,光缆,无线电波和红外线等表示,人为构造的各种媒体对象描述方式如语言编码,数值编码,图像编码；
程序编码；
对象标识；
侧重形式化 ∕代码化的信息表达表现,媒体信息处理与信号转换方式如摄像机,键盘等输入方式,
显示和打印等输出方式；
侧重可视化 I∕O信号转换与用户交互界面
2,多媒体定义概要描述：
多媒体是采用计算机和各种媒体信息处理设备,
对传统的计算媒体 （ 如文本,图形,静止图像,动画 ）
和视听媒体 （ 如音频,视频 ） 进行数字化与综合处理的技术,
是使多种媒体之间建立逻辑联系和交互方式的方法,
是融多种技术,方法,设备和媒体为一体的集成化计算机系统多媒体定义的模型描述：
多媒体＝多种媒体信息
＋媒体信息处理技术
＋媒体信息处理设备
＋人机界面与系统集成机制
1.1.2 多媒体技术的研究对象研究对象：通过视觉和听觉,
进行信息交流的多种媒体元素及其表示与表现形式
(1) 文本 (Text),在计算机系统中,文本包括文字,数字和符号等,用二进制编码表示
(2) 图像 (Image),两种不同表示方式的可视元素 。 即位图,简称图像；矢量图,简称 图形图像分类：静止图像,运动图像运动图像,动画 — 慢动图像 （ 1-15帧 ∕秒 ） ；
视频 — 活动影像 （ 25∕30帧 ∕秒 ）
视频：电视视频 （ 模拟视频 ） ；计算机视频 （ 数字视频 ）
电视视频＋数字视频 → 高清晰度电视 HDTV
(3) 声音（ Sound）,是音频的同义词，包括语音和音乐音频信号的频率范围大约在 15HZ～ 20KHZ
(4) 超文本（ Hypertext）,由表达信息块的“节点”和表达节点之间连接关系的“链”所组成的电子文档信息“网络”，
是一种电子文献形式的信息管理即数据库技术
(5) 超媒体（ Hypermedia）,基于超文本支持的多媒体，
即超文本 (结构 )加多媒体 (信息 )，亦即多媒体超文本。
目前超媒体与超文本两词几乎成为同义概念
(6) 交互多媒体（ Interactive Multimedia）,多媒体的别称；
其内核是超媒体，
超媒体的内核是超文本，
超文本的内核是文本、图像和声音等基本媒体元素
1.1.3 多媒体技术特征主体特征：多维性，交互性，集成性，数字化其它特征：实时性，同步性，分布性
(1) 多维性,衡量信息处理范围的扩展与放大能力，
包括多媒体信息处理的空间维、时间维和特征维等
(2) 交互性,利用键盘、鼠标、触摸屏等多种交互工具，
提供接近自然的信息交互方式，
使人工可以干预多媒体节目的播放内容和次序
(3) 集成性,一是多种媒体设备的集成，
即视频、音响、存储设备与计算机系统的集成；
二是多种媒体信息的集成，即文本、图形、静图、动画、视频和声音的有机组合
(4) 数字化,采用计算机对多种可视听信息进行数字化处理全数字化是多媒体技术发展的核心所在
(5) 实时性,在多媒体播放过程中，
语音和音乐需要保持连续性，
视频图像需要以固定速率进行显示和更新，
因而多媒体系统对实时处理要求较高
(6) 同步性,对文本、图像和声音等信息进行混合处理，
需要解决多信号的空间组合与时间同步问题；
包括音频 ∕视频同步，数字信号 ∕模拟信号同步
(7) 分布性,多媒体信息的多样性和异构性，
使得多专业人员协同工作所需的原始数据，
往往分布在不同的空间和时间里多媒体的关键技术：
① 数据压缩技术：数据压缩编码标准；
压缩算法；数据压缩比的控制；数据重现精度的控制
② 专用芯片技术：包括固定功能芯片，如图像数据压缩卡；
带处理器的可编程芯片，如声音卡和视频卡
③ 大容量外存技术,CD_ROM驱动器； CD光盘驱动器光盘技术是衡量计算机多媒体能力的一个重要标志
④ 多媒体核心软件技术：音频／视频子系统，
多媒体操作系统内核程序
⑤ 多媒体网络通信技术：宽带高速网；协议支持多媒体技术需要进一步解决的问题：
压缩，集成，交互，实时，同步
1.2 多媒体技术的应用状况
(1) 基于产品研究方向的应用分类
① 计算机电视（ Compuvision）
CPU ＋ CD-ROM ＋ 显／声／视三卡 ＋ 多窗口系统
—— 以计算机为基础的多媒体化
② 电视计算机（ Teleputer）
电视／声像设备 ＋ CPU ＋ TV编程与控制技术
—— 以电视／声像设备为基础的数字化发展趋势,Compuvision ＋ Teleputer → HDTV
（多功能结合，标准化，实用化）
(2) 基于领域特征功能的应用分类
① 视频会议系统：
可视电话（面向家庭用户）；
桌面会议系统（领导 — 专家 — 企业家的交流）；
高中档视频会议系统（用于跨地区的大中型会议）
② 计算机支持的协同工作平台 CSCW：
可视化通信；共享信息系统；
共享工作空间系统；群体活动系统
③ 点播电视技术 VOD：视频服务器；编码器 ∕路由器；
用户请求计算机和记帐计算机；机顶盒
④ 虚拟现实技术：三维视觉 ∕立体听觉 ∕质感化的逼真实体；
VR对话；基于 3D传感设备的交互
(3) 其它应用多媒体 CAI
电子出版多媒体信息咨询系统多媒体 MIS
多媒体学习 ∕娱乐系统多媒体医疗服务专家系统多媒体军事指挥系统多媒体地理信息系统多媒体演示系统
