第 6章 多媒体技术本章学习目标本章主要讲解多媒体技术的基本概念,它包括媒体,多媒体,文本与超媒体等等诸多概念 。 并且重点介绍了多媒体技术中的音频技术,数字图像,
数字视频,多媒体数据压缩等各种技术的特点,文件类型,格式等 。 多媒体创作工具及其应用,同时描述了超文本和超链接以及虚拟现实技术 。 通过本章的学习,主要掌握以下内容:
l 媒体和多媒体的概念
l 文本与超文本的概念
l 节点与链接的关系
l 音频,数字图像,数字视频技术的特点
l 多媒体数据的压缩技术的特点第 6章 多媒体技术
6.1 多媒体的概念
6.2 超文本与超媒体
6.3 多媒体技术
6.4 多媒体制作工具
6.5 虚拟现实技术
6.1 多媒体的概念
6.1.1 什么叫媒体
6.1.2 多媒体的基本概念
6.1.3 多媒体计算机系统的层次结构
6.1.4 多媒体计算机系统的基本组成返回
6.1.1 什么叫媒体
媒体是指信息表示和传播的载体 。 例如,文字,声音,
图像等都是媒体,在计算机领域,几种主要媒体的定义如下 。
l感觉媒体:感觉媒体直接作用于人的感官,使人能直接产生感觉。
l表示媒体:表示媒体是指各种编码。
l表现媒体:表现媒体是感觉媒体与计算机之间的界面。
l存储媒体:存储媒体用于存放表示媒体,即存放感觉媒体数字化后的代码。存放代码的存储媒体有软盘、
硬盘和 CD— ROM等。
l传输媒体:传输媒体是用来将媒体从一处传到另一处的物理载体。
返回
6.1.2 多媒体的基本概念
所谓“多媒体” 可简单理解为:一种以交互方式将文本、图形、图像、音频、视频等多种媒体信息,
经过计算机设备的获取、操作、编辑、存储等综合处理后,以单独或合成的形态表现出来的技术和方法。
多媒体技术具有以下一些特征 。
l 集成性 。 多媒体技术的集成性是指将多种媒体有机的组织在一起,共同表达一个完 整的多媒体信息,使声,文,图,像一体化 。
l 交互性 。 交互性是指人和计算机能,对话,,以便进行人工干预控制 。
l 数字化 。 数字化是指多媒体中的各个单媒体都是以数字形式存放在计算机中 。
l 实时性 。 有些媒体是与时间密切相关的,这就决定了多媒体技术必须要支持实时处理 。 返回
6.1.3 多媒体计算机系统的层次结构
多媒体系统由多媒体硬件和软件系统组成。其系统层次结构如下图所示。
返回
6.1.4 多媒体计算机系统的基本组成
与计算机系统类似,多媒体计算机系统由多媒体硬件系统和多媒体软件系统组成 。
1,多媒体计算机硬件系统
成多媒体计算机硬件系统除了需要较高配置的计算机主机硬件之外,通常还要音频,视频处理设备,
光盘驱动器,各种媒体输入 /输出设备等 。 由于多媒体计算机系统需要计算机交互式地综合处理声,文,
图信息,不仅处理量大,处理速度也要求高,因此对多媒体计算机系统的要求比通常计算机系统更高 。
通常对多媒体计算机基本硬件结构要求有功能强,
速度高的主机,有足够大的存储空间 ( 主存和辅存 ),
有高分辨率的显示接口和设备 。 下图所示为多媒体计算机硬件系统基本组成 。
上图为多媒体硬件系统基本组成示意图
2,多媒体计算机软件系统
多媒体计算机软件系统按功能可分为系统软件和应用软件 。
(1) 多媒体系统软件:多媒体计算机系统主要的系统软件有:
l多媒体驱动程序 。 多媒体驱动软件直接与计算机硬件打交道,完成设备初始化,各种设备操作,设备的打开和关闭,基于硬件的压缩 /解压缩,图像快速变换及功能调用等 。
l 驱动接口程序 。 它是高层软件与驱动程序之间的接口软件,为高层软件建立虚拟设备 。
l 多媒体操作系统 。 实现多媒体环境下多任务的调度 。
l 多媒体素材制作软件及多媒体库函数 。 这层软件是为多媒体应用程序进行数据准备的程序,主要为多媒体数据采集软件 。 多媒体库函数作为开发环境的工具库,供设计者调用 。
l 多媒体创作工具和开发环境 。 多媒体创作工具和开发环境主要用于编辑生成多媒体特定领域的应用软件 。
(2) 多媒体应用软件
多媒体应用软件是在多媒体创作平台上设计开发的面向应用领域的软件系统,通常由应用领域的专家和多媒体开发人员共同协作,配合完成 。 开发人员利用开发平台,创作工具制作组织各种多媒体素材,生成最终的多媒体应用程序,并在应用中测试,完善,
最终成 为多媒体产品 。 综上所述,多媒体计算机软件系统如下图所示 。
返回
6.2 超文本与超媒体
6.2.1 概述
6.2.2 超媒体的组成及其特点
6.2.3 超媒体中的导航
6.2.4 超媒体系统的体系结构及其开发返回
6.2.1 概述
文本是人们早已熟知的信息表示方式,如一篇文章、一段程序、一本书、一份文件等都是文本,它通常以字、词、句、章作为文本内容的逻辑单位,文本是人们早已熟知的信息表示方式,如一篇文章、一段程序、一本书、一份文件等都是文本,它通常以字、
词、句、章作为文本内容的逻辑单位。
超文本模型比传统模型更符合人们的阅读方式,
它不要求读者按某个固定顺序来阅读。采用这种网状结构很容易按人们的联想关系来组织信息。读者在阅读时不必像阅读一般文章那样顺序阅读可以根据需要,
利用超文本机制提供的联想式查询能力,迅速找到自己感兴趣的内容和有关信息。我们把这样组织的信息网络称为超文本,将对其管理的系统称为超文本系统。
返回
6.2.2 超媒体的组成及其特点
超媒体是由节点和表达节点之间关系的链构成的信息网络,下图表示了一个简单的超文本结构。
从图中可以看到超文本是内部互联的若干信息块组成的,这些信息块可以是计算机的若干屏,也可以是若干窗口,文件或更小的信息单元,这些信息块被称为节点 。
每个节点中有指向其它节点的指针,或由其它节点指向该节点的指针 。 指针的数量是不确定的,可以根据需要来设置,用户通过击触链源来激活链,从而到达链的目的节点 。
超媒体包括节点,链和网络三个要素:
1,节点
节点是表达信息的基本单位,是围绕一个特殊主题组织起来的数据集合。节点所表示的信息可以是文本,也可以是图像、图形、音频、视频、动画,甚至是一段计算机程序,节点的大小依实际情况而定。
2,链
超媒体中链以某种形式将一个节点与其它节点连接起来,以表示被链接的两个节点之间的关系 。 链在节点之间穿针引线,是超文本的灵魂 。 形式上,链是从一个节点指向另一个节点的指针,而本质上,则表示不同节点上存在着信息的联系 。 链的功能的强弱,
直接影响节点信息的表现力,也影响着信息网络的结构 。
3,网络
超媒体中的节点和链构成的网络是一个有向图,
这种有向图与人工智能中的语义网有相似之处 。 语义网是一种知识表示方法,其中节点表示概念,而节点之间的链则表示两个概念之间的关系,超媒体中的节点可以看作是对单一概念或思想的表达,而节点之间的链则表示概念或思想之间的语义关系 。 从这个观点来看,超媒体也可以看作是一种知识组织和表达方法 。
超媒体系统的基本特征可以归纳为:
(1) 超媒体系统是由,声,文,图,类节点以及表示它们之间关系的链组成的网络 。
(2) 一般地,屏幕中的窗口和超媒体系统中的节点是一一对应的,即一个窗口只显示一个节点,每个节点都有名字或标题显示在窗口中,屏幕上可以同时有有限个同时打开的窗口,以同时显示多个节点 。
(3) 超媒体系统通常支持标准的窗口操作,即窗口的重定位,调整大小,关闭或缩小为 一个图标 。
(4) 窗口显示的节点中可以包含许多链源标识符,它们表示连接到超媒体系统中其他节点的链 。
(5) 在超媒体中,作者可以方便地创建节点和建立节点与节点之间的链 。
(6) 在超媒体系统中,读者对信息查询的方法一般有三种:
l 跟随链的走向不断打开诸窗口或按打开的路径历史地返回 。
l 利用已知的关键字对部分或整个超媒体系统进行搜寻 。
l 利用对节点网络的图示浏览器 (Browser )在节点之间,航行,,用户可以直接提取他所要的内容 。
(7) 超媒体系统提供了一种新的写作方法 。 允许以材料的自然联系组织文章,先将材料按思想概念分成小块,称为,节点,,再将这些节点链接为一个整体 。
返回
6.2.3 超媒体中的导航
超空间中的迷路,读者在超媒系统中阅读时,
有时会不知道他目前处于文档的什么位置。这种现象称为“超空间中的迷路”,采用“全局导航技术”可以防止这个问题 。
局部迷路,除了,超空间中的迷路,现象外,还存在在特殊路径上局部迷路现象 。 读者失去目标的足迹,不能返回他们特别感兴趣的信息 。,局部导航技术,可以避免局部迷路现象 。
导航工具的主要作用,一方面是使用户在信息网络中快速定位,查询;另一方面是防止用户在复杂的信息网络中迷失方向 。 目前,在不同的超媒体系统中有多种导航工具,常见的有导航图,查询系统,线索,
遍历,书签等 。
返回
6.2.4 超媒体系统的体系结构及其开发
1,超媒体系统的体系结构
超媒体系统可分为三个层次,分别为:用户界面层,超媒体实现层和数据库如下图所示 。
数据库层:与普通的数据库的概念没有多大的区别 。
超媒体实现层:确定超媒体系统中的节点和链的基本特征以及维护它们之间的关系,实现通过链对节点的访问 。
用户界面层:包括用户可以使用的命令,操作等 。
流行的界面风格有菜单方式,图标方式,图示引导方式等 。
2,超媒体系统的开发
(1) 数据库的设计:包括数据结构,数据类型,检索方法等 。
(2) 超媒体实现层的设计:包括定义节点信息,构造节点之间的信息流程,定义链,实现链的功能,导航工具的设计等 。
(3) 用户界面的设计:包括节点内容的显示,链源的显示,用户操作的控制等 。
返回
6.3 多媒体技术
6.3.1 音频技术
6.3.2 数字图像
6.3.3 动画
6.3.4 数字视频技术
6.3.5 多媒体数据压缩技术返回
6.3.1 音频技术
1,数字音频
声音,当运动使空气发生振动时就产生了声音 。
这种声音可以用声波来表示,声波是一条随时间变化的连续曲线 。
声波有两个基本参数:频率和振幅 。
频率?,是指声音信号每秒钟变化的次数,以赫兹 (Hz)为单位 。
振幅,是指波形的最高点或最低点与时间轴的距离,它反映了声音信号的强弱程度 。
声音按照其频率的不同可以分为次声,可听声和超声 。 低于 20Hz的为次波,高于 20000Hz的为超声,
介于 20Hz~ 20000Hz之间的为可听声 。
音频信号的采样志量化:
声音的数字化:把模拟的声音信号变成数字信号的过程 。 它是通过对声音信号的采样,量化和编码来
实现的,如下图所示 。
采样:为了进行声音信号的采样,就必须以固定的时间间隔对当前的声音波形幅度进行测量,这个过程称为采样 。 采样的作用是把时间上连续的声波信号
x(t)变成时间上不连续的信号序列 { χ1,χ2,χ3,…… },
如下图所示 。
量化:量化就是把采样所得到的值加以数字化,
即用二进制数来表示。量化时采用的二进制数的位数称为量化精度。
2,声音文件的存储格式
多媒体声音技术中几种常见的存储格式是:波形文件?WAV,声音文件?VOC和 MIDI文件?MID。
3,声音工具
声音工具用来录放,编辑和分析声音文件 。 声音工具使用得相当普遍,但它们的功能相差很大 。
三种常用声音工具为,Windows9.x以上版本的系统自身带的,Sound Recorder”,买声卡时带的工具和网络上下载的声音工具 。
4,语音识别
语音识别是将人发出的声音,字或短语转换成文字,符号,或给出响应,如执行控制,做出回答 。
返回
6.3.2 数字图像
1,颜色的基本概念
彩色,可用色调 ( Hue),饱和度 ( Saturation)
和亮度 ( Brightness) 来描述 ( 也称为 HSB模式 ) 。 人眼看到的任一彩色光都是这三个特性的综合效果 。
色调,是当人眼看到一种或多种波长的光时所产生的彩色感觉,它反映颜色的种类,例如红色,棕色都是指色调 。
饱和度,是指颜色的纯度,即参入白光的程度,
或者说是指颜色的深浅程度 。 对于同一种色调的彩色光,饱和度越深颜色就越鲜明或者说越纯 。 通常把色调和饱和度统称为色度 。
亮度,是光作用于人眼时所引起的明亮程度的感觉,它与被观察物体的发光强度有关 。
三基色原理,自然界常见的各种颜色光都可以由红 ( R),绿 ( G),蓝 ( B) 三种颜色光按不同的比例相配而成 。 同样,绝大多数色光也可以分解为红,
绿,蓝三色光,这就是色度学中三基色原理 。
2,失量图与位图
数字图像,分为 图形 和 图像 两种 。
图像,呈现给人们的是一幅幅的画面 。 它一般由图像输入设备捕获,以数字化的形式存储在计算机中,
例如照片,绘画等 。
图形,是由绘图工具绘制的,由线,形,体和文字等图元构成的,例如工程制图等 。
数字图像,通常有 位图 和 矢量图 两种表现形式 。
并且它们之间可以互相转换 。
矢量图,是用一组指令集合来描述构成该图形的所有直线,圆,圆弧,矩形,曲线和文字等图元的位置,维数,形状和其他一些特征 。 使用矢量图的一个很大的 优点是不需要对图上的每一点进行保存,只需让计算机知道所描述的对象的几何特征即可 。
位图,是将构成图像的 每一个点上的颜色,亮度等一些相关信息存储起来 。 它的特点是能够直接调入内存并在显示器上显示出来 。
3,分辨率与颜色深度
分辨率:有 显示分辨率 和 图像分辨率 。
显示分辨率,是指屏幕上最大的显示区域,即水平方向与垂直方向的像素个数。例如,SVGA显示卡的分辨率可达到 1024× 768,即水平方向上有 1024个像素,垂直方向上有 768个像素。
图像分辨率,是指一幅图水平方向和垂直方向所包含的像素个数。
颜色深度,屏幕上的每一个像素的颜色(或灰度)
信息用若干位数据来表示,这个数据位数就是图像的颜色深度。
颜色深度和图像可用的颜色数目表 6.1给出 。
例如:分辨率 640× 480的 256色屏幕的帧存储器的容量是 640× 480× 8/8=307200( 字节 ) 。
又如:分辨率为 640× 480的真彩色屏幕的帧存储器的容量是,640× 480× 24/8=921600(字节)。
4,数字图像的获取和处理
数字图像可以由如下三种方法获取:
( 1)用绘图程序绘制,如用 Windows的:“画图”
工具进行绘制。
( 2)用屏幕抓图程序从屏幕上直接抓取。
( ( 3)用扫描仪或数字化视频图像抓取设备从照片、
画片或动态视频图像中抓取图 像处理,是对图像进行压缩,变换,转换,增强和统计等操作的总称 。
5,数字图像文件格式
比效流行的图像格式有,GIF,TIFF,TGA,BMP、
PCX,JPG,PCD等 。 返回
6.3.3 动画
1,动画的种类
动画一般分为过程动画,运动动画和变形动画 。
过程动画 。 过程动画是指根据程序员或用户提供的指令进行运动的动画,这些指令也称为脚本,动画中运动的主体称为角色 。
运动动画 。 运动动画中,物体的运动一般由运动物体的物理规律进行描述 。
变形动画 。 变形动画 ( Morphing) 是通过连续地颜色插值和路径变化,将一幅画面渐变为另一幅画面 。
2,动画文件格式
动画主要有,FLIC格式和 MMM格式两种形式 。
FLIC动画 。 较新版本动画的扩展名为?FLC。
MMM动画 。 MMM格式的动画用 Director生成,
一般集成在应用程序中,单独出现的文件比较少 。 返回
6.3.4 数字视频技术
1,数字视频的优点为:
l 字视频可以无失真地进行无限次拷贝 。
l 可以用许多新方法对数字视频进行创造性的编辑 。
l 可以用较少的时间和费用创作出用于培训教育的交互节目,真正实现将视频融进计算机系统中以及实现用计算机播放电影节目等 。
2,获得图像可用下述方法:
l 用计算机产生彩色图形,静态图像和动态图像;
l 用彩色扫描仪,扫描输入彩色图形和表态图像;
l 用视频信号数字化仪,将彩色全电视信号数字化后,
输入至多媒体计算机中,可获得表态和动态图像 。
3,数字视频技术
数字视频技术主要涉及视频信息的获取,压缩以及播放等几个方面 。
视频信息的获取 。 视频信息的获取,通常是通过视频卡来完成 。 视频卡又分为帧捕捉卡和视频捕捉卡 。
帧捕捉卡每次只能将视频图像的一帧转换为数字图像,
而视频捕捉卡一次可将连续的帧转化为数字视频 。
视频信息的压缩 。 数字视频包含巨大的数据量,
不进行压缩直接存储的话,所需的空间是非常巨大的 。
所以对视频图像必须进行压缩 。
视频信息处理,播放 。 数字视频可以用硬件的和软件的方法来播放 。
4,视频文件格式
经过压缩了的数字视频信息以特定的文件格式存储在磁盘或光盘上 。 常见的数字视频文件格式有?AVI、
MOV,?MPEG等 。 返回
6.3.5 多媒体数据压缩技术
数据压缩方法
数据压缩分成两种类型,一种叫做 无损压缩,另一种叫做有 损压缩 。
无损压缩 是指使用压缩的数据进行重构(或者叫做还原,解压缩),重构后的数据与原来的数据完全相同;无损压缩用于要求重构的信号与原始信号完全一致的场合。一个很常见的例子是磁盘文件的压缩。
有损压缩 是指使用压缩后的数据进行重构,重构后的数据与原来的数据有所不同,但不会造成人们对原始资料表达的信息造成误解。有损压缩适用于重构信号不一定非要和原始信号完全相同的场合。例如,
图像和声音的压缩就可以采用有损压缩 返回
6.4 多媒体制作工具
6.4.1 多媒体制作工具的功能与特性
6.4.2 多媒体制作工具的类型
6.4.2 多媒体的同步返 回
6.4.1 多媒体制作工具的功能与特性
1,基本功能
一般来说,多媒体制作工具有以下功能:
( 1) 具有良好的,面向对象的编程环境
( 2) 具有较强的媒体数据 I/O能力
( 3) 动画处理能力
( 4) 超级连接能力
( 5) 应用程序的连接能力
( 6) 良好的界面,易学易用
2,多媒体特点
( 1) 具有对各种媒体的集成和控制能力,实现随机性交互式会话 。
( 2) 支持各种音频,视频等数字信号输入设备 。
( 3) 容易实现标准化设计,从而实现应用系统的标准化,系列化 。 例如,人机对话框,菜单,图标乃至屏幕格式 。
上述仅仅是 基本功能和特点 。 返回
6.4.2 多媒体创作工具的类型
多媒体创作工具按创作特点可分四类:
1,基于描述语言或描述符号的创作工具
这类创作工具需提供一套脚本描述语言或描述符,设计者用这些语句或符号像写程序那样组织、控制各种媒体元素的呈现、播放。
2,基于图标的创作工具
这类工具中多媒体成分和交互队列(事件)以结构化框架或过程组织为对象。创作多媒体作品时制作工具提供一条流程线,供放置不同类型的图标,并使用流程图隐语去“构造”程序。
3,基于时间顺序的制作工具
以时间序列为基础的创作工具是最常见的多媒体编辑软件,主要用来制作电影、卡通片等影视节目,
即以看得见的时间线来决定事件的顺序和对象演示的时段。它还可以用来编程控制转向一个序列中的任何位置的节目,从而增加了导航和交互控制。
4,基于程序语言的制作工具
有编程经验的设计者,往往对多媒体创作工具的限制以及依赖工具箱建立媒体对象的方式不易接受,
而对于近年来在编程语言基础上发展起来的可视化编程环境情有独钟。在可视化编程环境中,设计者既可用传统语言撰写程序,发挥自己的特长,又可借助于开发好的文本绘图等工具箱,使这些工具箱内的编码直接被取用,较为轻松地进行多媒体应用程序设计。
返回
6.4.3 多媒体的同步
同步,一般指多媒体系统中媒体对象间的时间关系,
更广泛的概念则包括内容,空间和时间的关系 。 媒体对象包括与时间相关的媒体 ( 如音频,视频 ) 和与时间无关的媒体 ( 例如文本,图像 ) 。 媒体对象间的同步由时间相关的媒体对象和时间无关的媒体对象之间的关系组成,这里有两个常见例子,一个是电视中视觉和听觉信息间的同步关系,这是典型的连续媒体间的同步;另一个是幻灯演示中画面显示与音频流之间的时间关系,是典型的时间相关的媒体和时间无关的媒体之间的同步关系 。
返 回
6.5 虚拟现实技术
虚拟现实的定义,利用计算机生成的一种模拟环境,
通过多种传感设备使用户,投入,到该环境中,实现用户与该环境直接进行自然交互的技术 。
虚拟现实技术有四个重要特征:
l 多感知性
l 临场感
l 交互性自主性
虚拟现实造型语言 ( VRML)
虚拟现实造型语言是一种用来描述万维网页面上三维交互环境的文件格式 。 VRML的基本原理同
HTML的基本原理一样简单,都是用一系列指令告诉浏览器如何显示一个文档,它们都是描述万维网页面的描述语言 。
本章结束返回