第 4章 多媒体数据制作
? 概述
? 音频数据的获取
? 图像数据的获取
? 图形与动画制作
4.1 概述
4.1.1 多 媒体应用软件的开发过程
? 明确使用对象,了解用户需求;
? 选择开发方法;
? 准备多媒体数据;
? 完成系统集成。
? 多媒体节目特点是以内容情节为导向 的,而其他
的软件如文本处理软件、数据库管理系统 等一般是
工具性的软件 。
? 用户需求往往是 针对多媒体技术从内容和设备配置
方面具体要求,如
用户是否有不使用鼠标和键盘而直接通过触摸屏
幕来获取信息的要求;
系统中是否需要语音和音乐;
数据类型中有无图像、视频、动画、字幕的要求;
等等。
? 有两种方法可供选择,
(1)由开发人员编码来实现多媒体节目;
(2)利用多媒体开发工具来制作多媒体节目。
? 前者的优点是不需较大的投资,但需编制大量
的程序,维护也不方便; 后者需要一定的投资,
但开发周期短,维护问题少,关键是要选择一
种功能较强价格合理的工具软件。
? 当开发方法确定后,就进入了具体实施阶段。
实施阶段的基本工作是多媒体数据的准备。
? 多媒体节目里包括音频、视频、动画、静态图
像、文字、图形等多种媒体素材,这些素材
在系统集成之前必须准备好。
? 制作者通过所选择的开发方法将节目情节具体
化程序化,并将准备好的多媒体素材按照需要
进行编辑加工,最终集成为一个由程序和数据
组成的软件产品。
? 开发的节目往往又记录在某种介质 (如 CD-ROM)
中,便于销售和使用。
4.1.2 多媒体数据获取方法
? 多媒体数据的准备又包括数据的获取、数据的整
理、数据的编辑加工等阶段。
? 数据的整理 主要是对采集的媒体数据按照指定
的方法进行登记与分类,便于后面步骤的使用。
? 数据的编辑加工 指的是根据情节的要求对媒体
数据进行剪辑、修改、格式转换等处理,一般通
过专门的软件工具来完成。
1.图像数据获取方法
? 购买数字化的图像或图片;
? 自己动手使用特定软件创作电子图像;
? 用扫描仪将照片、图片做数字化处理;
? 用摄像机或帧捕捉器捕捉视频画面并进行数字
化处理;
? 向有关单位无偿或有偿交换拷贝或通过网络获
取公开的图像文件 。
2.音频数据获取方法
? 最常用的方法是利用录制设备录制音源,然后
数字化处理并存入计算机。
? 另一种方法就是购买或和有关部门交换音频数
据文件,如大型图书馆、电台等部门存放有珍
贵的名人讲话原始录音,制作者可通过合适途
径获取 。
3.文本和数据文件的获取方法
? 人工输入。这是最自然、最易掌握的普遍采用
的方法。英文输入方法比较简单,中文输入方
法较为复杂,流行的有几十种方法。
? OCR扫描识别。通过扫描原稿输入文字数据图
表技术已经成熟,市面上有多种产品问世。目
前印刷体文本的识别率可达 99%以上,手写体
文本识别率一般也能达到 75%以上。
? 购买和交换文本。
4.图形和动画的获取方法
? 图形和动画的视觉效果是由人类创作设计的虚
幻的或仿真的画面所表现的,它表达了人类对
空间和物体的主观认识。
? 图形和动画的获取以用户制作为主要途径,有
时也可通过购买或交换得到 。
4.2 音频数据
4.2.1 音频数据
? 多媒体的音频制作可以包括制作声音、编
辑声音及将声音融入节目等工作。
? 计算机处理的音频种类通常包括波形音频
和 MIDI音频 。
声音的频率分类
声音分类 频率范围
亚声波 0~ 20Hz
人类的听力所接受的频率 20Hz~ 20kHz
超声波 20kHz~ 1GHz
超高声波 1GHz~ 10THz
波形音频
? 波形音频是以数字方式表示音波。它是用音响
卡 (包含 ADC和 DAC)来录制与执行播出声音的。
声音是由振动的声波所组成,其中包含振幅,
周期与频率 。
? 事实上,声波按频率可分为 4类,其中多媒体
系统仅处理人类的听力所接受的频率范围的声
音,我们称之为音频,这个频率范围的音波称
之为声音信号。
? 通过规则的时间间隔测出音波振动的幅度从而
产生一系列声音数据。这种测出数据的方法称
之为 采样,一秒内采样的次数便叫 采样率,其
单位也为 Hz。
? 采样的离散音频数据要转换成计算机能够表示
的数据范围,这个过程称之为 量化 。
MIDI
? 它是一项工业产品的标准, 于 1980年制定的 。 目
的是让音乐及合成音可以经由一串消息在不同的
设备上交流传输 。
? MIDI提供了计算机外部的电子乐器与计算机内
部之间的连接器接口 。 这种连接接口定义物理连
接与电子乐器沟通的协议 。 MIDI也定义音频的
形态与存储的方法 。 MIDI的音频是以消息的方
式而非波形的方式组成 。
? MIDI有三种连接器 (In,Out,Thru)。 In为输入,
Out为输出,而 Thru是用来扩充 MIDI与其他设备
连接用的。
图 4.2 MIDI的 In与 Out连接器
? 序器可以将音乐等声音以一种序列来储存。所谓
序列便是一连串的音符加上系统事件的命令。
? MIDI适配器是用来改变频道、路径与按键的。当
电子琴的键盘与一般的 MIDI规格不一致时可以经
由适配器来修正使两者一致 。
MIDI音频文件
? MIDI音频文件是一串的时序命令,它记录下音乐
的行为。
? 命令消息分为频道消息 (频道声音消息、频道模式
消息 )和系统消息 (系统实时消息、系统通用消息与
系统专用消息 )。它是以某一种乐器的发声为其数
据记录的基础。
? 它的文件占用很少的存储器空间,且可以做细部
的修改,如修改节拍等。其声音效果不会因改变
节拍而变调。
? MIDI不适合编制口语旁白的音频。
? 数字音频可以从麦克风、录音带,CD,电视及其他
来源获取。它把声音转换成储存体中的数字信息。
? 数字音频较为稳定,容易保持一致性,音频的品质
也较易获得保证。
? 缺点是记录非常的详尽,数据量极大,文件较 MIDI
音频大出 200倍以上。要修改数字音频的细节非常困
难, 况且如此庞大的数据也大大地增加了 CPU的负
担。
? 虽然如此,它却可以适合任何一种音响,包括人的
口语在内,故大多数节目仍采用这种音频。
音频编辑软件
? 若要在多媒体节目中加入完整的音频,则必须
有赖于编辑声音的软件及 PC上加装音频卡。
? 音频编辑软件一般包括下列各种工具或功能,
(1)菜单条
(2)控制板
(3)显示板
(4)剪辑板
4.2.2 数字音频编辑工具
? Microsoft提供的“录音机”,使用它可以录制、
播放、编辑 Microsoft的波形数字音频
图 4.3 Windows Recorder的功能界面
4.3 图像数据的获取
? 图像分为静止的图像 (通常称图像 )和活动的视频。
? 静止图像通常是以位映射方法来表示每一点的数据
矩阵。许多位图均为 24位,它可表达上百万种颜
色 (224)。
? 静止图像的编辑软件常见有 Photoshop,ColorIt、
Photostyler,Picture Publisher等工具软件。它们和
绘图软件有许多地方类似, 但在画质上较为讲究,
功能也较多些。增加的功能包括颜色的选择, 如 15
位或 24位颜色深度, 并增加了光源、调色等功能 。
4.3.1 图像 数据
? 视频是由光线照射在物体上面,反映在照相机
或摄象机镜头上,这种反射 的光便形成电子信
号。这些信号可分 3种颜色的合成,即 RGB三色。
? 图像保存在影片上或计算机的存储器上时,便
是以帧来组织的,一般一秒之内可以形成 24至
30帧,帧越多画质与图像的转变愈平滑。
国际视频标准
? NTSC 美国研制,是目前广泛使用的电视制式。它以 525
条横扫描线来组成一个屏幕帧,每秒 30帧,其图像的改变
采用偶数线与奇数线相互交错更新的方式,造成视觉动态
图像。
? PAL 中国、英国等国采用的 PAL制式是 W.Bruch于 1963年
发明的,其基本原理类似于 NTSC制式。它以 625条扫描线,
每秒 25帧,也是以奇偶数扫描线交错方式造成动态图像。
? SECAM SECAM制式是法国、俄罗斯等国采用一种电视
制式。而 SECAM视频同样采用 625条线和 25帧,但与
NTSC和 PAL制式相比,其基础的技术是采用频率调制,
传播的方式也不同于以上两种。
4.3.2 图像处理软件
? Photoshop是美国 Adobe公司开发的用户制作处
理静态图像常常使用的软件。特点是,
? 可完成复杂的图像修改,合成、滤镜和扫描等
各种操作;
? 支持大量的流行的图像文件格式,如 TIFF、
TGA,PCX,GIF,BMP等格式,并很容易文
件格式转换。
图 4.4 Photoshop的功能界面
Photoshop的功能
(1) 扫描图像
(2) 色彩调整
(3) 选择和蒙版
(4) 图像变换和修饰
(5) 绘画和绘图
(6) 通道
(7) 图层
(8) 用滤镜制作特效
(9) 文字
(10) 打印图像
4.3.3 活动视频数据采集
? 活动视频数据采集可通过专用的实时视频捕捉
卡来完成,如 C-Cube公司基于 CL550视频采集
卡可制作实时视频图像数据。
? 实时捕捉卡价格较昂贵,它对普通用户难以承
受。如何用普通视频卡 (如 Video Blaster)完成活
动视频数据捕捉是用户关注的问题。 Microsoft
推出 Video for Windows 即为满足上述要求的一
个工具软件。
基于 CL550视频采集卡
? 开发工具包括在 Windows3.1下由动态连接库
CL550.DLL和 PCVIDEO.DLL提供的一组函数 。
? 采集卡功能包括,采集视频信号序列,在 VGA
显示屏上的 Windows环境下显示视频信号,根
据 JPEG算法对采样的视频信号以 SIF(30帧 /秒,
320× 240)实时进行压缩,系统数据传输率为
200KB/S到 400KB/S 。
视频采集卡的压缩与解压缩
? 压缩时 16位视频数据通过像素总线输入到 CL550,
压缩成 JPEG格式经过 ISA总线写入主机硬盘。
? 压缩过程产生 3个文件即 JPEG视频信号文件 (.VID,
30Hz采样率 );数字音频信号文件 (.SND,22KHz采
样率 );同步信息文件 (.SYN)。 其中,SYN文件中的
记录包含有与每个视频帧相对应的音频采样时基信
号。
? 解压缩时,就将现行音频时基信号与同步文件中的
信息进行比较,如果音频信号滞后于视频信号,就
推迟视频显示直到视频信号与音频信号同步。如果
音频信号超前于视频,就要放弃当前视频,而立即
对下一个视频进行解压缩。
Video for Windows
? 它运行在 Windows 3.1环境下,带有许多视频卡
的驱动程序,可以连续捕捉并压缩视频活动图
像,以 AVI格式存储捕获的视频数据。每秒捕获
的帧数取决于 CPU速度、内存大小和硬盘速度。
? 它为用户提供了一个新版本 Media Player,其中
OLE功能使其他软件可以嵌入活动视频播放功
能。它提供 VidEdit工具可它来捕捉、编辑和播
放 AVI活动视频数据文件。而 VidCap是完成连
续图像捕捉的模块,可以控制图像捕捉参数如
分辩率、颜色深度、压缩方法等。
4.4 图形和动画的制作
4.4.1 图形数据
? 计算机图形学 是研究怎样用计算机生成、处理
和显示图形的一门学科。它着重讨论怎样将数
据和几何模型变成可视的图像; 或对自然界已
存在对象通过获取相关数据建立几何模型生成
的图像,以便于分析 处理。
? 图形的显示形式也称为 图像,但和一般意义的
图像处理技术 不同,后者侧重于将客观世界中
原来存在的物体映象处理成新的数字化图像,
关心问题是如何滤掉噪声、压缩数据、提取特
征、三维重建等内容。
? 在多媒体数据中,无法从客观世界直接摄取的可
视信息,就可用图形技术来制作,这些数据主要
包括文字、图形、动画。
? 图形包括二维空间及三维空间图形, 其中二维图
形仅能表现图形中各部分简单的位置关系 。
? 三维图形经真实感处理, 将使图形能表达出空间,
位置, 材质, 明暗等接近自然的真实感效果 。
? 动画是图形对象赋予运动属性后制作的连续画面
效果, 需要专门的软件工具制作 。
? 图形文件的格式通过图形原语和它们的属性来描述。
图形本身决定了哪些原语被支持,诸如线型, 线宽、
颜色之类的属性影响着图形画面的输出。
? 这种表示需要在图形显示时被转换成低级图像的点
阵。高级原语的优点是减少了存储每幅图像需要的
数据,容易操纵图形图像,缺点是需要更多的步骤
来将图形原语及其属性转换成它的图像像素。
? 对 图形软件开发产生广泛影响的标准有 PHIGS,
GKS和 OPEN GL等 。
4.4.2 计算机动画
? 计算机动画 (computer animation)是用计算机生
成一系列可供实时演播的连续画面的技术,它
可把人们的视觉引向一些客观不存在或做不到
东西,并从中得到享受。
? 计算机动画是使用计算机作为工具来产生动画
的技术,计算机在动画制作过程中起着大量的
不同的作用,表现在画面创建、着色、录制、
特技剪辑、后期制作等各个环节。
1.历史与发展
? 1831年,法国人 Joseph Antoine Plateau利用视觉
滞留原理发明了一种称之为“诡盘”的机器创
造了运动画面的幻觉。第一部动画片是 1906年
由美国人 J,Steward Blackton 制作的,名字叫
,Humorous Phases of Funny Face” 。
? 1909年美国制作第一部卡通片 ; 1915年引入
Cel动画技术 ; 1928-1938,Disney时代, 米老
鼠、唐老鸭风靡一时。
? 1963年,BELL实验室制作第一部动画片。
? 20 世纪 60年代,二维计算机动画发展时期 。
? 20 世纪 70年代,动画片屡屡获奖 ; 三维动画系
统是研究重心。
? 20 世纪 80年代后期,随着以 SGI为代表的高性
能图形工作站出现以及图形学理论的飞速发展,
推出了一批可生成具有高度真实感的实用化、
商品化的三维动画系统。
? 20 世纪 90年代后,计算机动画在影视制作方面
取得辉煌成就。
? 我国的计算机动画的研究与应用虽然起步较晚,
举办 1990年亚运会时,开始有所起步。
? 20 世纪 90年代发展很快,一些大学和科研 单位相
继开展计算机动画的研究工作,缩短了与国际上
的差距,有些领域的工作在国际上产生一定的影
响。
? 在应用方面,以电视片 头、卡通片、动画广告制
作为重点,在社会上产生了动画热。
? 目前我国的动画研究水平逐步缩短了与国际差距,
越来越多的学者活跃于国际学术界。
2.计算机动画研究内容
? 运动控制方法
? 动画描述模型与动画语言
? 中间画面的生成技术
? 三维动画中的物体造型技术
? 动画绘制技术
(1)运动控制方法
? 计算机动画中用于控制动画物体随时间而运动或
变化的运动控制模型主要有,
? 运动学方法; (起点,终点,时间 )
? 物理推导方法; (受力分析 )
? 随机方法; (分形,粒子系统 )
? 行为规则方法; (角色分类,行为规则 )
? 自动运动控制方法等。 (人工智能,机器人 )
(2)动画描述模型与动画语言
? 用户和动画系统的交互方式是评价动画系统的
重要因素之一,这种交互方式的抽象层次和自
然语言化程度主要依赖于动画描述模型的影响。
? 对动画描述较有影响的描述模型有 面向对象方
法,角色理论,记号系统,时间轴描述,基于
时序算子的描述,基于知识的描述等。
? 基于动画描述模型开发的动画描述语言主要有 3
类,记号语言 (动作编码 );通用语言 (扩展的
流行语言 );图形语言 (专门设计 )。
(3) 中间画面的生成技术
? 动画的中间画面的生成主要有 3种途径,
? 关键帧方法;
? 算法生成;
? 基于物理的动画生成 。
图 4.5 小球运动的线性插值
(4) 三维动画中的物体造型技术
? 动画中物体表示可分为 3个层次
线框 物体由一系列线框表示 。
表面 物体由一系列面素表示 。
体 物体看作一系列体素组成或看作 3D空间包围部分 。
? 曲面造型 代数曲面;拟合曲面 (Bezier,B样条,
NURBS曲面 )。
? 实体造型 边界表示, CSG,推移, 八叉树, 单元
分解 。
? 人体造型 骨架 -肌肉 -皮肤 。
? 人体动画 造型和运动控制十分困难, 计算机动
画技术的最大挑战 。
(5)动画绘制技术
? 真实感 图形绘制技术是计算机图形学研究的一个
重要内容,人们已经提出了许多光照模型和绘制
算法,其中有代表性的常用的光照模型有 Phong
模型,Cook-Torrance模型,Whitted模型等。
? 绘制技术有 扫描线算法,Phong明暗处理算法,
光线跟踪技术,辐射度技术 等。动画绘制除了使
用上述方法外,还可根据其目标是生成一系列连
续画面图像的特点,利用相关性来加速绘制过程。
3.计算机动画的应用
? 面向影视制作的应用 不强调画面的真实性,只追
求观赏性和趣味性,其中角色的运动可以有些虚
幻,但绘制技术要求较高,能模拟出各种真实感
效果。
? 面向模拟的应用 着眼于各种真实问题的仿真研究,
它追求数据的正确性和结果的可信性以及能使各
种以前仅能得到大批数据的科学试验可视化,这
类动画对绘制效果没有前者要求的高。
(1) 影视制作
(2) 广告制作
(3) 教育领域中的辅助教学
(4) 科研领域
(5) 工业领域
(6) 视觉模拟
(7) 娱乐工业
4.4.3 三维动画制作软件 3DStudio
1.系统简介
? 3DStudio是美国 Autodesk公司所推出的在 PC机上
运行的实体设计及动画制作软件,提供给专业
绘图人员建立高质量图像或制作动画所需功能。
? 3DStudio提供用户组合各种色彩的设置、各种透
明度的控制、表面纹理以及各种反射的特性,
以帮助产生任何可以想象出来的材质。
? 3DStudio由 5个模块组成,二维造型,三维放样,
三维编辑,材质编辑,关键帧编辑。
2.动画制作过程
? 用二维造型 (2D Shaper)绘制各种平面几何图形。
? 在三维放样 (3D Lofter)中将平面几何沿着给定路径放样
成三维立体形体,并转入三维编辑 (3D Editor)。
? 再在三维编辑器中,对物体所在的场景进行各种设置
和调整,包括设置场景中的光源和摄象机。
? 材质编辑 (Material Editor)的作用是制作物体所需的各种
表面材质和纹理质感。
? 在关键帧编辑 (Keyframer)中,可以对三维编辑器中制
作的三维场景设置关键帧,以定义各种物体的运动轨
迹。
? 真正的动画效果还需要绘制过程才能体现 。
图 4.6 3DSudio各模块之间关系
二维造型 三维放样 三维编辑 静态效
果图
材质编辑
关键帧编辑 动画片
动画创意,
? 动画是科学与艺术相结合的产物,又称之为计
算机艺术,好的动画作品,需要完美的艺术构
思和创造性设计,这就是动画的创意。
? 动画创意至少需要下列 3方面知识,
? 设计者必须具备一定的艺术修养和创造能力;
? 设计者必须知道计算机能否实现它,实现的复杂程
度如何;
? 设计者必须具有大量的计算机动画制作经验。
二维造型,
? 创作各种二维的线条和图形, 这种平面造型可
由三维放样模块沿着一条路径扩展长成三维空
间的对象, 然后这些对象可由三维编辑器编辑 。
? 二维造型可用来设计某个对象运动的路径, 交
关键帧编辑器从而形成立体对象的动画 。
? 在进行三维放样前, 需保证二维图样是闭合且
无重叠交叉, 其合法性可用 Shape/check来检查 。
三维放样,
? 工作步骤如下,
① 读入二维造型所建立的造型;
② 赋予读入造型一条在二维空间里的放样路径;
③ 将二维造型沿着路径增加厚度放样成一个三维的对象 。
所产生的对象会自动由三维编辑器处理成三维的网
状对象 。 造形和路径共同组成一个所谓的模型 。
在三维编辑里用户可以直接编辑这个对象, 在对
象表面上赋予材质, 或指定光源, 将对象着色 。
三维编辑,
? 用户使用这个模块创造、排列、着色一个三维
空间的场景。也可以建立及调整灯光作特殊效
果,并使用材质编辑创造的材质以增加真实感。
? 三维编辑和三维放样模块都提供 6种观察方式
(Front,Back,Top,Bottom,Left,Right)
来观察正在建立的三维对象; 此外,它还提供
了摄象机观察方式,用户可以通过此方式来进
行对象材质的赋予及着色等动作。
关键帧编辑,
? 使用关键帧编辑器来制作动画的过程为,
先定义整个动画是包含那几个关键帧;
然后指定这些帧中每个元素位置与状态,该
编辑器会计算出画面之间移动的过程以及状
态的变化,以自动产生关键帧间的画面,使
动画过程平滑和缓。
材质编辑器,
? 主要给用户提供不同方式的贴图功能,所谓贴图是
指可以赋予对象表面以图像效果。
? 用户可以建立以下种类贴图,
①纹理贴图,其效果就象将图像直接画到对象表面一样。
②透明度贴图,用来设置对象表面的透明程度,贴面里颜色
越深的地方透明程度越高,越浅则越不透明。
③反射贴图,用来制造出图像从对象表面反射出来的效果。
这些可通过材质编辑器调整物体材质的属性参数来实现。
本章小结
? 首先讨论了多媒体音频数据的编码原理,并以典
型的软件为例介绍了音频数据录制与编辑方法。
? 简要介绍静态图像和视频数据的基本概念和技术,
较详细讨论了图像的编辑处理软件的功能和视频
数据的获取过程。
? 最后介绍了图形数据和动画数据的概念,着重描
述了计算机动画的概念、原理和基本技术,并以
流行的动画软件为例介绍了动画制作过程。