数字多媒体的引言
回顾与猜想 (待解决的问题 )
? 物理量 ---数字化 (A/D)
? 编码 (效率,码长,通用,标准 …,.)
? 量大 (压缩 /解压缩 )
? 信息处理 (深加工 )
? 相关的设备 (完成各种功能 )
(IO设备,高速接口,与 Memory,硬盘,CPU的关系 )
3.4 数字声音及应用
数字声音的 特点,
是一种 连续媒体,传输与播放有 实时性 要求
数据 量大,对 存储 和 传输 的要求很高。
数字声音的类型,
1.取样(波形)声音,
全频带 声音与 语音
2.计算机合成声音,
合成音乐 ( MIDI)与 合成语音
1.波形声音的获取
方法,
2,量化( quantization,AD conversion )
3,编码( encoding)
模拟
声音
信号
量 化 数字声音
01100011001··
编 码 取 样
1,取样( sampling)
波形声音获取设备
?联机 获取设备 (声卡 )
麦克风
( microphone)
声音卡
( sound card)
声波转换
为电信号
取样、量化、
压缩、编码,








? 脱机 获取设备:数码录音笔
2.声卡的功能与原理
DSP
DMA接口
PC总线
取样,量化
D/A 重建滤波
声音输出
声音输入
MIDI合成器
mixer
MIDI接口
波形声音的获取、编码;
波形声音的重建、播放;
MIDI消息的输 入; MIDI声音的合成、播放;
(CD-ROM 驱动器的控制,CD-DA声音的播放 )
3.波形声音的 表示 及 参数
二进制串行表示,比特流( bitstream)形式
按一定的标准或规范进行了压缩编码
主要参数,
取样频率,量化位数,声道数目,压缩编码方法
数码率 (kb/s)/比特率 /码率
波形声音的码率 =
取样频率 × 量化位数 × 声道数
4.波形声音的 数据压缩
全频带 声音的压缩编码,
? 第 1代压缩编码,PCM(脉冲编码调制 )
? 第 2代压缩编码:感知声音编码 (MPEG)
数字 语音 的压缩编码,
? 波形编码
? 参数编码(模型编码)
? 混合编码
全频带声音的第 1代编码技术
全频带声音指的是 10 Hz~ 20,000 Hz范围里的所有可
听声音,也叫做宽带声音或高保真 (high-fidelity)声音 ;
第 1代全频带数字声音( CD,DAT)的编码采用 PCM
编码,
采样频率,44.1 kHz 或 48 kHz
量化精度,16位
声道数目,1或 2
码率,705.6/768 (kb/s) 或 1.41/1.54 (Mb/s)
全频带数字音频第 2代的编码技术
MP3音乐是什么?
Dolby AC-3是什么?
Real Audio是什么?
名称 压缩后的码率(每个声道) 声道数目 主要应用
M P E G - 1 层 1 3 8 4 k b p s (压缩 4 倍) 2 数字盒式录音带
M P E G - 1 层 2 256 ~ 1 9 2 k b p s (压缩 6 ~ 8 倍) 2 D A B,V C D,D V D
M P E G - 1 层 3 128 ~ 1 1 2 k b p s (压缩 10 ~ 12 倍) 2 I n ter n et, M P 3 音乐
M P E G - 2 au d io 与 M P E G - 1 层 1,层 2,层 3 相同 5,1,7,1 同 M P E G - 1
D o lb y A C - 3 64 kbp 5,1,7,1 D V D,D T V,家庭影院
5.关于流媒体
音 (视 )频媒体的传输 要求,
高带宽,连续实时传输,平稳传输,克服突发问题
传输音 (视 )频媒体的 2种方式
1.先下载,后播放(长时间,存储需求高)
2.边下载,边播放 (流式传输方式,只需经过几秒
或十数秒的启动延时即可进行播放)
什么是流媒体 (Streaming)技术
流媒体技术就是允许在 窄带网 上让用户一边下载
一边收看 (听 )音视频连续媒体的技术。
使用流式传输技术的音 /视频媒体,称为流媒体。
1995年出现,优点,
1,等待时间大大缩短;
2,减少了对缓冲容量的需求;
3,降低了对网络带宽的要求。
演示,本课程的实习课件
6.波形声音的文件格式
.wav (waveform),主要用在 PC上,
.PCM,使用 PCM编码的声音文件,
.VOC,声霸卡使用的音频文件格式
mp2,MPEG Layer I,II,
mp3,MPEG Layer III,
rm,ra(RealAudio),RealNetworks的流式声音文件
.wma,微软公司的流式声音文件
.aif (Audio Interchangeable File Format),苹果机
7.语音压缩编码的 3类方法

低 低 中
码率 (kb/s)
1 2 4 8 16 32 64





语音质量
模型编码 ( 源编码 )
混合编码 波形编码
数字语音的应用
记录 /回放方式的应用
数字录音机( DAT)
数码录音笔
语音复读机,电子有声读物
? 通信 /广播方式的应用
– 电话,移动电话
– IP电话
? 合成声音的应用
– 自动应答系统
– 虚拟播音员
8.音乐合成( MIDI)
乐曲的计算机 表示方法 ——MIDI Message
乐曲的 制作软件 ——音序器
存放乐曲的 文件 ——,MID 文件
播放 乐曲的 软件 —— 媒体播放器
乐器 声音的生成 —— 声卡上的音乐合成器
乐谱
输入
音序器
软件
M I D I
合成器
M I D I
音乐
M I D I
文件
实时
演奏 媒体
播放器
M I D I 键盘 M I D I 消息 M I D I
消息
音序器软件的功能
MIDI乐曲的记录与制作;
MIDI乐曲的编辑, 包括各种修改功能;
MIDI乐曲的播放, 包括任意轨道的播放;
MIDI乐曲的存储;
乐谱的生成与打印 。
MIDI合成器的特性 1
MIDI合成器相当于一个电子乐队,它划分
成 16个 Channel( 通道 ),每个通道是 1个逻辑
合成器,各个逻辑合成器可演奏不同的乐器和
不同的乐谱。每个通道的特性均可独立设置。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
MIDI合成器的特性 2
每个 通道 能演奏最多 128种不同的乐器 (称
为 音色 )。不同乐器有不同编号。每个通道
一次只能演奏一种乐器,但可随时改变。
基于 PC的电脑音乐系统
小结与比较
设,
CD唱盘全频带数字音乐 10首歌
MP3格式下可存放 100首
MIDI制作可存放 1000首
视频 (video),随时间变化其内容的一组图象 (24,25,
30帧 /秒 ),又叫运动图象或活动图象。
常见视频信号:电视,电影,动画等,
视频信号的特点,
1.内容随时间而变化,
2.伴随有与画面动作同步的声音 (伴音 ),
3.人类接受的信息 70%来自视觉,。
视频信息的处理是多媒体技术的核心。
3.5 数字视频及应用
视频信号的数字化
彩色电视信号在远距离传输时, 使用亮
度信号 Y和两个色度信号 U,V来表示, 与
RGB表示可按下式进行转换,
亮度分量 Y = 0.3*R+0.59*G+0.11*B
色度分量 U = 0.493* (B-Y)
色度分量 V = 0.877 * (R-Y)
色度信号的取样( CCIR601)
人对颜色的敏感程度远不如对亮度
信号那么灵敏,所以色度信号的取样频
率可以比亮度信号的取样频率低,以减
少数字视频的数据量。
色度信号的取样频率有以下 4种,
色度信号的 4种取样格式
4:2:2
亮度信号
色度信号
4:4:4
4:2:0 4:1:1
视频采集 (捕获 )卡
video grabber video
buffer
overlay conversion
TV coder
VGA
graphics
VGA
VRAM
MM
CPU DSP
Codec
PCI bus
video
RGB
monitor
TV set
disc
视频获取设备 1:数字摄像头
最高分辨率为 640× 480,一般
都是 352× 288,
速度一般在 30fps(每秒 30帧)
以下,
镜头的视角可达到 45-60度,
支持 USB接口 或 FireWire(火
线)接口。
视频获取设备 1:数码摄像机
提供 480线以上的分辨率,
清晰度高,
自动对焦 (Auto focus),自
动曝光 (Auto Expose),
使用 M-JPEG或 MPEG-2进
行压缩编码,然后记录
在磁带或磁盘上,
提供录音功能,
数据量很大,采用 USB接口或 IEEE1394
( FireWire)接口,后者传输速率可以
达到 200-800MB/s。
数字视频的压缩编码标准
名 称 源图像格式 压缩后的码率 主要应用
MPE G - 1 C IF 格式 大约 1.2 M b/ s ~1.5M b/ s 适用于 V CD,数码相机、数字摄像机等
H.26 1 C IF 格式,
Q C IF 格式
P x6 4 k b/ s (P =1, 2 时, 只支持 Q C IF
格式, P ≥ 6 时, 可支持 C IF 格式 )
应用于视频通信,如可视电话、会议电
视等
MPE G - 2
(MP@M L )
720x576 5 M b/ s ~15 M b/ s 用途最广,如 DVD, 150 路卫星电视直播,
540 路 C A TV 等
MPE G - 2
Hig h P ro fil e
14 40 x11 52
1 92 0 x1 15 2
80 M b/ s ~1 00 M b/ s 目标是高清晰度电视( H D TV )领域
MPE G - 4
(H.32 4)
多种不同的视
频格式
与 M P EG - 1, M PEG - 2 相当,但最低
可达到 64 k b/ s
适合于交互式多媒体应用,包括虚拟现
实、远程教学、交互式电视等
数字视频的应用模式
Recording and playback模式
VCD
DVD
数字录像带
Communication 模式
单向 (Broadcasting:数字电视,Web-TV)
双向 (Interactive,ITV,VOD,可视电话,视频会议 )
数字视频应用的关键技术
1.存储 /通信介质与信息记录 /传输方法 ( 物理 层)
大容量(高速率)
可靠性
2.数据组织与存取方法 ( 系统 层)
随机存取
不同系统之间的互操作
3.音视频数据编码 ( 应用 层)
数据压缩、可伸缩性、基于内容、抗错能力,···
音视频同步,实时播放
音视频信
息的编码
音视频信
息的解码
数字电视的传播途径






视频
服务器
光盘
制作
地面无线 (DVB-T)
卫星 (DVB-S)
CATV (DVB-C)
Internet
VCD
DVD
解码器
电视机
PC机
VOD系统的分类
按系统规模,
小型视频点播系统,100个用户以内
中型视频点播系统,100~ 300之间
大型视频点播系统,300户以上
按响应方式,
True VOD
Near VOD
按交互性,
节目内交互( intraprogram) —— 全交互电视
节目间交互( interprogram)
VOD系统的组成
包括:服务器, 网络和客户端 3大组成部分,
客户 /服务器模式, 连续媒体数据,
只读型的 ( Read-Only), 非对称的通信方式 。
用 户
接入网
宽 带
广域网 交换器 LAN
家庭用户
)
单位用户
视频
服务器
28.8-128 kb/s
10-100Mb/s
分配服务器
和 /或
智能部件
网 管
工作站
节目制作中心
1.什么是 数字媒体?
“媒体, 指的是信息的各种 表示形式
(如数值、文字、图象、声音、视频等)
数字媒体 就是,
数值、文字、声音、图像等的 二进制 数字表示
数字媒体是随着计算机功能的 不断增强,
计算机应用的 不断深入 而 发展 起来的
总结
2.两种不同类型的数字媒体
1.自然媒体 (使用数字化方法从现实世界获取的媒体 )
2.合成媒体 (使用计算机制作的媒体 )
Model
(description)
采用特定符号 (语言 ) 表示的文
本,合成语音,MIDI,图形,动画
Modeling
(describing)
人工交
互方式
命令语
言方式
rendering 人可以感知的形式
声 波
光波

温度
检测与
转换器



数字化 数字自
然媒体
取样声音,扫描
图像,数字视频
3.数字媒体技术的内容
媒体
编辑
媒体
编辑
媒体
编辑
媒体
编辑
多媒体作
品 (文档 )
媒体消费
媒体
集成
文本
图像
音频
视频
网络
媒体通信 媒体
准备
媒体
准备
媒体
准备
媒体
准备
(文本 )
(图象 )
(音频 )
(视频 )
(浏览、检索、播放、交易 )
数字媒
体的表

多媒体
文档的
表示
4.为什么要学习数字媒体?
1.数字媒体是各种计算机应用的处理对象,也是
网络传输对象。不了解, 对象,,就不能透彻
地理解计算机和网络的工作原理。
2.进一步理解计算机的工作原理
3.更好地理解常用工具软件的操作原理
4.扩大知识面,了解更多的计算机应用
5.为各个专业和学科进一步学习、使用计算机打
下必要的基础
回顾,数字多媒体的引言
? 物理量 ---数字化 (A/D)
? 编码 (效率,码长,通用,标准 …,.)
? 量大 (压缩 /解压缩 )
? 信息处理 (深加工 )
? 相关的设备 (完成各种功能 )
(IO设备,高速接口,与 Memory,硬盘,CPU的关系 )
本章的学习目标与要求
P74
实验,
单元 4:WORD
单元 5:EXCEL
单元 7:PowerPoint
检查,做综合练习 (10套 )
制作专题幻灯片
谢 谢 !