多媒体技术
(Multimedia Technology)
网络多媒体技术应用
2
提 纲
多媒体的基本概念
定义
特性
分类
研究内容
重要性网络多媒体技术应用
3
什么是多媒体:定义
Multimedia释义
Multi (Latin multus) - many; much; multiple
Medium (Latin medius) - a substance regarded as the means of
transmission of a force or effect; a channel or system of
communication,information,or entertainment
(Merriam-Webster Dictionary )
多媒体
Multimedia:文本、图形、图像、视频和音频的组合形式,使其内容更丰富,更便于交流。
数字媒体
Digital Media,以数字化的形式存储、处理和传播信息的媒体,
以网络为主要传播载体,并具有多样性、互动性、集成性等特 点。
MultimediaMulti Media
网络多媒体技术应用
4
多媒体的特性
多媒体强调的是使用多种媒体、综合表达信息内容并进行交互式处理的技术。
从本质上来说,具有三种最重要的特性:
媒体的多样性,其中至少有一种连续媒体;
媒体的集成性 (综合性),多种不同媒体综合地表现某个内容,取得更好的效果;
处理的交互性,使人们获取和使用信息的过程中具有更好的控制和操纵能力。
网络多媒体技术应用
5
计算机与媒体表示存储展现采集感觉 感觉表示传输
Output DeviceInput Device CPU
网络多媒体技术应用
6
什么是多媒体:分类
最常见的分类方法是基于感觉
文本
图像
音频 (语音 )
视频
基于描述空间中时间维分类
时间独立 (离散 )
文本、图形
时间依赖 (连续 )
音频、视频、语音、动画
基于描述空间中空间维分类
1D媒体
单声道语音、音乐
2D媒体
双声道音乐、图像、二维图形
3D及多维媒体
三维图形,全景图像,空间立体声音乐媒体分类标准存储
(Storage)
展现
(Presentation)
表示
(Representation)
感觉
(Perception)
信息交换
(Information Exchange)
传输
(Transmission)
网络多媒体技术应用
7
数字媒体技术的研究内容
核心关键技术
数字媒体信息处理技术:视音频编码压缩、图像 /视频内容分析、语音识别等;
数字媒体传输技术:网络流媒体,P2P、无线多媒体传输等;
数字媒体内容管理技术:多媒体数据库、基于内容的检索、数字版权管理、数字信息保护、数字媒体集成分发等。
关联支持:
数字媒体信息获取与输出技术:图像 /视频采集技术与设备、
三维显示技术与设备等;
数字媒体存储技术:海量分布存储等。
扩展应用:
图形与动画技术:图形输入、图形建模、图形处理与输出、复杂物体造型、表演动画等;
虚拟现实技术:动态虚拟环境建模、实时三维图形生成、立体显示与传感器等。
网络多媒体技术应用
8
数字媒体:编码、理解、传输与安全版权保护与媒体安全
10110100
(数字 )视频编码压缩
Video Coding(Compression)
10110100
(数字 )视频解码 (解压缩 )
(Video decoding)
视频 / 图像
(Video/Image)
拍摄 (摄像设备 )
媒体理解视觉 /Vision
视知觉 (大脑 )
视感觉 (眼睛 )
客观世界视觉信息 /知识
(Visual Info./ Knowledge)
网络多媒体技术应用
9
为什么数字媒体很重要?
数字媒体无处不在
所有设备和内容数字化 …… 海量的多媒体数字图书馆;
计算、通信、内容、消费电子融合( 4C);
网络与多媒体的融合为个人与社会提供了更宽广的虚拟媒体世 界与自我展示平台,如 Youtube。
Conclusion:多媒体是信息技术发展的必然趋势、
数字媒体技术应用广泛
家庭娱乐、教育培训、视频会议、远程医疗 ……
数字影视、数字游戏、数字广播、数字出版、数字广告 ……
国家产业与经济发展
数字音视频产业是电子信息产业的重要组成部分,主要由视频类、光盘类、音频类等产业群组成,产值约占信息产业产值的 三分之一。
2008年数字视音频产业年产值将达 9000万元,超过通信产业成为信息产业第一大产业。 2010年达到 15000亿,成为国民经济第一大支柱产业。
新经济时代,数字媒体产业提供了大量就业与创业机会 !!
网络多媒体技术应用
10
Trend 1,海量的多媒体数字图书馆
Leading to Mega Trend 2…
The Digital,Library”
网络多媒体技术应用
11
Trend 2:从 2C到 4C
Innovation
1985 1990 1995 2000 2005
Demand
Any Time,
Anywhere,
Any Device
COMPUTING
COMMUNICATIONS
网络多媒体技术应用
12
提 纲
媒体数字化
媒体的表示
颜色与颜色模型
图形
视频
音频
其他媒体
媒体标准
数字媒体的应用网络多媒体技术应用
13
媒体数字化
为什么要数字化?
媒体数字化关键技术
采样( Sampling)
压缩( Compression)
编码( Coding)
网络多媒体技术应用
14
为什么要采用数字形式?
通用的存储和传输格式,数字化后处理更方便
适用于光盘存储和 远距离传输
准确可靠,没有累计失真,属于无损传输和存储
BUT:
采样率失真,信息丢失 /扭曲
与模拟相比,需要很大的空间。
大量的工作来进行基于感知的有损数字压缩技术网络多媒体技术应用
15
数字化过程
三步骤
采样( Sampling)
量化( Quantizing)
压缩( Compression)与编码( Coding)
Sampler
Quantizer
&
Coder
analog signal sampled signal
digitized signal
网络多媒体技术应用
16
Step 1,采样
以某种频率将模拟信息的值取出,得到一些离散信号。
采样定理,采样频率 >=原始信号频率的 2倍 时,
采样信号才可以保真地恢复为原始信号。
网络多媒体技术应用
17
Step 2:量化
将采样样本的幅度按照量化级别决定其取值的过程。目的是 将采样样本的幅度值离散化 。
量化之前需要规定量化级,比如 8级,16级等。
量化是一个对一的映射。
网络多媒体技术应用
18
Step 3:编码与压缩
编码
用相应位数的二进制代码表示量化后的采样样本的量级。
如果有 N个量化级别,那么对应的二进制位数就为 log2N。当 N
= 16,二进制需要 4位。
经过编码之后,每个样本都表示为相应的二进制代码。
脉冲编码调制( PCM,Pulse Code Modulation),完成模拟信号的数字化网络多媒体技术应用
19
为什么需要数据压缩?
压缩编码的原理
压缩就是去掉信息中的冗余成分,即保留不确定的信息,去除确定的信息 (可推知的 ),也就是用一种更接近信息本质的描述来代替原有冗余的描述。
信息冗余的例子
你的朋友,Helen,将于明天晚上 6点零 5分在 上海 的虹桥机场接你。
(23*2+10=56个半角字符 )
你的朋友将于明天晚上 6点零 5分在虹桥机场接你。
(20*2+3=43个半角字符)
Helen将于明晚 6点在虹桥接你。
(10*2+7=27个半角字符)
结论:只要接收端不会产生误解,就可以减少承载信息的数据量。
网络多媒体技术应用
20
媒体表示
颜色模型
RGB颜色模型:最基本的表示模型
YUV颜色模型:用于 PAL电视信号传输,中国采用
YCbCr色彩模型:数字视频常用的颜色模型。
图形和图像的表示
视频的表示
数字音频表示网络多媒体技术应用
21
颜色模型
三基色原理,将红、绿、蓝三种颜色按照不同的比例进行组合,就可以引起人眼对自然界的全部颜色感觉。
颜色模型
RGB色彩模型,彩色最基本模型,适合于计算机系统 ;
CMY(CMYK)色彩模型,用于印刷 ;
YUV(亮度、色差 )色彩模型,用于 PAL电视信号传输;
YIQ色彩模型,用于 NTSC彩色电视广播;
YCbCr色彩模型,数字视频常用的颜色模型。
网络多媒体技术应用
22
RGB颜色模型
RGB颜色模型是彩色最基本的表示模型。
RGB分别代表三种基本颜色红 (red)、绿 (green)、蓝 (blue)三色,每种颜色的亮度大小用数字 0-255表示。
通过对 R,G,B三个颜色通道的变化以及它们相互之间的叠加可得到各式各样的颜色,共有 1670万种颜色。
R=G=B=0 黑色
R=G=B=255 白色
0<R=G=B<255 灰色网络多媒体技术应用
23
其他颜色模型
YUV颜色模型
Y表示亮度信号,可构成灰色图像,U,V表示色度信号,是构成色彩的两分量。
YUV空间相当于对 RGB空间做了一个解相关的线性变化。
YUV的最初作为模拟电视系统信号编码
其亮度信号和色差信号分离,容易使彩色电视系统与只对亮度敏感的黑白电视机亮度信号兼容。
PAL制式电视系统就采用该空间进行传输,电视机接收后再转换成 RGB空间。
YCbCr色彩模型
YCbCr颜色空间是由 YUV颜色空间派生的一种颜色空间,主要用于数字电视系统中。
Y代表亮度,Cb和 Cr代表色差。
YCbCr颜色模型考虑的是压缩时可以充分取出冗余量。
从 RGB到 YCbCr的转换中,输入、输出都是 8位二进制格式。
网络多媒体技术应用
24
图形和图像的表示
图像的基本属性
分辨率:组成图像的像素数目
颜色深度 (位数 ):存储每个像素所用位数
如,640* 480* 256色 (即 8位 ) ≈ 300k
真彩色和伪彩色:显示图像时,真彩色由 R,G,B直觉决定显示设备的基色强度,而伪彩色则通过颜色查找表来决定。
主要的图像文件格式
JPEG (Joint Picture Expert Group):有损压缩;多用于照片;
GIF (Graphics Interchange Format):无损压缩,最多 256色,可透明,
可动画;多用于小图标;
TIFF (Tag Image File Format):未压缩或简单压缩;多用于扫描及传真;
BMP (Bitmap),Windows中的位图,一般未压缩;
EPS (Encapsulated PostScript ):矢量绘图软件和排版软件所使用的格式。
网络多媒体技术应用
25
图形和图像的表示和存储方法
矢量图 (Vector):多用于图形
用一组命令来描述图形,这些命令给出构成图形的各种属性和参数,如圆可以是圆心坐标、半径以及粗细和色彩组成的。
优点:图形文件占用空间较少。
缺点:图形复杂时,耗时相对较长。
位图 (Bitmap):多用于图像
在空间和色彩上已经离散化的图片,通过描述画面中每一像素的颜色或亮度来表示该图像,非常适合表现包含大量细节的图片 (如明暗、浓淡、层次和色彩变化等 )。
优点:色彩和色调变化丰富,景物逼真。
缺点:缩放等处理后易失真,数据量大。
网络多媒体技术应用
26
视频的概念
视频:动态图像,是一组图像按时间顺序的连续展示。
利用人眼视觉暂留的原理,通过播放一系列的图片,使人眼产生运动的感觉。
视频的三要素:
空间分辨率(即屏幕上的点数)
颜色分辨率(即每个点的颜色位数)
时间分辨率(即每秒的帧数)
按信号组成和存储方式的不同:
模拟视频,是由连续的模拟信号组成的图像序列,像电影、电视和录像的画面;
数字视频,是一系列连续的数字图像序列。
基本概念
帧,一段视频中的每一幅图像称为一帧。根据视觉暂留原理,要使人的视觉产生连续的动态感觉,每秒钟图像的播放帧数要在 24~ 30帧频(每秒播放的帧数)。
扫描,传送电视图像时,将每幅图像分解成很多像素,按照一个一个像素、一行一行的方式顺序传送或接收。扫描行数(扫描分辨率)越多,电视清晰度越高。分 隔行扫描 (常用)和 逐行扫描 。
网络多媒体技术应用
27
模拟视频(电视)
采用隔行扫描技术:先扫奇数行,后扫描偶数行
模拟视频制式
NTSC(美国、日本) 30帧 /秒,525行 /帧
PAL (西欧、中国) 25帧 /秒,625行 /帧
SECAM(俄、法)
注:电影是 24帧 /秒
TV制式 NTSC PAL SECAM
帧频 (Hz) 30 25 25
行 /帧 525 625 625
亮度带宽
(MHz)
4.2 6.0 6.0
彩色幅载波 (MHz)
3.58 4.43 4.25
声音载波
(MHz)
4.5 6.5 6.5
pal,25帧 /秒
ntsc:30帧 /秒不同模拟电视制式的主要技术参数网络多媒体技术应用
28
数字视频
数字视频的优点
便于存储和传输,适合于网络应用
抗干扰能力强,再现性好
便于计算机编辑处理
增加交互性
常见的数字视频文件格式
MPG,采用 MPEG组织制定的视频压缩编码算法生成的视频文件。平均压缩比为 50∶ 1,
最高可达 200∶ 1。 VCD,SVCD,DVD均采用 MPEG视频标准。
AVI:微软公司推出的一种音频视像交插记录的数字视频文件格式。
MOV,Apple公司在其生产的 Macintosh机(后移植于 PC/Windows环境)推出的视频格式,
可以采用不压缩或压缩的方式。
RM,RealNetworks公司所制定的音频视频压缩文件格式,根据网络数据传输速率的不同制定了不同的压缩比率,能用于流媒体播放。
WMV,Microsoft公司出品的视频格式文件,具有本地或网络回放、可伸缩的媒体类型、
流的优先级化等特点。
ASM,AVS的视频文件格式。
数字视频的应用
广播电视,包括地面、卫星电视广播、有线电视 (CATV)、数字视频广播 (DVB)、交互式电视 (ITV)、高清晰度电视 (HDTV)。
通信,包括可视电话 (Videophone)、视频会议 (Videoconferencing)、视频点播 (VOD) 等。
个人娱乐:录象节目,VCD,DVD,电视购物、家庭摄像、视频游戏等。
网络多媒体技术应用
29
数字电视
数字电视 ( DTV) 的定义:
指从电视节目采集、录制、播出到发射、接收全部采用数字编码与数字传输技术的新一代电视技术。
它可以划分为 3大部分:信源部分(发送端)、信道部分(传输 /存储过程)和信宿部分
(接收端)。
数字电视分类:根据图像比特率的大小
标准清晰度数字电 视( SDTV)
高清晰度数字电视( HDTV)
数字电视的优点,
高清晰度的电视画面:可以可与 DVD相媲美(最低,1280× 720,最高,1920× 1080)。
优质的音响效果:伴音可以达到 CD质量。
丰富的节目内容,有线网的带宽利用率更高。
抗干扰功能力强,画面更稳定。
扩展功能多:机顶盒除了一些基本功能外,还有许多扩展功能如上网、点播、股票查询、
在线交易、远程教育等。
HDTV:由它所能提供的画面质量定义的。
分辨率,HDTV画面水平和垂直的像素目都差不多是常规系统的 2倍。垂直方向的高清晰度是由 1000多行的扫描线获得的。需要大约为传统 5~ 8倍的视频带宽。
宽高比,HDTV画面的指定宽高比为 16:9=1.777。
网络多媒体技术应用
30
数字音频的概念
声音的基本概念
声音是通过一定介质传播的一种连续波。
主要参数包括:振幅(音量的大小)、周期(重复出现的时间间隔)、频率(指信号每秒钟变化的次数)。
声音按频率分类
数字音频的三要素
采样频率,根据奈奎斯特理论,采样频率不低于声音信号最高频率的两倍。这样就能把数字表达的声音还原成原来的声音,称为无损数字化。
采样精度,用样本值的二进制位数来表示。位数越多精度越高,数据也越大。量化等级
声道数,使用声音通道的个数。立体声比单声道的表现力丰富,但数据量翻倍。
数据量=采样频率 × 量化位数 × 声道数 /8(字节 /秒 ),如 CD音质,44.1kHz X 16位 X 2
=176KB/s 。
数字音频的常见文件格式
WAV:是 Microsoft/IBM共同开发的 PC波形文件。因未经压缩,文件数据量很大。特点是声音层次丰富,还原音质好。
MP3:按 MPEG标准的音频压缩技术制作的音频文件。特点是高压缩比 (11:1),优美音质。
MIDI(乐器数字接口 ):是由一组声音或乐器符号的集合,特点是数据量很小,缺乏重现自然音。
次声波 可听声波 超声波
20Hz 20kHz
f(Hz)
网络多媒体技术应用
31
其他数字媒体
动画
利用人的视觉暂留特性使连续的静态播放的静态画面相互衔接而形成的动态效果。
动画性质
帧动画,构成动画的基本单位是帧,一部动画由许多帧组成。借鉴传统动画的概念,
每帧的内容不同,当连续播放时,形成动画视觉效果。
矢量动画,是经过计算机计算而生成的动画,画面只有一帧;通常采用编程方式制作,及某些工具软件。
动画制作
如 Flash (二维动画)
扩展名为,swf
闪客
如 3D MAX,Maya(三维动画)
数字游戏
采用数字技术实现的电子游戏,包括视频游戏、网络游戏和移动游戏等。
虚拟现实
利用计算机生成的虚拟环境,具有沉浸感、交互性和构想性 (I3)特性。
网络多媒体技术应用
32
数字媒体领域的主要技术标准
JPEG
MPEG系列,MPEG-2/4/7/21
H.26x系列,H.261/3/4
AVS
网络多媒体技术应用
33
数字媒体技术的应用
家庭娱乐
数字影视 (有线电视,IPTV、地面数字电视 )
数字游戏
数字广播
数字广告 ……
教育培训
视频会议
远程医疗
移动通信
移动多媒体广播、手机电视、移动电视 ……
……
网络多媒体技术应用
34
应用示例 1:高清视频
Intel AVS高清播放器 Intel AVS高清播放器网络多媒体技术应用
35
应用示例 2,手机电视
Intel IMPlayer— 嵌入式 AVS播放器
可在 Pocket PC和 Smart Phone上运行
支持全屏播放和窗口方式播放。
网络多媒体技术应用
36
应用示例 3:高清地面广播
D M B - T
解调器芯片
A V S
系统层
A V S 视频解码器
A V S 音频解码器图形处理显示控制器混音音频混和器主控
CPU
U S B
以太网控制器人机界面安全系统条件接收智能卡控制器
U D I 条件接收卡
AVS 后端芯片存储器芯片图形加速 调谐器网络多媒体技术应用
37
应用示例 4:数字动漫
数字动漫:艺术与科学的完美结合网络多媒体技术应用
38
课堂讨论
3ANY,Any One,Any Topic,and Any Suggestion
Examples
对多媒体技术的初步感受和体会
对未来多媒体技术发展趋势的理解与认知
……