第 5讲：视频处理技术
2.3 视频处理技术
2.3.1 数字视频处理方法
1.视频数字化
2.视频压缩与解压
2.3.2 视频彩色空间变换
1.彩色空间表示
2.YIQ彩色空间
3.YUV彩色空间
4.HSI与 RGB彩色空间的转换
5.彩色空间的带宽和采样格式
2.3.3 视频卡分析
2.3 视频处理技术视频（ video）：亦称活动图像．其构成原理可描述为视频 = 帧画面 + 伴音 + 交插／同步／播放技术视频分类：① 模拟视频：电视视频
② 数字视频：计算机视频
（视频卡：数字化，压缩编码）
2.3.1 数字视频处理方法
1.视频数字化内涵：将模拟视频信号经 A／ D转换和彩色空间变换，
转化为计算机可处理的数字信号；
以供编辑、存储、传输和播放
—— 通过视频卡和视频 I／ O设备完成
(1)视频信号的获取方法视频信号源通过视频输入设备产生
① 模拟视频输入
a.摄像机； 输入活动图像
b.录像机,输入各种制式的电视视频信号
c.数字化仪：把电视信号数字化后存放在视频卡中
② 数字视频输入
a.数字扫描仪：输入静止图像
b.数字摄像机：输入活动图像
c.视盘机,输入 VCD等视频文件视频源,a,内源视频 — 由视频卡生成
b,外源视频 — 可通过摄像机接入
(2)视频采样／量化过程需采用专用的视频输入卡,视频输入卡 的分类与作用：
① 捕获模拟视频输入信号，进行采样／量化处理 （捕获卡）
② 对不同视频源信号进行叠加处理和制式变换 （叠加卡）
③ 对视频图像进行帧缓存控制，以改变时间特性
④ 提供视频显示输出及同步控制功能
⑤ 提供实时动态捕获、编辑和数据压缩功能 （压缩卡）
采样策略,对应于三种采样功能级别
① 单帧采样：从视频源获取一幅幅静图；再用软件压缩和存储
② 连续帧采样：从视频源动态获取连续图像；生成可存储文件
③ 连续帧采压：动态捕获视频源，进行采样、叠加和压缩处理然后生成 AVI文件，存入硬盘视频数字化实现原理：
视频源 —— A／ D转换（视频输入卡） —— 视频显示
2.视频压缩与解压压缩编码：将数字化视频经过压缩编码变成电视信号，
以录制到光盘中或在电视上播放压缩／解压实现方法：
① 硬件压缩：将压缩算法集成在视频 I／ O卡上
a.视频输入卡：包括捕获卡、叠加卡和压缩卡
b.视频输出卡,包括数字电视卡和视频解压卡数字电视卡：可使计算机成为全频道全制式的数字电视视频解压卡：核心是 MPEG卡，支持 MPEG1和 MPEG2标准作用区间,视频显示 — D／ A转换（输出卡） — 视频播放
② 软件压缩：对视频采样得到的样本，用软件压缩算法实现常用压缩软件如,Video for Windows的 Microsoft Video 1
2.3.2 视频彩色空间变换
1.彩色空间表示
① RGB彩色空间：基于红、绿、蓝三基色的颜色模型
② HSI彩色空间：基于亮度、色调和饱和度描述的光谱模型
⑴ HSI模型的基本概念
① 色调 H：光波呈现的颜色种类；如红、绿、蓝、青、紫、黄
② 饱和度 S：颜色的深浅程度（浓度、纯度）；如深蓝、淡绿
③ 光强 I：亦称亮度；人的视觉所感受到的色彩明暗程度
④ 色度：色调与饱和度的通称；表示光颜色的类别与深浅程度
⑤ 色差：色度信号在通频带上分解表示的一对相减信号
HSI彩色模型的三个特征参量：色调，饱和度，亮度
⑵ 电视视频的彩色空间表示采用亮度和色度来分解信号；并将其能量分布在通频带上为了能用单一频率的幅载波传送色度信号，
通常将色度分解成两个垂直的色差信号；
并与亮度形成矢量变换关系依据亮度与色差的信号叠加与合成关系，可以定义：
·NTSC制彩色空间（ YIQ彩色空间）
·PAL制彩色空间（ YUV彩色空间）
2.YIQ彩色空间设,y为亮度； I与 Q为一对色差，且采用蓝（ B）与红 (R)作为色差信号,则：色度 C可表示为其中,ω为幅载波的角频率,θ 为色差变角即相位角，
C为色度幅值根据 NTSC制式的电视信号同步检波器，检测出两个信号值
B - y和 R - y，可建立亮度 y与 R,G,B三基色的关系；
并推得常用的亮度公式：
y = 0.299R + 0.587G + 0.114B
上述比例系数称,可见度系数,,其和为 1
三个色差信号 (B–y,R–y,G - y)中有两个是独立的，
最后一个可用亮度方程和两个色差信号通过运算得到计算表达式为：
y = 0.3R + 0.59G + 0.11B
B – y = - 0.3R - 0.59G + 0.89B
R – y = 0.7R - 0.59G - 0.11B
然后，对 B – y 和 R – y 的幅度按比例压缩，
以使彩色与黑白兼容；
缩小后的两个色差信号分别称 I和 Q．则
3.YUV彩色空间
PAL彩电制式中，为了克服 NTSC制的相位敏感性缺点，
采用了相序倒换方法，以通过平均抵消两信号间的误差设,y为亮度,U和 V为色差则,YUV模型与 YIQ模型的关系是两者的区别是：色度矢量图中的位置不同；
（ Q,I）为互相正交的坐标轴，
它与（ U,V）正交轴之间有 33° 夹角据此，可推出 YUV与 RGB的转换关系：
YUV彩色空间的优点：
① 亮度信号解决了彩色与黑白电视机的兼容问题；
可传送细节信息
② 色度信号可用于大面积着色
4.HSI与 RGB彩色空间的转换彩色图像可从 RGB彩色空间转换到 HSI彩色空间．计算公式：
5.彩色空间的带宽和采样格式
⑴ 带宽表示
① NTSC制：亮度 Y的带宽为 4.43MHz
色差 I的带宽为 1.3～ 1.5MHz
Q的带宽为 0.5MHz
② PAL制：亮度 Y的带宽为 4.43MHz； 色度 C的带宽为 1.3MHz
⑵ 视频采样格式 （ 亮度,色度 ）
① （ Y:U:V） =(4:1:1)格式：
亮度 Y的每个像素采样一次,色差分量 (U,V)由 4个像素平均因此,每输入 4个像素就有 4个亮度,一个 U和 V,共 6个值
② （ Y:U:V） =(4:2:2)格式：用于 PAL制每 4个像素有 4个亮度,2个 U和 V,共 8个值这种格式,色度采样信号增强了一倍,即加大了彩色宽度,
从而使数字化后的色彩,清晰度及稳定性明显改善
③ (Y:U:V)=(2:1:1) 格式：最省内存的格式每 2个像素一个亮度,每 4个像素一个色差 （ U,V各一个 ）
④ （ X:Y:Z） =(4:4:4)格式：用于 （ R:G:B） 或 (Y:U:V)模式每个像素采样一次,4个像素需 12个值,且每个分量带宽一样
2.3.3 视频卡分析
1.视频卡工作原理 （ 三大模块,见图 ）
⑴ 视频输入与制式转换数据流
① 视频源信号选择 （ Video0,Video1,Video2）
② 输入控制 （ 信号冻结／解冻,视频剪裁,信号缩放 ）
③ YUV数字信息
⑵ 视窗控制及帧缓存数据流
① 基地址； ② 捕获地质； ③ 视频信息
⑶ 视频显示输出数据流
① 显示信号混合 （ 视频／ VGA输入；窗口剪辑,彩色调配 ）
② 显示控制 （ 摇移,变焦,缩放 ）
③ 彩色控制 （ 亮度,色度,对比度 ）
2.视频卡主要功能 （ Video Blaster产品 ）
支持 NTSC,PAL,S_VHS和 RGB视频格式标准
支持 PCX,TIFF,BMP,MMP,GIF,JPEG和 TGA等文件格式
支持 Microsoft的数字化 Video软件
提供三路视频信号采集和混叠 （ Overlay） 功能
提供输入图像的缩放与裁剪功能
提供显示剪辑和显示摇移支持功能
提供亮度,色度和对比度控制功能
提供端口地址和 IRQ选择
提供系统内存之外的帧缓存器 VRAM
提供音响混频与伴音演播控制
提供 JPEG和 MPEG的压缩／解压功能讨论：运动摄像方式
① 推：使画面由大向小范围或由远及近连续过渡；
使主题渐大以至充满
② 拉：与推相反；使主题渐小以至消失
③ 摇：摄像机位置不动,镜头角度变化
（ 左右,上下,旋转,斜摇 ）
④ 移：摄像机沿水平面作各方向的移动
⑤ 跟：摄像机始终跟踪被摄主体
⑥ 甩：前一画面结束时,镜头急转向另一方向,
使画面由模糊变稳定
2.3 视频处理技术
2.3.1 数字视频处理方法
1.视频数字化
2.视频压缩与解压
2.3.2 视频彩色空间变换
1.彩色空间表示
2.YIQ彩色空间
3.YUV彩色空间
4.HSI与 RGB彩色空间的转换
5.彩色空间的带宽和采样格式
2.3.3 视频卡分析
2.3 视频处理技术视频（ video）：亦称活动图像．其构成原理可描述为视频 = 帧画面 + 伴音 + 交插／同步／播放技术视频分类：① 模拟视频：电视视频
② 数字视频：计算机视频
（视频卡：数字化，压缩编码）
2.3.1 数字视频处理方法
1.视频数字化内涵：将模拟视频信号经 A／ D转换和彩色空间变换，
转化为计算机可处理的数字信号；
以供编辑、存储、传输和播放
—— 通过视频卡和视频 I／ O设备完成
(1)视频信号的获取方法视频信号源通过视频输入设备产生
① 模拟视频输入
a.摄像机； 输入活动图像
b.录像机,输入各种制式的电视视频信号
c.数字化仪：把电视信号数字化后存放在视频卡中
② 数字视频输入
a.数字扫描仪：输入静止图像
b.数字摄像机：输入活动图像
c.视盘机,输入 VCD等视频文件视频源,a,内源视频 — 由视频卡生成
b,外源视频 — 可通过摄像机接入
(2)视频采样／量化过程需采用专用的视频输入卡,视频输入卡 的分类与作用：
① 捕获模拟视频输入信号，进行采样／量化处理 （捕获卡）
② 对不同视频源信号进行叠加处理和制式变换 （叠加卡）
③ 对视频图像进行帧缓存控制，以改变时间特性
④ 提供视频显示输出及同步控制功能
⑤ 提供实时动态捕获、编辑和数据压缩功能 （压缩卡）
采样策略,对应于三种采样功能级别
① 单帧采样：从视频源获取一幅幅静图；再用软件压缩和存储
② 连续帧采样：从视频源动态获取连续图像；生成可存储文件
③ 连续帧采压：动态捕获视频源，进行采样、叠加和压缩处理然后生成 AVI文件，存入硬盘视频数字化实现原理：
视频源 —— A／ D转换（视频输入卡） —— 视频显示
2.视频压缩与解压压缩编码：将数字化视频经过压缩编码变成电视信号，
以录制到光盘中或在电视上播放压缩／解压实现方法：
① 硬件压缩：将压缩算法集成在视频 I／ O卡上
a.视频输入卡：包括捕获卡、叠加卡和压缩卡
b.视频输出卡,包括数字电视卡和视频解压卡数字电视卡：可使计算机成为全频道全制式的数字电视视频解压卡：核心是 MPEG卡，支持 MPEG1和 MPEG2标准作用区间,视频显示 — D／ A转换（输出卡） — 视频播放
② 软件压缩：对视频采样得到的样本，用软件压缩算法实现常用压缩软件如,Video for Windows的 Microsoft Video 1
2.3.2 视频彩色空间变换
1.彩色空间表示
① RGB彩色空间：基于红、绿、蓝三基色的颜色模型
② HSI彩色空间：基于亮度、色调和饱和度描述的光谱模型
⑴ HSI模型的基本概念
① 色调 H：光波呈现的颜色种类；如红、绿、蓝、青、紫、黄
② 饱和度 S：颜色的深浅程度（浓度、纯度）；如深蓝、淡绿
③ 光强 I：亦称亮度；人的视觉所感受到的色彩明暗程度
④ 色度：色调与饱和度的通称；表示光颜色的类别与深浅程度
⑤ 色差：色度信号在通频带上分解表示的一对相减信号
HSI彩色模型的三个特征参量：色调，饱和度，亮度
⑵ 电视视频的彩色空间表示采用亮度和色度来分解信号；并将其能量分布在通频带上为了能用单一频率的幅载波传送色度信号，
通常将色度分解成两个垂直的色差信号；
并与亮度形成矢量变换关系依据亮度与色差的信号叠加与合成关系，可以定义：
·NTSC制彩色空间（ YIQ彩色空间）
·PAL制彩色空间（ YUV彩色空间）
2.YIQ彩色空间设,y为亮度； I与 Q为一对色差，且采用蓝（ B）与红 (R)作为色差信号,则：色度 C可表示为其中,ω为幅载波的角频率,θ 为色差变角即相位角，
C为色度幅值根据 NTSC制式的电视信号同步检波器，检测出两个信号值
B - y和 R - y，可建立亮度 y与 R,G,B三基色的关系；
并推得常用的亮度公式：
y = 0.299R + 0.587G + 0.114B
上述比例系数称,可见度系数,,其和为 1
三个色差信号 (B–y,R–y,G - y)中有两个是独立的，
最后一个可用亮度方程和两个色差信号通过运算得到计算表达式为：
y = 0.3R + 0.59G + 0.11B
B – y = - 0.3R - 0.59G + 0.89B
R – y = 0.7R - 0.59G - 0.11B
然后，对 B – y 和 R – y 的幅度按比例压缩，
以使彩色与黑白兼容；
缩小后的两个色差信号分别称 I和 Q．则
3.YUV彩色空间
PAL彩电制式中，为了克服 NTSC制的相位敏感性缺点，
采用了相序倒换方法，以通过平均抵消两信号间的误差设,y为亮度,U和 V为色差则,YUV模型与 YIQ模型的关系是两者的区别是：色度矢量图中的位置不同；
（ Q,I）为互相正交的坐标轴，
它与（ U,V）正交轴之间有 33° 夹角据此，可推出 YUV与 RGB的转换关系：
YUV彩色空间的优点：
① 亮度信号解决了彩色与黑白电视机的兼容问题；
可传送细节信息
② 色度信号可用于大面积着色
4.HSI与 RGB彩色空间的转换彩色图像可从 RGB彩色空间转换到 HSI彩色空间．计算公式：
5.彩色空间的带宽和采样格式
⑴ 带宽表示
① NTSC制：亮度 Y的带宽为 4.43MHz
色差 I的带宽为 1.3～ 1.5MHz
Q的带宽为 0.5MHz
② PAL制：亮度 Y的带宽为 4.43MHz； 色度 C的带宽为 1.3MHz
⑵ 视频采样格式 （ 亮度,色度 ）
① （ Y:U:V） =(4:1:1)格式：
亮度 Y的每个像素采样一次,色差分量 (U,V)由 4个像素平均因此,每输入 4个像素就有 4个亮度,一个 U和 V,共 6个值
② （ Y:U:V） =(4:2:2)格式：用于 PAL制每 4个像素有 4个亮度,2个 U和 V,共 8个值这种格式,色度采样信号增强了一倍,即加大了彩色宽度,
从而使数字化后的色彩,清晰度及稳定性明显改善
③ (Y:U:V)=(2:1:1) 格式：最省内存的格式每 2个像素一个亮度,每 4个像素一个色差 （ U,V各一个 ）
④ （ X:Y:Z） =(4:4:4)格式：用于 （ R:G:B） 或 (Y:U:V)模式每个像素采样一次,4个像素需 12个值,且每个分量带宽一样
2.3.3 视频卡分析
1.视频卡工作原理 （ 三大模块,见图 ）
⑴ 视频输入与制式转换数据流
① 视频源信号选择 （ Video0,Video1,Video2）
② 输入控制 （ 信号冻结／解冻,视频剪裁,信号缩放 ）
③ YUV数字信息
⑵ 视窗控制及帧缓存数据流
① 基地址； ② 捕获地质； ③ 视频信息
⑶ 视频显示输出数据流
① 显示信号混合 （ 视频／ VGA输入；窗口剪辑,彩色调配 ）
② 显示控制 （ 摇移,变焦,缩放 ）
③ 彩色控制 （ 亮度,色度,对比度 ）
2.视频卡主要功能 （ Video Blaster产品 ）
支持 NTSC,PAL,S_VHS和 RGB视频格式标准
支持 PCX,TIFF,BMP,MMP,GIF,JPEG和 TGA等文件格式
支持 Microsoft的数字化 Video软件
提供三路视频信号采集和混叠 （ Overlay） 功能
提供输入图像的缩放与裁剪功能
提供显示剪辑和显示摇移支持功能
提供亮度,色度和对比度控制功能
提供端口地址和 IRQ选择
提供系统内存之外的帧缓存器 VRAM
提供音响混频与伴音演播控制
提供 JPEG和 MPEG的压缩／解压功能讨论：运动摄像方式
① 推：使画面由大向小范围或由远及近连续过渡；
使主题渐大以至充满
② 拉：与推相反；使主题渐小以至消失
③ 摇：摄像机位置不动,镜头角度变化
（ 左右,上下,旋转,斜摇 ）
④ 移：摄像机沿水平面作各方向的移动
⑤ 跟：摄像机始终跟踪被摄主体
⑥ 甩：前一画面结束时,镜头急转向另一方向,
使画面由模糊变稳定
