第十章 机器视觉
10.1 图象的理解与分析
10.2 积木世界的景物分析
10.3 视觉的知识表示与控制策略
10.4 物体形状的分析与识别
10.5 机器人视觉系统举例
10.6 小结
2
10.1 图象的理解与分析
10.1.1 视觉信息的表达方法
根据马氏 (Marr)提出的假设，视觉信息处理过
程包括 3个主要表达层次，即初始简图、二维半简
图和三维简图。如下图所示：
外形
特征抽
取算法
聚集
算法
二
维
半
简
图
三
维
简
图
初
始
简
图
景
物
图
象
立体
纹理
遮蔽
3
10.1.2 边缘距离的计算
?图象辉亮边缘的平均与差分
一种处理噪声边缘的方法包括下列四个步骤：
(1)从图象建立平均亮度阵
3 11 ?? ??? iiii IIIA
22
)()( 1111 ???? ?????? iiiiii
i
AAAAAAF
22 )()( 1111 ???? ?????? iiiiiii FFFFFFS
(2)
(3)从一次平均差分阵列建立二次平均差分阵列
(4)据所得阵列, 记下峰点, 陡变斜率和过零点,
以寻求边缘信号的集合 。
10.1 图象的理解与分析
4
?灵长目动物视网膜特性
假设：
(1)灵长目动物视膜的滤波处理功能在运算上
与由墨西哥草帽形点扩散函数的滤波相似；
(2)存在两种视膜细胞，一种传输滤波图象的
正向部分，一种传递滤波图象的负向部分；
(3)墨西哥草帽形滤波器是通过激发与禁止这
两种操作的组合来实现的。
10.1 图象的理解与分析
5
?物体距离的确定
P
b
f
b
l r
透镜
(眼球 )
α β
公式
??
?
?
?
?
?
r
fd
r
d
al
fd
l
d
,
?? ??
fbd
10.1 图象的理解与分析
6
10.1.3 表面方向的计算
?反射图体现光照约束
把从所有可能位置观察到的亮度都相同的表面定义
为朗伯表面 (Lambertian Surface)，它的亮度只由光源的方
向决定。这一关系遵循下列公式,E=ρcosi
?表面方向的确定
由 f和 g来确定表面方向,可以利用下面两个约束：
? 亮度
? 表面平滑度
10.1 图象的理解与分析
7
?松弛算法
(1)对所有非边界点，令 f=0和 g=0。对所有边界点，令 f和 g
规定一个长度为 2的垂直于边界的矢量。称输入阵列为
当前阵列。
(2)进行下列步骤 (直到所有的值变化得足够慢为止 )：
(a)对当前阵列中的每个点：
i)如果是个边界点，则不做任何事；
ii)如果是个非边界点，那么用松弛公式计算新的 f和 g
值。
(b)把所得 新阵列称为当前阵列。
10.1 图象的理解与分析
8
10.2 积木世界的景物分析
10.2.1 积木世界景物的线条标示方法
?积木世界视觉研究的主要目标是理解从一堆玩具积木
的图象得到对于景物的描述。
? 研究积木世界景物时，输入的图象可以是积木景物
的照片、电视摄影图象或是线条图。
? 积木世界景物分析的研究对象比较狭窄，并且有意
地进行了简化。
9
10.2.2 无断裂和阴影时三面顶点的标示方法
?线条和接点的分类
?标志三面接点的方法
任何三面顶点的 3个面规定了 3个相交的平面,
把空间 分成 8个间隔，接点标志所说明物体如何占
有八分体。
所有线条
边界线
内边线
凹面线
凸面线
10.2 积木世界的景物分析
10
10.2.3 有断裂和阴影时线条图的分析
?两种对线条解释进一步分类的方法：
(1)对凹面标志进一步分类并引入断裂线标；
(2)用光照条件增加标志数量和严格约束
?线条标志除了表示关于边缘类型的基本信息
以外，还可以表示关于照明状态的知识。
10.2 积木世界的景物分析
11
10.3 视觉的知识表示与控制策略
10.3.1 视觉信息的语义网络表示
RODE
BLDG
NEAR
BRIDGE
INT
RIVER
BLDG30
RIVER3
ROAD57
X
RESULT
RESULT
e=ELEMENT OF
具有虚节点的语义网络
12
10.3.2 位置网络表示
位置网络可以把几何的和模拟的数据与一个语义网
络结构相结合。这个语义网络有时像一个具有专门的求
值规则的框架。物体之间几何关系的基本运算有以下 4
种：
(1)方向性运算
(2)区域运算
(3)集合运算
(4)谓词运算
10.3 视觉的知识表示与控制策略
13
10.3.3 视觉系统的控制策略哦
视觉控制策略支配着通过各表达层次的信
息流和活动，它的触发机构的两种极端表征
如下：
(1)图象数据的驱动。
(2)内部模型驱动。
(3)非层次控制。
10.3 视觉的知识表示与控制策略
14
10.4 物体形状的分析与识别
?10.4.1 复杂形状物体的表示
1.曲线形状的描述与量度
2.面积形状的描述与量度
?10.4.2 三维物体的形状描述
1.物体形状的广义锥体表示
2.广义锥体描述的计算
15
10.4.3 物体形状识别方法
?图匹配法 (Graph matching)
?当且仅当 P(n)与 P′(n)对某一给定的相似性量度相似时,
形成一对 配对 (assignment)
?若两幅图 G和 G′的节点具有一对一的配对, 使得所有
配对相互兼容, 就称这两幅图是
同构 (isomorphic)的 。
?若 (n,n′)为一配对, 仍要求 P(n)=P′(n′)。 如果 G的子图
与 G′ 的 子 图 同 构, 称图 G 与 G′ 为 亚 同 构
(subisomorphic)的 。
10.4 物体形状的分析与识别
16
?松弛标示法 (Relaxation labeling)
?弧的相容性 (art consistency)
?全局相容性 (globe consistency)
?路径相容性 (path consistency)
?罗森菲尔德 (Rosenfeld)等人提出用迭代松弛法来计
算弧相容标示。
?多层匹配法 (Multilevel matching)
对两种描述进行多层匹配的结果本身就是一种有关
它们相似和差异的描述。
10.4 物体形状的分析与识别
17
10.5 机器人视觉系统举例
10.5.1 EYECOMⅡ 机器人视觉系统
EYECOMⅡ 机器人视觉系统是由空间数
据系统公司于 80年代初期开发与应用的一
种实用图象数字变换与显示系统。它包括
以下四个部分：
1 系统的构成
2 系统在产品检验中的应用
3 程序设计流程图
4 装于夹手的机器人眼
18
10.5.2 机器人三维视觉系统
三维视觉的实际应用问题是研制高效的硬
设备和实用视觉算法。下面介绍日本东芝公
司研究开发中心研制的一个高级机器人三维
视觉系统，包括对臂控立体摄象机、高速视
觉处理器硬设备以及具有学习机能的知识引
导理解软件系统的研究等：
1 高级机器人视觉系统的设计
2 三维视觉臂控立体摄象机
3 知识引导三维物体识别系统
4 初步研究结果
10.5 机器人视觉系统举例
19
10.6 小结
本章所研究的机器视觉是诸多传感信息中
包含信息最丰富、最复杂和最重要的感觉之
一，也是应用最为广泛的机器感觉之一。机
器视觉，即计算机视觉，本章选择其中一些
具有代表性的问题加以介绍，以期对机器视
觉有个最基本的和简要的了解。
10.1 图象的理解与分析
10.2 积木世界的景物分析
10.3 视觉的知识表示与控制策略
10.4 物体形状的分析与识别
10.5 机器人视觉系统举例
10.6 小结
2
10.1 图象的理解与分析
10.1.1 视觉信息的表达方法
根据马氏 (Marr)提出的假设，视觉信息处理过
程包括 3个主要表达层次，即初始简图、二维半简
图和三维简图。如下图所示：
外形
特征抽
取算法
聚集
算法
二
维
半
简
图
三
维
简
图
初
始
简
图
景
物
图
象
立体
纹理
遮蔽
3
10.1.2 边缘距离的计算
?图象辉亮边缘的平均与差分
一种处理噪声边缘的方法包括下列四个步骤：
(1)从图象建立平均亮度阵
3 11 ?? ??? iiii IIIA
22
)()( 1111 ???? ?????? iiiiii
i
AAAAAAF
22 )()( 1111 ???? ?????? iiiiiii FFFFFFS
(2)
(3)从一次平均差分阵列建立二次平均差分阵列
(4)据所得阵列, 记下峰点, 陡变斜率和过零点,
以寻求边缘信号的集合 。
10.1 图象的理解与分析
4
?灵长目动物视网膜特性
假设：
(1)灵长目动物视膜的滤波处理功能在运算上
与由墨西哥草帽形点扩散函数的滤波相似；
(2)存在两种视膜细胞，一种传输滤波图象的
正向部分，一种传递滤波图象的负向部分；
(3)墨西哥草帽形滤波器是通过激发与禁止这
两种操作的组合来实现的。
10.1 图象的理解与分析
5
?物体距离的确定
P
b
f
b
l r
透镜
(眼球 )
α β
公式
??
?
?
?
?
?
r
fd
r
d
al
fd
l
d
,
?? ??
fbd
10.1 图象的理解与分析
6
10.1.3 表面方向的计算
?反射图体现光照约束
把从所有可能位置观察到的亮度都相同的表面定义
为朗伯表面 (Lambertian Surface)，它的亮度只由光源的方
向决定。这一关系遵循下列公式,E=ρcosi
?表面方向的确定
由 f和 g来确定表面方向,可以利用下面两个约束：
? 亮度
? 表面平滑度
10.1 图象的理解与分析
7
?松弛算法
(1)对所有非边界点，令 f=0和 g=0。对所有边界点，令 f和 g
规定一个长度为 2的垂直于边界的矢量。称输入阵列为
当前阵列。
(2)进行下列步骤 (直到所有的值变化得足够慢为止 )：
(a)对当前阵列中的每个点：
i)如果是个边界点，则不做任何事；
ii)如果是个非边界点，那么用松弛公式计算新的 f和 g
值。
(b)把所得 新阵列称为当前阵列。
10.1 图象的理解与分析
8
10.2 积木世界的景物分析
10.2.1 积木世界景物的线条标示方法
?积木世界视觉研究的主要目标是理解从一堆玩具积木
的图象得到对于景物的描述。
? 研究积木世界景物时，输入的图象可以是积木景物
的照片、电视摄影图象或是线条图。
? 积木世界景物分析的研究对象比较狭窄，并且有意
地进行了简化。
9
10.2.2 无断裂和阴影时三面顶点的标示方法
?线条和接点的分类
?标志三面接点的方法
任何三面顶点的 3个面规定了 3个相交的平面,
把空间 分成 8个间隔，接点标志所说明物体如何占
有八分体。
所有线条
边界线
内边线
凹面线
凸面线
10.2 积木世界的景物分析
10
10.2.3 有断裂和阴影时线条图的分析
?两种对线条解释进一步分类的方法：
(1)对凹面标志进一步分类并引入断裂线标；
(2)用光照条件增加标志数量和严格约束
?线条标志除了表示关于边缘类型的基本信息
以外，还可以表示关于照明状态的知识。
10.2 积木世界的景物分析
11
10.3 视觉的知识表示与控制策略
10.3.1 视觉信息的语义网络表示
RODE
BLDG
NEAR
BRIDGE
INT
RIVER
BLDG30
RIVER3
ROAD57
X
RESULT
RESULT
e=ELEMENT OF
具有虚节点的语义网络
12
10.3.2 位置网络表示
位置网络可以把几何的和模拟的数据与一个语义网
络结构相结合。这个语义网络有时像一个具有专门的求
值规则的框架。物体之间几何关系的基本运算有以下 4
种：
(1)方向性运算
(2)区域运算
(3)集合运算
(4)谓词运算
10.3 视觉的知识表示与控制策略
13
10.3.3 视觉系统的控制策略哦
视觉控制策略支配着通过各表达层次的信
息流和活动，它的触发机构的两种极端表征
如下：
(1)图象数据的驱动。
(2)内部模型驱动。
(3)非层次控制。
10.3 视觉的知识表示与控制策略
14
10.4 物体形状的分析与识别
?10.4.1 复杂形状物体的表示
1.曲线形状的描述与量度
2.面积形状的描述与量度
?10.4.2 三维物体的形状描述
1.物体形状的广义锥体表示
2.广义锥体描述的计算
15
10.4.3 物体形状识别方法
?图匹配法 (Graph matching)
?当且仅当 P(n)与 P′(n)对某一给定的相似性量度相似时,
形成一对 配对 (assignment)
?若两幅图 G和 G′的节点具有一对一的配对, 使得所有
配对相互兼容, 就称这两幅图是
同构 (isomorphic)的 。
?若 (n,n′)为一配对, 仍要求 P(n)=P′(n′)。 如果 G的子图
与 G′ 的 子 图 同 构, 称图 G 与 G′ 为 亚 同 构
(subisomorphic)的 。
10.4 物体形状的分析与识别
16
?松弛标示法 (Relaxation labeling)
?弧的相容性 (art consistency)
?全局相容性 (globe consistency)
?路径相容性 (path consistency)
?罗森菲尔德 (Rosenfeld)等人提出用迭代松弛法来计
算弧相容标示。
?多层匹配法 (Multilevel matching)
对两种描述进行多层匹配的结果本身就是一种有关
它们相似和差异的描述。
10.4 物体形状的分析与识别
17
10.5 机器人视觉系统举例
10.5.1 EYECOMⅡ 机器人视觉系统
EYECOMⅡ 机器人视觉系统是由空间数
据系统公司于 80年代初期开发与应用的一
种实用图象数字变换与显示系统。它包括
以下四个部分：
1 系统的构成
2 系统在产品检验中的应用
3 程序设计流程图
4 装于夹手的机器人眼
18
10.5.2 机器人三维视觉系统
三维视觉的实际应用问题是研制高效的硬
设备和实用视觉算法。下面介绍日本东芝公
司研究开发中心研制的一个高级机器人三维
视觉系统，包括对臂控立体摄象机、高速视
觉处理器硬设备以及具有学习机能的知识引
导理解软件系统的研究等：
1 高级机器人视觉系统的设计
2 三维视觉臂控立体摄象机
3 知识引导三维物体识别系统
4 初步研究结果
10.5 机器人视觉系统举例
19
10.6 小结
本章所研究的机器视觉是诸多传感信息中
包含信息最丰富、最复杂和最重要的感觉之
一，也是应用最为广泛的机器感觉之一。机
器视觉，即计算机视觉，本章选择其中一些
具有代表性的问题加以介绍，以期对机器视
觉有个最基本的和简要的了解。
