数字图像处理技术的应用
北京航空航天大学宇航学院
图象处理中心
第一节
数字图像处理应用 概述
1.1 图像的重要性：
人类离不开图像, 计算机图像技术渗透到
各个科技领域, 百闻不如一见 。 画面比文字更
形象生动, 人类 70%以上信息来自视觉 。
21世纪, 信息技术, 生命科学, 航空航天
为重要技术 。 图像技术在其中起着重要的作用 。
1.2 数字图像技术应用：
我国发射的多颗卫星, 多数用于对地观测和
侦察 。
微机普及－－图像民用, 普及, 计算机成熟
是图像技术普及应用基础 。
数字图象处理技术已 应用到各个领域, 以下
举几个例子：
(1),遥感图像应用,
农业普查, 森林覆盖计算, 水利工程
等的客观估计计算, 森林火灾监护－－客
观反映火灾情况, 面积 。
QuickBird示例影像,
北京颐和园高
分辨率卫星影像，
拍摄时间为 2003年
9月。
水体界线的确定
在近红外图像上，水体呈黑色；
(2),导弹末制导：
图象识别技术应用于导弹的精确未制导, 使
其精确打击目标 。 如：机场, 桥梁等 。
(3),生物特征识别：
军事, 公安 中的人脸, 指纹, 掌纹识别等 。
(4),医学应用：
CT,MR1,PET,B超, DSA,血管造影,
红外乳腺, 显微病理, 电子显微镜, 远程医疗图
像, 皮肤图象, X线, γ 刀与 χ 刀脑外科等等离
不开图像 。
全自动细胞 DNA定量分析检测系统
(5),工业图像,
X线控探伤 （ 轴 ）, X线检察, 三维测量
（ 定位, 形状测量 ）, 机器人视觉, 商检 。
CT图像中缺陷的快速定位方法
模拟 CT断
层图像
实验结果
实际 CT图像
实验结果
(6),民用,
数码相机, 照片扫描管理等 。
第二节 应用案例及分析
—— 显微图像自动聚焦、融
合、三维成像
? 研究意义,
人类通过不同尺度的成像（从宏观宇宙、遥感，
到微观分子）来观察、了解客观物质世界。
客观物质的结构是三维的,而传统研究显微样
本三维结构的方法是通过在显微镜下获取其二维图像
进行观察和分析的，难以准确理解样本的三维结构。
因此，研究显微三维成像理论及三维定量分析技
术具有很高的实用价值和重要的学术意义，该领域的
研究也是显微信息学科的研究热点之一。
? 应用领域,
通过对显微镜的自动操纵、图像融合和显微三
维成像，可应用于医学的远程诊断、空间科学实验
（生物、材料等）、及微观观察测量实验等。
? 2.1 显微图像自动聚焦算法
? 2.2 多层聚焦融合算法
? 2.3 基于聚焦深度的三维成像系统
远程的病理会诊、
显微智能仪器，需
要全自动控制显微
镜系统。
自动控制显微镜的
关键技术：显微图
像的自动聚焦分析。
全自动显微镜示例
自动聚焦问题的提出：
o i
f
R
δ
Optical axis
Lens
Object plane
Sensor
plane
Image
plane
P
Q
r
透镜成像模型图：
? 评价函数最大值的位置即为聚焦位置；
? 不存在可能导致聚焦错误的局部极大值；
? 具有较强的抗噪能力；
? 聚焦曲线尖峰性好，聚焦速度比较快。
聚焦评价函数指标：
难点问题,有效的聚焦评价函数的确定。
基于改进 Laplacian算子的自动聚焦方案：
? 空域：聚焦图像比离焦图像有较锐化的边缘。
? 频域：聚焦图像比离焦图像包含更多的高频分量。
使用象元间的可变步长 step来计算二阶差分。即：
聚焦实验,
? 对比：
灰度方差算子、灰度差分绝对值之
和 (SMD)算子, Roberts梯度算子,基于
Sobel梯度算子的 Tenengrad函数,能量谱
方法,改进拉普拉斯算子等。
F o c u s p o s it io n
F
o
c
u
s
c
r
i
t
e
r
i
a
0 1 0 2 0 3 0
0, 1
0, 2
0, 3
0, 4
0, 5
0, 6
0, 7
0, 8
0, 9
1
V a r
F F T
S M D
R o b e r t
L a p ( T = 0 )
T e n
L a p ( T = 3 0 )
(c) 聚焦评价函数曲线
(a) 离焦图像
(b) 聚焦图像
实验一：包含 40幅图像的一个序列得到的聚焦评价函
数曲线。
(c) 聚焦评价函数曲线
F o c u s p o s it io n
F
o
c
u
s
c
r
i
t
e
r
i
a
0 1 0 2 0 3 0
0, 1
0, 2
0, 3
0, 4
0, 5
0, 6
0, 7
0, 8
0, 9
1
S M D
R o b e r t
L a p ( T = 0,s t e p = 3 )
F F T
T e n
V a r
L a p ( T = 5 0 0,s t e p = 7 )
实验二：对实验一中 40幅图像的序列加入 20%的高
斯噪声。
(a) 离焦图像
(b) 聚焦图像
? 自动聚焦应用实例：
为配合全自动显微镜系统的需求，研究运动目标的检
测与跟踪算法模块，为空间科学实验目标成像观察用。
倒置生物镜的活体目标局部聚焦演示
倒置生物镜的活体目标采集系统
—— 与中科院空间中心联合
自动聚焦算子小结
? 改进 Laplacian算子可以有效地抑制噪声干扰，聚焦评价
函数曲线平滑，有明显的峰值，单峰性好，且变化陡峭。
? 步长的选择：
噪声干扰小时 —— 步长和阈值取小；
噪声和亮度变化大时 —— 步长和阈值可以取得稍大
一些。
一般步长取 7。
? 2.1 显微图像自动聚焦算法
? 2.2 多层聚焦融合算法
? 2.3 基于聚焦深度的三维成像系统
? 传统光学硬件的问题,
随着放大倍数和分辨率
的增大，景深减小，使得
物体不可能在一幅图像中
完全聚焦清晰。
而生物医学及材料科学
的成像要求显微镜既要有
更高的分辨率又要有足够
的景深，这是传统光学硬
件的矛盾。
解决方法：
利用数字 图像融合 技术，对序列图像进行合成
（ Multi-Focus）。
序列显微图象融合原理图
空域融合算法
? 为解决反射光显微图象融合问题：
提出引入空域算法中的改进拉普拉斯
算子。
改进拉普拉斯 (Sum-Modified-Laplacian,SML) 图像融
合算子：
N：窗口的大小； 即为点（ i,j）的聚焦清晰的
测度。
? 各种空域融合算子的实验分析：
基于点处理的方法 （简单的空域融合
算子,灰度平均法,最大离差法 ）和基于
区域处理的方法 （简单的区域融合方法,
灰度方差算子,基于 Sobel梯度算子的
Tenengrad函数方法,改进拉普拉斯算子方
法 ）。
空域融合算法
— 基于点处理的方法
1,最大灰度法
2,最小灰度法
3,灰度平均法
4,最大离差法
当 时，融合图像的值取,否则，融合图像取
。
? 简单的区域融合方法：最大、最小对比度，灰度平
均法等。
? 灰度方差算子 (Local Convariance)
空域融合算法
— 基于区域处理的方法
空域融合算法
— 基于区域处理的方法
? 基于 Sobel梯度算子的 Tenengrad函数方法
(a) 序列图像之 1 (b) 序列图像之 5 (c) 序列图像之 11
(d) 序列图像之 14 (e) 序列图像之 20 (f) 序列图像之 30
31幅蝴蝶眼睛序列显微图像
改进 Laplacian法 multi-focus结果 (11× 11
窗口、步长 5)
岩石图象 depth from focus实验：
10幅岩石图像序列 （仅示 9幅）
多层叠合结果
? 2.1 显微图像自动聚焦算法
? 2.2 多层聚焦融合算法
? 2.3 基于聚焦深度的三维成像系统
? 聚焦深度（ Depth from Focus）的基本思想：
在前面 multi-focus方法基础上，提取 z 方向信息，即可
实现通过二维图像序列进行三维重建。
? 优点：
计算方式实现表面三维成像，代替反射光激光共聚焦
成像。
? 要解决问题：
高度插值拟合、三维表面测量、显示。
高度图的插值拟合：
I m a g e S e q u e n c e
S
M
L
F
o
c
u
s
m
e
a
s
u
r
e
1 0 2 0 3 0
0, 5
0, 6
0, 7
0, 8
0, 9
1
SML聚焦评价函数曲线
从图中我们可以看出，聚
焦评价函数曲线在峰值处
具有高斯分布。在边缘处
对称性不太显著，这主要
是由图像采集过程中显微
镜的初始位置造成的。为
此,我们将分析仅限于聚
焦评价函数的峰值区域。
聚焦评价函数的高斯插值
?由 SML算子可得到两个结果：聚
焦评价函数最大值和该值在序列中
的位置 d
基于 Depth from Focus的高度插值
与三维测量 — 实验结果
深
度
索
引
图
像
蝴蝶眼睛三维高度图像
(a) 未经高斯插值处理的深度图 (b) 高斯插值处理后的深度图
深度索引图像
高度图的插值拟合效果：
a,原 36幅图像聚焦分析拟和曲线 b,抽取的 12幅图像聚焦分析拟和曲线
36幅病理图像序列的聚焦曲线
? 插值精度分析,
聚焦最大值的层为 21；拟合的聚焦算子最大层面为 21.13，
四舍五入取整为 21。
病理切片 高斯插值层面 实际聚焦层面
样本 1 16.176258 16
样本 2 20.496549 20
样本 3 20.845176 20
样本 4 31.13375 31
样本 5 30.93762 31
下表为 5个图像序列样本的实验结果，拟合计算值与
实际测量值基本相符。
表, 自动聚焦算法中的步长拟合比较表
三维表面测量分析,
? z轴控制器分辨力,0.1um
? 测量参数：直线或曲线距离、剖面分析、表面
积、分形维等参数。
? 测量目标（材料断口、皮肤）三维纹理：采用
机械材料表面测量国标 GB350（对应国际标准
为 ISO4287）
2010-5-21 52
根据显微序列
图象合成原理，研
制、设计了 Z轴自动
控制显微镜，结合
研发的软件系统，
组成了光、机、电
一体化的, 显微三
维成像系统, 。
三维实体测量显微镜
Z轴自动
控制器
Depth from Focus成像硬件系统设计：
岩石图象 depth from focus实验：
多层叠合结果
高斯插值处理后的深度图10幅岩石图像序列 （仅示 9幅）
岩
石
三
维
表
面
的
剖
线(Pr
ofi
le)
测
量
分
析
示
意
图
三维图像的表面重建显示：
? 直接利用高度图、纹理图进行三维重建显
示。
可以从任意角度观察岩石的三维表面图象
立体图像的左右视图生成：
? 用脚印法生成左右视图
模拟生成的左视野图象 模拟生成的右视野图象
仿真立体图像 -Anaglyph
总 结
? 传统光学硬件存在, 随着放大倍数和分辨率的增
大，景深减小，使得物体不可能在一幅图像中完
全聚焦清晰成像, 。
? 解决该问题的有效方法是通过数字图像处理技术，
结合硬件控制成像技术，扩展了光学系统的景深，
满足了实际 要求。
? 同时结合插值拟合方法，实现目标的三维成像。
系统进一步的应用领域
? 材料学表面
? 工业检测
? 生物学
? 医学病理
? 皮肤纹理
谢 谢 !
北京航空航天大学宇航学院
图象处理中心
第一节
数字图像处理应用 概述
1.1 图像的重要性：
人类离不开图像, 计算机图像技术渗透到
各个科技领域, 百闻不如一见 。 画面比文字更
形象生动, 人类 70%以上信息来自视觉 。
21世纪, 信息技术, 生命科学, 航空航天
为重要技术 。 图像技术在其中起着重要的作用 。
1.2 数字图像技术应用：
我国发射的多颗卫星, 多数用于对地观测和
侦察 。
微机普及－－图像民用, 普及, 计算机成熟
是图像技术普及应用基础 。
数字图象处理技术已 应用到各个领域, 以下
举几个例子：
(1),遥感图像应用,
农业普查, 森林覆盖计算, 水利工程
等的客观估计计算, 森林火灾监护－－客
观反映火灾情况, 面积 。
QuickBird示例影像,
北京颐和园高
分辨率卫星影像，
拍摄时间为 2003年
9月。
水体界线的确定
在近红外图像上，水体呈黑色；
(2),导弹末制导：
图象识别技术应用于导弹的精确未制导, 使
其精确打击目标 。 如：机场, 桥梁等 。
(3),生物特征识别：
军事, 公安 中的人脸, 指纹, 掌纹识别等 。
(4),医学应用：
CT,MR1,PET,B超, DSA,血管造影,
红外乳腺, 显微病理, 电子显微镜, 远程医疗图
像, 皮肤图象, X线, γ 刀与 χ 刀脑外科等等离
不开图像 。
全自动细胞 DNA定量分析检测系统
(5),工业图像,
X线控探伤 （ 轴 ）, X线检察, 三维测量
（ 定位, 形状测量 ）, 机器人视觉, 商检 。
CT图像中缺陷的快速定位方法
模拟 CT断
层图像
实验结果
实际 CT图像
实验结果
(6),民用,
数码相机, 照片扫描管理等 。
第二节 应用案例及分析
—— 显微图像自动聚焦、融
合、三维成像
? 研究意义,
人类通过不同尺度的成像（从宏观宇宙、遥感，
到微观分子）来观察、了解客观物质世界。
客观物质的结构是三维的,而传统研究显微样
本三维结构的方法是通过在显微镜下获取其二维图像
进行观察和分析的，难以准确理解样本的三维结构。
因此，研究显微三维成像理论及三维定量分析技
术具有很高的实用价值和重要的学术意义，该领域的
研究也是显微信息学科的研究热点之一。
? 应用领域,
通过对显微镜的自动操纵、图像融合和显微三
维成像，可应用于医学的远程诊断、空间科学实验
（生物、材料等）、及微观观察测量实验等。
? 2.1 显微图像自动聚焦算法
? 2.2 多层聚焦融合算法
? 2.3 基于聚焦深度的三维成像系统
远程的病理会诊、
显微智能仪器，需
要全自动控制显微
镜系统。
自动控制显微镜的
关键技术：显微图
像的自动聚焦分析。
全自动显微镜示例
自动聚焦问题的提出：
o i
f
R
δ
Optical axis
Lens
Object plane
Sensor
plane
Image
plane
P
Q
r
透镜成像模型图：
? 评价函数最大值的位置即为聚焦位置；
? 不存在可能导致聚焦错误的局部极大值；
? 具有较强的抗噪能力；
? 聚焦曲线尖峰性好，聚焦速度比较快。
聚焦评价函数指标：
难点问题,有效的聚焦评价函数的确定。
基于改进 Laplacian算子的自动聚焦方案：
? 空域：聚焦图像比离焦图像有较锐化的边缘。
? 频域：聚焦图像比离焦图像包含更多的高频分量。
使用象元间的可变步长 step来计算二阶差分。即：
聚焦实验,
? 对比：
灰度方差算子、灰度差分绝对值之
和 (SMD)算子, Roberts梯度算子,基于
Sobel梯度算子的 Tenengrad函数,能量谱
方法,改进拉普拉斯算子等。
F o c u s p o s it io n
F
o
c
u
s
c
r
i
t
e
r
i
a
0 1 0 2 0 3 0
0, 1
0, 2
0, 3
0, 4
0, 5
0, 6
0, 7
0, 8
0, 9
1
V a r
F F T
S M D
R o b e r t
L a p ( T = 0 )
T e n
L a p ( T = 3 0 )
(c) 聚焦评价函数曲线
(a) 离焦图像
(b) 聚焦图像
实验一：包含 40幅图像的一个序列得到的聚焦评价函
数曲线。
(c) 聚焦评价函数曲线
F o c u s p o s it io n
F
o
c
u
s
c
r
i
t
e
r
i
a
0 1 0 2 0 3 0
0, 1
0, 2
0, 3
0, 4
0, 5
0, 6
0, 7
0, 8
0, 9
1
S M D
R o b e r t
L a p ( T = 0,s t e p = 3 )
F F T
T e n
V a r
L a p ( T = 5 0 0,s t e p = 7 )
实验二：对实验一中 40幅图像的序列加入 20%的高
斯噪声。
(a) 离焦图像
(b) 聚焦图像
? 自动聚焦应用实例：
为配合全自动显微镜系统的需求，研究运动目标的检
测与跟踪算法模块，为空间科学实验目标成像观察用。
倒置生物镜的活体目标局部聚焦演示
倒置生物镜的活体目标采集系统
—— 与中科院空间中心联合
自动聚焦算子小结
? 改进 Laplacian算子可以有效地抑制噪声干扰，聚焦评价
函数曲线平滑，有明显的峰值，单峰性好，且变化陡峭。
? 步长的选择：
噪声干扰小时 —— 步长和阈值取小；
噪声和亮度变化大时 —— 步长和阈值可以取得稍大
一些。
一般步长取 7。
? 2.1 显微图像自动聚焦算法
? 2.2 多层聚焦融合算法
? 2.3 基于聚焦深度的三维成像系统
? 传统光学硬件的问题,
随着放大倍数和分辨率
的增大，景深减小，使得
物体不可能在一幅图像中
完全聚焦清晰。
而生物医学及材料科学
的成像要求显微镜既要有
更高的分辨率又要有足够
的景深，这是传统光学硬
件的矛盾。
解决方法：
利用数字 图像融合 技术，对序列图像进行合成
（ Multi-Focus）。
序列显微图象融合原理图
空域融合算法
? 为解决反射光显微图象融合问题：
提出引入空域算法中的改进拉普拉斯
算子。
改进拉普拉斯 (Sum-Modified-Laplacian,SML) 图像融
合算子：
N：窗口的大小； 即为点（ i,j）的聚焦清晰的
测度。
? 各种空域融合算子的实验分析：
基于点处理的方法 （简单的空域融合
算子,灰度平均法,最大离差法 ）和基于
区域处理的方法 （简单的区域融合方法,
灰度方差算子,基于 Sobel梯度算子的
Tenengrad函数方法,改进拉普拉斯算子方
法 ）。
空域融合算法
— 基于点处理的方法
1,最大灰度法
2,最小灰度法
3,灰度平均法
4,最大离差法
当 时，融合图像的值取,否则，融合图像取
。
? 简单的区域融合方法：最大、最小对比度，灰度平
均法等。
? 灰度方差算子 (Local Convariance)
空域融合算法
— 基于区域处理的方法
空域融合算法
— 基于区域处理的方法
? 基于 Sobel梯度算子的 Tenengrad函数方法
(a) 序列图像之 1 (b) 序列图像之 5 (c) 序列图像之 11
(d) 序列图像之 14 (e) 序列图像之 20 (f) 序列图像之 30
31幅蝴蝶眼睛序列显微图像
改进 Laplacian法 multi-focus结果 (11× 11
窗口、步长 5)
岩石图象 depth from focus实验：
10幅岩石图像序列 （仅示 9幅）
多层叠合结果
? 2.1 显微图像自动聚焦算法
? 2.2 多层聚焦融合算法
? 2.3 基于聚焦深度的三维成像系统
? 聚焦深度（ Depth from Focus）的基本思想：
在前面 multi-focus方法基础上，提取 z 方向信息，即可
实现通过二维图像序列进行三维重建。
? 优点：
计算方式实现表面三维成像，代替反射光激光共聚焦
成像。
? 要解决问题：
高度插值拟合、三维表面测量、显示。
高度图的插值拟合：
I m a g e S e q u e n c e
S
M
L
F
o
c
u
s
m
e
a
s
u
r
e
1 0 2 0 3 0
0, 5
0, 6
0, 7
0, 8
0, 9
1
SML聚焦评价函数曲线
从图中我们可以看出，聚
焦评价函数曲线在峰值处
具有高斯分布。在边缘处
对称性不太显著，这主要
是由图像采集过程中显微
镜的初始位置造成的。为
此,我们将分析仅限于聚
焦评价函数的峰值区域。
聚焦评价函数的高斯插值
?由 SML算子可得到两个结果：聚
焦评价函数最大值和该值在序列中
的位置 d
基于 Depth from Focus的高度插值
与三维测量 — 实验结果
深
度
索
引
图
像
蝴蝶眼睛三维高度图像
(a) 未经高斯插值处理的深度图 (b) 高斯插值处理后的深度图
深度索引图像
高度图的插值拟合效果：
a,原 36幅图像聚焦分析拟和曲线 b,抽取的 12幅图像聚焦分析拟和曲线
36幅病理图像序列的聚焦曲线
? 插值精度分析,
聚焦最大值的层为 21；拟合的聚焦算子最大层面为 21.13，
四舍五入取整为 21。
病理切片 高斯插值层面 实际聚焦层面
样本 1 16.176258 16
样本 2 20.496549 20
样本 3 20.845176 20
样本 4 31.13375 31
样本 5 30.93762 31
下表为 5个图像序列样本的实验结果，拟合计算值与
实际测量值基本相符。
表, 自动聚焦算法中的步长拟合比较表
三维表面测量分析,
? z轴控制器分辨力,0.1um
? 测量参数：直线或曲线距离、剖面分析、表面
积、分形维等参数。
? 测量目标（材料断口、皮肤）三维纹理：采用
机械材料表面测量国标 GB350（对应国际标准
为 ISO4287）
2010-5-21 52
根据显微序列
图象合成原理，研
制、设计了 Z轴自动
控制显微镜，结合
研发的软件系统，
组成了光、机、电
一体化的, 显微三
维成像系统, 。
三维实体测量显微镜
Z轴自动
控制器
Depth from Focus成像硬件系统设计：
岩石图象 depth from focus实验：
多层叠合结果
高斯插值处理后的深度图10幅岩石图像序列 （仅示 9幅）
岩
石
三
维
表
面
的
剖
线(Pr
ofi
le)
测
量
分
析
示
意
图
三维图像的表面重建显示：
? 直接利用高度图、纹理图进行三维重建显
示。
可以从任意角度观察岩石的三维表面图象
立体图像的左右视图生成：
? 用脚印法生成左右视图
模拟生成的左视野图象 模拟生成的右视野图象
仿真立体图像 -Anaglyph
总 结
? 传统光学硬件存在, 随着放大倍数和分辨率的增
大，景深减小，使得物体不可能在一幅图像中完
全聚焦清晰成像, 。
? 解决该问题的有效方法是通过数字图像处理技术，
结合硬件控制成像技术，扩展了光学系统的景深，
满足了实际 要求。
? 同时结合插值拟合方法，实现目标的三维成像。
系统进一步的应用领域
? 材料学表面
? 工业检测
? 生物学
? 医学病理
? 皮肤纹理
谢 谢 !
