2009年 7月 24日 数字图象处理演示稿 纪玉波制作
(C)
1
第八章 三维图像处理技 术
三维图象重构技术
立体投影技术
体视图像显示
光学切片图像
2009年 7月 24日 数字图象处理演示稿 纪玉波制作
(C)
2
8.1 三维图象重构技术
8.1.1三维图象重构原理由物体的一组横断面的投影重构物体的图像是一种独特的处理问题的方法 。 在许多应用中,唯有采用这种方法可以在不损坏物体的条件下,产生物体内部的断面图像 。 重构技术已 被广泛应用于放射学和核医学,非破坏性工业测试和数据压缩等许多领域,显示出了它的重要价值 。
图 8-1表示三维重构的一般化问题和各种可能的解决方法 。 假定嵌入的两个数只能由侧面方向观察,但是,要确定从顶部观察两个嵌入的数是什么数,如果把物体切成若干断面,显然可以很容易确定敬入的两个数字 。 但是,在许多情况下来用切片的方法来了解物体内部的状态是不切实际的 。
2009年 7月 24日 数字图象处理演示稿 纪玉波制作
(C)
3
图 8-1表示了利用能量的 透射,发射 和 反射的性质,搜集信息的三种方式。 透射方式 搜集的信息是反映物体对能量吸收的强弱特性和物体的性质。能量源通常采用 X射线束、电子束、光和热。 发射方式 确定物体位置的原理是依据衰变的正电子在相反方向发射出两束 γ射线,通过检测这两个事件发生的时间来确定原有正电子的湮没位置。采用能量 反射方法 可以确定物体表面的特性,能量源可以是光、电子束或超声波。
2009年 7月 24日 数字图象处理演示稿 纪玉波制作
(C)
4
图 8-1
2009年 7月 24日 数字图象处理演示稿 纪玉波制作
(C)
5
图像重构在医学上获得的重要应用之一是利用该技术构造了计算机层析 X射线系统 (CT)。 图 8-
2表示了 X射线透射系统的基本部件 。 在普通的 X射线照片中,如图中示出的大脑血管照 片,三维物体信息是以二维形式迭加在胶卷上,而计算机层析 X射线系统所获得的照片是物体的横断面图像 。
在该断面内构成的图像矩阵是由预先确定了大小的正方形元素组成 。 在计算机层折 X射线的脑图像系统中,元素的尺寸是 1~ 3mm的正方形 。 生成的矩阵必须包含需要反映的目标 。 在目标为头部的情况下,使用典型的 148个元素,长度近似
25cm。
2009年 7月 24日 数字图象处理演示稿 纪玉波制作
(C)
6
图 8-2
2009年 7月 24日 数字图象处理演示稿 纪玉波制作
(C)
7
为了采集形成图像的透射数据,X射线源与检测器安置成一直线,使并行射线为一个图像元素的宽度 。
扫描装置的横向部分作线性运动,对 148行或更多的行
( 每行包括 148个元素或更多的元素 ) 逐行查询,在扫描部件横向运动时 148个数据点各自地送入计算机,扫描部件每横向线性扫描一次之后,射线能源与检测器的整个几何体旋转预先规定的角度值 ( 例如,角度增量值为 1° ),横向的线性扫描运动再重新开始 。 如果使用 180个角度的投影,送入计算机的投影数据为
180xl48= 26640。 采集的数据信息是在扫描进行的同时存入计算机内 。 计算机层折 X射线透射图像的信息强度是可控制的,已经证实,扫描器可以测量百分之几级别的 X射线吸收系数的变化,这相当于脂肪,肌肉和其他组织之间的微小差别 。
2009年 7月 24日 数字图象处理演示稿 纪玉波制作
(C)
8
8.1.2 Fourier变换重构方法
Fourier变换重构图像所依据的原理是,一个三维 ( 二维 ) 物体的二维 ( 一维 ) 投影的
Fourier变换是精确地等于物体的 Fourier变换的中心截面 ( 中心直线 ),当投影旋转时,其
Fourier变换的中心截面 ( 中心直线 ) 随之旋转 。
因而重构图像的过程,首先由不同角度位置时的投影变换构成物体完整的 Fourier变换,然后,
通过取反 Fourier变换重构物体 。
2009年 7月 24日 数字图象处理演示稿 纪玉波制作
(C)
9
现在,说明 Fourier变换重构的理论。假定 f(x,y)表示图像函数,其二维 Fourier变换图像在 x轴上的投影为:
投影的一维 Fourier变换为:
2009年 7月 24日 数字图象处理演示稿 纪玉波制作
(C)
10
而 f(x’,y ’))二维 Fourier变换的中心直线 F(u ’,0)为:
所以 G’(u’,θ)= F(u’,0)。
由于在二重积分中变量变换时,其积分的改变中遵照以下形式:
对二重积分:
如果作变换,
x=x(ξ,η),y=y(ξ,η)
则可以证明,二重积分改变为:
2009年 7月 24日 数字图象处理演示稿 纪玉波制作
(C)
11
其中称为 Jacobi行列式,以纪念首先研究此问题的德国数学家
Jacobi。
由于 f(x,y)二维 Fourier变换为:
作变量变换:
x=x’cosθ- y’sinθ
y=x’sinθ+ y’cosθ
2009年 7月 24日 数字图象处理演示稿 纪玉波制作
(C)
12
将 f(x,y)用 f(x’,y’)代替,同时替换
x=x’cosθ- y’sinθ,y=x’sinθ+ y’cosθ
得:
上式恰好符合频率上的坐标旋转公式:
u’= ucosθ+ vsinθ
v’=- usinθ+ vcosθ
2009年 7月 24日 数字图象处理演示稿 纪玉波制作
(C)
13
因此,变换公式可写为:
说明 F(u,v)同 F(u’,v’)是相同的 。 同时说明,当空域中的坐标 (x,y)转动 θ角时,在 x轴上的投影经过 Fourier
变换得到的频域数值也正好旋转 θ角 。
得到平面上 F(u,v)各点的值后,进行反变换计算得到图像函数这些结果变可以方便地扩展到三维场合。令
f(x1,x2,x3)表示一物体,三维 Fourier变换
2009年 7月 24日 数字图象处理演示稿 纪玉波制作
(C)
14
变换的中心截面是根据定义,在 x1,x2轴上的投影是注意到,令 f3(x1,x2)的二维 Fourier变换是完全等同于上面三维 Fourier变换的中心截面的方程式的。如果取得的投影相对于 u1,u2平面为 θ角,那么,在变换空间内其变换截面相对于 u1,u2平面成相同的 θ角度。因此,可以取不同 θ角方向的投影变换,插入到三维变换空间。为了构造 Fourier变换空间从理论上来说,需要取无数的投影变换,但实际上投影变换数总是有限数。然后,由 Fourier反变换重构图像
f(x1,x2,x3)。
2009年 7月 24日 数字图象处理演示稿 纪玉波制作
(C)
15
8.2立体投影技术
8.2.1 物体成像原理立体投影技术是一种通过一个立体图像对推导出物体三维形状的技术 。 为此,必须首先为图像的成像几何建模 。 图 8-3中给出了一个物体,一个光源及一个摄像机系统 。 我们建立一个以透镜系统的光学中心为原点的三维坐标系 。 摄像机的光轴与 z轴重合 。
对于物体是不透明的表面 。 依照表面的反射特性,照射在其上的一部分光线被反射,向各个方向散射 。 一部分散射光线穿过了透镜的光圈,在摄像机的成像面上形成了一幅物体的图像 。
2009年 7月 24日 数字图象处理演示稿 纪玉波制作
(C)
16
图 8-3
2009年 7月 24日 数字图象处理演示稿 纪玉波制作
(C)
17
如果要将图像数字化,可以认为图像中平面被一个像素阵列覆盖 。 在图 8-3中,其中的一个像素向回投影穿过透镜,在物体的表面上,生成了此像素的一个像 。
像素与物体的相交定义了与此像素对应的物体表面区域 。 照射到与此像素对应区域的部分光线散射回透镜光圈 。 所有这些光线被透镜会聚,投影到给定像素上,因而确定了其灰度值 。
除了亮度之外,还可以将另一个值与所考虑的像素联系起来 。 从镜头中心到点 P 的距离定义了该像素的行程 。
需强调的是,如果有另外的表面在此物体后面,他们是不可见的 。 因此,一个像素的进程是从镜头中心到所遇见的第一个不透明表面之间的距离 。 我们可以通过给每个像素按与长度成正比而不是亮度成正比来赋值的方式生成一幅距离图像 。
2009年 7月 24日 数字图象处理演示稿 纪玉波制作
(C)
18
8.2.2 立体投影成像下图示出了一对适合于立体成像放置的摄像机 。 一个三维坐标系以左投影机的投影中心为原点 。 在该例中,两个摄像机的光轴平行,并位于 xz平面上 。 在这种条件下,摄像机被称为是处于平行对准状态 。 z轴与左摄像机的光轴重合 。
两个摄像机焦距均为 f,他们之间的距离是 d
(图 8-4)
2009年 7月 24日 数字图象处理演示稿 纪玉波制作
(C)
19
8.2.2.1距离方程假设坐标为 的点 P,被放置在摄像机前方,
并分别成像于两个摄像机平面上 。 那么,利用 zx和 yz
平面中的相似三角形,可以看到从点 P穿过透镜中心的直线与 (图像 ) 平面相交于同样,从 P穿过右摄像机的中心的直线将与图像平面相交于
2009年 7月 24日 数字图象处理演示稿 纪玉波制作
(C)
20
现在在每个成像面上设置一个二维坐标系。为了方便起见将这两个坐标系位置处旋转 180°,这样就抵消了成像过程中固有的旋转。因此这样一来该点在其图像中的坐标为
2009年 7月 24日 数字图象处理演示稿 纪玉波制作
(C)
21
注意两图中心的 y坐标相同。重新整理可得,
从中解出 Z0得到法向深度方程
(8-1)
2009年 7月 24日 数字图象处理演示稿 纪玉波制作
(C)
22
这个方程将距离的法向成分 Z0与两幅图像偏移的像素数联系起来 。 值得注意的是在方程中,Z0仅是 xr和 xl之差的函数,而与他们单个值大小无关 。 由于 Z0必须取正值,
应有 。 还要注意的是分子的值与之相比可能非常小 。 这就意味着对于大的 Z0分母可能会非常小 。 因此,在两幅图中特征定位的微小偏差可能会导致深度计算的大误差 。
同样在三维空间中,利用相似三角形,我们有对其加以整理用( 8-1)代替 Z0得
( 8-2)
2009年 7月 24日 数字图象处理演示稿 纪玉波制作
(C)
23
它就是实际深度的一方程。这给出了从原点到点 P的总长度。对于窄视野(望远镜),光学系统,X0,Y0<< Z0
并且 xl和 yl相对于都很小。因而方程( 8-2)可以用方程
( 8-1)来近似。
8.2.2.2深度计算立体投影深度可按以下方式计算 。 首先,对于左图中的每个像素,判断右图中的哪个像素对应于物体上的同一点 。 对于一个图等于图 8-4的平行对准系统,
可以按行对行的方式来完成,因为物体上的任一点都映射到图像上,因而相同的垂直位置在同一扫描线上 。
接着计算,生成一个偏移图,其中的灰度按适当的比例代表像素偏移 。 然后,用方程 ( 8-1)) 通过偏移图像计算每个像素的 Z0,生成一个法向距离图,
最后计算每一点的 x,y坐标
2009年 7月 24日 数字图象处理演示稿 纪玉波制作
(C)
24
上述过程使我们能够计算物体上每个点的 x,y,z坐标值,
这些点各自对应摄像机中的一个像素。使用方程( 8-2)以 x
和 y为函数计算 R则生成了一幅实际深度图。在两种情况下,
我们成功地测绘了三维物体的可见表面。
在图 8-4中,摄像机是平行对准的。除了 Z0比 d大很多的情况之外,一般都有必要将摄像机会聚,以便其视野重叠在就近的物体上。在一个会聚系统中,光轴不再平行,而是交于
xz平面中的某点。在这种情况下,所用的是相同的技术,但深度方程稍复杂些。如果两个摄像机的光轴甚至不在同一平面的话,情况则更为复杂。有时,需要从立体图像对决定摄像机的几何参数。这可通过使用六个或更多的 x,y,z坐标已知的点,运用最小二乘拟合来决定每个摄像机的成像几何。
2009年 7月 24日 数字图象处理演示稿 纪玉波制作
(C)
25
8.3 体视图像显示一个三维场景可以通过三维显示技术重现给观察者 。 这就是 20世纪初开始流行的立体电影和体视摄影术的基础 。 它还提供了显示三维数字图像如生物细胞的方法 。
8.3.1 显示几何图 8-5描述了立体显示的观测几何,体视图像对
( stereoscopic image pair) 放置 在观察者眼睛前方距离
D处,双眼距离为 S。 一个位于左图 xl,yl坐标处与右图
xr,yr坐标处的小特征在观察者看来就像放置在点 P处一样 。
2009年 7月 24日 数字图象处理演示稿 纪玉波制作
(C)
26
图 8-5
2009年 7月 24日 数字图象处理演示稿 纪玉波制作
(C)
27
通过类似于围绕图 8-5的几何推导,可得出一个深度关系它是方程 8-1的翻版。在二个图像中的对应点的 x坐标关系为
2009年 7月 24日 数字图象处理演示稿 纪玉波制作
(C)
28
这意味着对远处的物体 ( ),其在左右眼的坐标相同 。 当一个物体在右眼图像中左移动时,它的视在位置朝观察者方向移动 。
体视摄影是一门呈现三维景物的技术,它使用类似于图 8-4所示的摄像机与类似于图 8-5的观测装置 。 假设图
8-5中的两个摄像机在图像平面上生成正的胶片,这些胶片可以绕 z轴旋转 180°,放置到观察者前面,就像图 8-5
所示那样 。 如果满足关系式则该景物看起来就像观察者直接观察到的一样 。
8.3.2 立体显示生成假如左眼图像和法向深度图给定,而要求生成右眼图像以实现立体显示 。 这要求如下形式的几何变换
2009年 7月 24日 数字图象处理演示稿 纪玉波制作
(C)
29
( 8-3)
这只是一个在水平方向有不同位移的复制操作 。
给定一特定景物的灰度图像和深度图像,可以通过生成左右眼两幅图像获得更好的立体显示效果 。 右眼图像依据方程 (8-3)合成,但是用所给的偏移量的一半 。
而左图则通过向相反方向作相同距离的移动生成 。 这种技术能够对包含有丰富形状细节的近处物体的图像生成高质量的显示 。
2009年 7月 24日 数字图象处理演示稿 纪玉波制作
(C)
30
8.4光学切片图像光学显微镜是组织学和微解剖学的一个常用工具 。
这些学科关注在显微镜度量范围内生理学切片的结构功能 。 然而这些标本是三维的,这就给用传统的光学显微镜进行分析提出了问题 。 首先,只有那些在聚焦平面或其附近的结构才是可见的 。 其次,刚好位于焦平面外一点的结构虽可见,但变得模糊了 。 而那些远离焦平面的结构是不可见的,但它们对记录下来的图像有影响 。
这种三维的效应可以通过多重切片来克服 。 也就是将样本切为一系列的薄片,然后分别研究每一部分,以了解样本的三维结构 。 多重切片方法有两个主要的缺点:
当切片各部分分开后,结构间的对准会丧失;切片时存在不可避免的几何形变 。 后者包括拉伸,卷曲,折叠和薄片的撕裂 。
2009年 7月 24日 数字图象处理演示稿 纪玉波制作
(C)
31
在许多应用中,获取一个生物样本的三维显示是有益的 。
三维显示很重要,因为对二维分割图像的不恰当的解释会导致对结构的各种错误理解 。 通过将焦平面设置于光轴上的不同位置,对样本进行数字化,然后处理每一层图像 。
1986年美国国立医学图书馆于提出可视化人体项目,以供临床医学和生物医学研究工作中的图象资料收集,检索和存取,最终成为一所电子化的生物医学图象图书馆 。 NLM于
1989年提出的计划认为,应首先建立表达完整,正常的成年男性和成年女性身体测量数据的数字图象图书馆 。 数据应采集于躯体断面的数字化照片图像,计算机断层图象 ( CT) 和磁共振图象 ( MRI) 。 1991年 8月,这一顶目由丹佛科罗拉多大学 ( the University of Colorado at Denver) 的 Victor M.Spitzer
博士和 David G,Whit1ock博士所领导的小组开始执行 。 根据最初的计划,是对男,女各一具遗体以上述三种方式每隔 1mm
为一断层,将三种来源的图象相互参照地组合为一,该计划现已完成 。
2009年 7月 24日 数字图象处理演示稿 纪玉波制作
(C)
32
男性遗体来自一位 39岁的德克萨斯州白种人,身体健壮完好,自愿捐献遗体供科学研究,为人类科技进步做出贡献 。 数据采集步骤如下:
(1)采用 4mm间隔的轴向磁共振扫描全身,图像分辨率为
256× 256( 每点具有 12位灰阶分辨率 ) 。
(2)采用 1mm间隔作轴向 CT扫描全身,分辨率为 512× 12
( 每点同样具有 12位灰阶分辨率 ) 。
(3)对遗体作深冷冻后进行轴向切片解剖,每层间隔
1mm,与 CT断层吻合,其断面的图像分辨率为 2048x1216
( 每点具有 24位灰阶分辨率 ) 。 综上,对整个男性遗体共作了 1871个断层的 CT扫描和解剖断面,所重建的男性
,可视人,( 图 8-7) 总数据量达 15GB。
2009年 7月 24日 数字图象处理演示稿 纪玉波制作
(C)
33
图 8-7
2009年 7月 24日 数字图象处理演示稿 纪玉波制作
(C)
34
女性遗体来自一位 59岁马里兰州黑种人,除心脏轻微肥大 ( 亦因心脏病急性发作而死亡 ) 外,全身各部分完好 。 数据采集方法基本同男性,可视人,,仅解剖断面所采用的间隔缩小至 0.33mm,这样形成了五千多个解剖断面 。 这一女性,可视人,( 图 8-8)的总数据量高达 40GB。
这两个数据人被存贮在 NLM的巨型服务器中,可通过网络访问 。
一系列透明的切片图像可以从任何方位角,高度角及深度的视点观测 。 切片图像投影到一个假想的观察平面上,在此平面上它们通过求和而叠合在一起 。
投影可以通过一个几何变换完成 。
2009年 7月 24日 数字图象处理演示稿 纪玉波制作
(C)
35
图 8-8
2009年 7月 24日 数字图象处理演示稿 纪玉波制作
(C)
36
2002年 10月 23日,第三军医大学宣布,首例中国数字化可视人体的数据采集日前在该校完成 。
首例中国数字化可视人体是在国家自然科学基金的资助下,由第三军医大学博士生导师张绍祥教授带领二十多人的课题组经过三年多的不懈努力才得以完成的,这一成果为中国乃至整个东方人提供了一部目前最为系统、完整和细致的人体结构基本数据和图象资料。
这例经法律程序采集的,可视人,标本为一标准的中国健康男性尸体,年龄 35岁,身高 170厘米,体重 65公斤。
该尸体标本经处理后,被放入深低温冰槽冷冻,然后在零下二十五摄氏度低温实验室中用数控铣床从头到脚逐层切成薄片。该,可视人,全身共计被切为二千五百一十八个连续横断面切片,其中颅底部等重要部位的切削厚度仅为
0.1毫米。
2009年 7月 24日 数字图象处理演示稿 纪玉波制作
(C)
37
部分横截切面
2009年 7月 24日 数字图象处理演示稿 纪玉波制作
(C)
38
另一中国数字化人是一位 28岁的汉族健康男性,祖籍湖南,身高 166厘米,体重 58公斤,没有任何传染病和代谢疾病。该男子 2002年 4月死亡,自愿捐献尸体作科学研究。专家发现其没有任何传染病和代谢疾病,身体健康,身高 1.66米。根据中国人群的绝大部分为亚洲黄种人、
蒙古人种的特点,依据中国人体质调查资料和基因染色体分析组成了 25项容易观测到的指标,认为具有人群的代表性。专家们花费了很多精力从 20位自愿捐献者中慎重选取,筛选出他作为,标准中国人,。
研究由第一军医大学、中国科学院计算所、首都医科大学和华中科技大学共同承担,其主要工作是将人体从头顶至脚跟横切成 16600片,切片厚度只有 0.1毫米。
切片于 2002年 6月 28日开始,预计 1年完成。
2009年 7月 24日 数字图象处理演示稿 纪玉波制作
(C)
39
相较而言,美国人体样本有一定缺陷,曾做过几次手术,死亡时
38岁,15岁时被切除了右睾丸,到了 21岁阑尾又被切除,38岁时一颗牙齿被拔除 。
我国首例女性数字化人数据集 2003年 2月在广州第一军医大学构建成功。这位女数字化人的数据采自一名年龄为 19岁、身高 1,56
米的广西少女,去年在广东因食物中毒而急性死亡。她的尸体标本被切成 8556片,每片仅厚 0.2毫米。 2003年 3月,首都医科大学课题分组已初步完成对该虚拟人体整体形态的三维重建,其中包括骨骼系统及女性生殖系统如卵巢、输卵管、子宫等的重建。该数字化人体是世界第二例女性数字化人体,但其质量和价值远高于由美国科学家完成的第一例女性数字化人体,一是采样时采取站立式包埋和切片,最好地保持了人的真实自然形态,而美国虚拟人体则是平躺采样,失真度高;二是年仅 19岁,各器官正常且呈现充分,而美国数字化人体,采样时 59岁,一些器官特别是较有医学科研价值的女性生殖器官已萎缩。另外在血管灌注方面显现小至 2毫米的细小血管,
切片层厚 0.2毫米、分辨率高,8000多均匀片数等,也均优于后者。
预计到 2004年最终完成这两例数字化人体的三维重建,并对外公开有关数据实现数据共享。
2009年 7月 24日 数字图象处理演示稿 纪玉波制作
(C)
40
我国首例女性数字化人部分切片横断面