第八章 纹 理
8.1 概述
1.1纹理的定义
8.1.2纹理的描述和分析方法
1.3纹理基元与影调
8.1.4纹理研究的领域
8.2 人类视觉系统的纹理分割模式
8.3 纹理描述
3.1测量纹理特性的统计方法
8.3.2纹理的空间频率特性
8.3.3 纹理描述的结构方法
8.1 概述
8.1.1 纹理的定义
尽管纹理在图象分类和图象分析中是很重要的特性,并且它几乎无所不在,从多光谱卫星图片到细胞组织的图象都可以看到纹理,但目前对纹理还没有精确的定义。图8.1中的D34图是通过把特定的子图象有规则地重复,由人工产生的纹理。图8.1中的其它部分
图8.1 人造和自然纹理图案
则是更为复杂的自然纹理。图象纹理可定性地用以下一种或几种描述来表征:粗的、细的、平滑的、颗粒状的、随机的、线划状的或斑驳杂色的、不规则的和波纹状的。从图8.1所示的纹理可看到纹理是一种有组织的区域现象,它的基本特征是移不变性(shift invariance),也即对纹理的视觉感知基本上与其在图象中的位置无关。移不变性可被描述成是确定性的,(规则的或结构的)或是随机的(不规则的),但很可能存在着介于这两者之间的类别。确定性的图案通常是人造的,并且由线条、三角形、矩形、圆、多边形有规律的排列组成,而随机图象则通常是自然界产生的。
8.1.2 纹理的描述和分析方法
描述纹理图象的简单数学模型是:
(8-1)
其中是位移(或关系)规则,是象素的小区域,它构成了纹理基元(元素)。本身又是输入图象I(i, j)的函数。以下对纹理的研究也是从纹理基元和位移或关系规则这两方面进行的。由于纹理基元的重要性,下面我们将先对它进行单独讨论。
纹理分析方法主要有两类, 一类是统计的方法,另一类是结构分析的方法。统计的方法对纹理进行分析,并描述图案的特征。结构分析的方法则试图通过研究(8-1)式中的和的特性来揭示纹理的细节。这样做显然要困难得多,这也是为什么人们倾向于采用统计方法的原因。但是,如果和有明碓的定义或已知,那么用结构分析的方法就很简单。
按方程(8-1)的观点,可以从两个方面描述纹理。第一个方面用于描述组成纹理的基元;第二个方面用于描述纹理基元之间的空间联系或相互影响。第一个方面与纹理区域中的影调基本分布情况(称为影调基元)或局部特性有关。第二个方面与影调基元的空间组织有关。
图8.2 纹理分析方法
影调基元是具有确定影调特性的区域,可以用诸如平均灰度,或区域中的最大和最小灰度这样的特性来描述。把具有给定影调特性的象素最大程度地连接起来就组成了影调基元,可以按它的面积和形状来评价影调基元。影调基元不但包括它的灰度而且包括它的影调的区域特性。
纹理可用纹理基元的数量和类型以及这些基元的空间组织或排列来描述。纹理的空间组织可能是随机的,也可能一个基元对相邻基元有成对的依赖关系,或者几个基元同时相互关联。这样的关联可能是结构的、概率的或是函数的。纹理分析的方法可用示意图8.2表示。
8.1.3 纹理基元与影调
一个纹理基元(不严格地说)是一个具有一定的不变特性的视觉基元。这些不变特性在给定区域内的不同位置上,以不同的变形和不同的方向重复出现。纹理基元最基本的不变特性之一是区域内象素的灰度分布,在更为复杂的情况下可能还有与形状有关的特性,而影调也是表示灰度的明暗分布。因此,我们认为影调和纹理不是独立的概念,它们之间的关系很象光波中的粒子性与波动性之间的关系。光在任何时候都有粒子性和波动性,但是根据具体情况粒子性或是波动性可能占主导地位。相似地,在图象中总存在影调和纹理,只是有时一种特性相对于另一种特性占优势。在实际问题的处理中,为了简便,我们经常倾向于认为只有影调或只有纹理。因此,当我们定义影调和纹理时,我们不是定义两种概念,而是定义影调—纹理概念。
影调—纹理概念内部的基本关系如下所述:当在图象的一定面积区域中影调基元的变化很小时,这个区域的主导特性是影调。当在小面积区域中含大量不同的影调,这个区域占主导的特性是纹理。按这种区分方法,关键点是小面积区域的大小,影调基元的相对大小和类型以及可区分的影调数量的多少。事实上,当小面积区域小到只有一个分辨率单元大小,以至只有一种独立的特性时,表现出来的唯一特性就是简单的灰度影调。当小面积区域中可区分的影调基元数量增加时,纹理特性将占主导。当影调基元中的空间图案是随机的,以及基元之间的灰度影调的变化范围很广时,这就得到精细的纹理。当空间图案变得较为确定以及影调区域涉及较多的象素时,就得到粗糙的纹理。
图象表现出的影调—纹理特性与图象的分辨率密切相关。因为在纹理基元定义中的一个重要部分是基元要在给定区域中重复出现,问题是重复多少次?为了定性地回答这个问题,可以想象把一个近似等于我们视场的窗口迭加到一个很大的纹理区域上。随着这个窗口逐渐变小,这相当于移动视点逐渐靠近纹理,这时包含在窗口内的纹理越来越少。到某一距离时,窗口内的图象不再出现纹理。如果窗口逐渐增大,这相当于视场逐渐远离图象,也会发生类似的效果。当增大到某一距离时,纹理细节逐渐模糊,变成连续的影调,当窗口平移时,再也看不到重复的纹理基元。因此,在定义纹理时需要有合适分辨率的概念。在此合适分辨率之下,纹理将是明显的,而且随视场在纹理区域内移动时,纹理“看起来是一样的”。通常合适分辨率并不知道,但必须计算出来。Connors[Con 81]提出一种通过检查图象中重复的最大值来计算合适分辨率的方法。
纹理可以是分级的。不同级相应于不同的分辨率。“砖墙”纹理可以说明这样的分级性质。在某一分辨率之下,可明显看到由砖组成的结构性很强的图象,而分辨率更高时,则可看到每块砖表面的细致纹理。
8.1.4 纹理研究的领域
纹理研究的领域大致可分成三种类型。第一类是纹理的描述和分类。这类问题在图象识别中有重要应用,因此已经引起了广泛的重视。例如,在医学图象处理中利用纹理特性来区别正常细胞和癌细胞。这时,就要先抽取这两种细胞图象的纹理特性,然后进行分类识别。第二类是以纹理为特征的图象分割。第三类是利用纹理信息推断物体的深度信息或表面方向。
纹理可提供关于可见表面几何结构的重要信息。首先研究这个问题的是Gibson[Gib 50, 66]。因为图象本身不能提供求解所需的足够信息,为此要对纹理的几何特性作出假设。Gibson假设纹理基元在物体平面上的分布密度是均匀的。他发现这时根据图象中纹理基元密度的梯度可以确定表面的方向。如图8.3所示,在纹理基元分布均匀的条件下,表面倾斜方向在图象中的投影就是局部纹理密度变化量大的方向,或者说是垂直于纹理基元分布最均匀的那个方向。在图8.3(b)所示的情况下,按后一种方法就是寻找与透视直线等间隔相交的直线方向(见图8.3(c))。但是,Stevens[Ste 80]的研究发现在透视投影的条件下纹理密度梯度既取决于表面方向,又取决于物体的距离和位置。因此纹理基元密度并不是表面方向的良好测量。由于纹理对恢度表面方向的重要性,所以在这方面已进行了大量研究。详见[Baj 76] [Wit 81] [Ken 80] 。
图8.3 根据纹理基元密度梯度恢度表面方向
8.2 人类视觉系统的纹理分割模型
根据已有的证据,人类视觉系统是以图8.4中所示的方式进行纹理分割的。首先假设,输入的图象是以并行的方式在多通道中进行处理的。表示输入图象在不同频率范围中特性的输出向量被用于计算一定面积内的粗细度、对比度和边缘方向。这三个特性是影响聚集
图8.4 纹理分割的模型
过程的主要因素。多通道模型的输出是一组区域,这些区域是根据逻辑谓词P对图象I(I, j)的采样网格X进行分割的结果。逻辑谓词定义了进行聚集的条件。按照图8-4所示的模型,纹理分析是一个通用的处理过程,也就是说它与图象内容特定的应用范围无关,这也符合低层视觉处理的定义。这可能意味着在人类视觉中纹理的辨别是在双目立体视觉融合以后,发生在大脑皮层。
人们可用来描述纹理的性质有,均匀性(Uniformity)、密度(density)、粗细度(Coarseness)、粗糙度(roughness)、规律性(regularity)、线性度(linearity)、定向性(directionality)、方向性(direction)、频率(frequency)和相位(phase)。这些性质的理想化如图8.5所示。显然,这些性质是相互联系的。虽然,目前还不完全清楚人类视觉系统中实际应用多少种性质来描述纹理,但可比较有把握地说,上述性质中的大多数并未用到。所以在图8.4的模型中仅限于三种性质的量测。
人们用来描述纹理最常用的词藻是粗的或细的[Tam 78]。什么是粗的纹理、什么是细的纹理目前还无精确的定义。粗略地讲,我们通过观察组成图案的纹理基元,如果这些基元的尺寸较大,或有许多重复的基元,则给人总的印象是粗的。例如,图8.1中的D98和D111所示的纹理。已有人提出了检测纹理粗、细程度的多通道模型。[she 80]的做法是在一个小区域里检查一组不同频率通道的输出,选择其中响应最强的通道。空间频率最低的通道被认为表示是粗的纹理,那么高空间频率通道就被认为表示细的纹理。由于通道的响应大小不但由基元的大小,而且由分布规律所决定。所以还需要在一个领域里作出每个通道响应的直方图曲线[zucKer 75],通过分析这些曲线的特性就能确定纹理的粗细。
图8.5 描述纹理的性质
描述纹理的第二个特性是边缘元素的方向,或斜率。心理物理学的实验研究表明这个特性非常重要。图8.6(a)中的实验表明了基元斜率对区别纹理的强烈影响。正放的和倾斜的T形之间很容易区分。L形和正放的T形之间在形状上很不同,但似乎可以聚集成一个区域。图8.6(b)中证明了相似的效应。图中包括猫、旋转的猫和猫的镜象。当要求被试验者确定图象中的边界时,最常发生的是选择右边的边界[Beck 82]。虽然从单个来看,中间的猫与右面猫的镜象比与左面旋转的猫相比更相似些。
我们可以把纹理分成有方向性的和无方向性的两种。同样地,纹理基元的形状和分布规律都会影响我们对纹理方向性的感知。这里仍采用多通道模型,对多通道的输出信号用边缘检测算子产生在特定方向(上的边缘段。然后求出边缘方向的直方图,直方图的形状就可以说明纹理的方向性。如果直方图上具有尖锐和较大的高峰,那么说明这是方向性的纹理;如果直方图较平坦,那么就是非方向性纹理。
第三个被研究的重要特性是图象的对比度。对比度可以根据图象的灰度分布求得。在人类视觉的纹理感知中粗细度和方向性的作用已得到实验的有力支持。对比度在其中的作用得到某些实验结果的支持,但它占的重要性还未完全清楚。通常认为图象灰度直方图的形状不应影响对纹理的感知,而灰度直方图又是与图象的对比度有关。因此这个问题还有待进一步研究。
图8.6 影响纹理区分的因素
(a) 基元斜率的影响,(b) 图形的镜象由于斜率不同于原始图形,更容易与原始图象相区分
8.3 纹理的描述
8.3.1 测量纹理特性的统计方法
最早是用自相关函数来作纹理特性的测量,然后又采用 功率谱、马尔可夫过程和并发矩阵(co-occurrence matrix)来统计。纹理特性的统计方法测量主要用于在航测照片中自动识别草地、水面、树林、田野等自然景物的种类。用统计方法分析纹理的过程如图8.7所示。
图8.7 统计方法分析纹理的过程
图中通过T1变换测量图象中纹理的统计特性,它的输出Y可是标量、向量或是矩阵。这取决于所采用的方法。如果是向量或矩阵,那么这样的数据还要经过聚集处理,以得到单一的测量。这就是图中T2处理的作用,它的输出是求得的纹理属性A(i, j)。大多数情况下A(i, j)是一个标量。如前所述,通常认为纹理的观察与光照无关。对计算机来说为达到相似的效果,通常先用等概率量化EPQ(Equal Probability Quantization)对图象作预处理[Con 78]。如果假设用摄象机、照相机底片、或扫描器作输入的图象系统中的各个阶段都可用单调函数关系来表示的话,那么用EPQ可以使各种处理图象的对比度规整化。因为如果两幅图象的灰度互为单调变换,那么经过EPQ规整处理以后就具有相同的概率分布函数 [Har 79]。这样的预处理的作用尚不清楚,因为对人的心理物理学实验证明事实上人利用对比度来区分纹理。由于经过EPQ处理后,图象之间在一阶统计量上的区别被消除了,所以一阶统计量的区分作用被大为降低。这时二阶统计量就成为主要的测量。
8.3.2 纹理的空间频率特性
如果我们把纹理理想化地看成是由形状相似的基元在空间均匀分布产生的,那么纹理分布的规律性就可以用自相关函数、Fourier变换和功率谱密度函数来量测。
1. 自相关函数
自相关函数可用来表示纹理基元的大小和分布情况。设想把同一张纹理图象复制到两张透明胶片上。开始时把这两张胶片对齐迭放,并置于均匀光照之下,然后把其中一张胶片相对于另一张沿某一特定方向作相对位移,并记录这时两张重迭胶片的透光量。透光量随胶片相对位移的变化函数就是图象的自相关函数。根据自相关函数的峰点和谷点分布就可以分析纹理基元的大小和分布情况。
二维自相关函数被定义为:
(8-2)
其中i和j被限于特定的窗口,这相当于假设在此区域以外的图象为零。增量位移,这个值可以是负的。对给定图象来说,自相关函数在d=0时为最大值1,并随正向和负向位移以指数函数下降。中央峰点的斜率可表示纹理的粗细度。如果纹理基元较大,则自相关函数的下降相对缓慢;与此相反,基元较小,则下降迅速。当是周期性的或规则的纹理图案时,那么就会周期性地出现最大值。而当自相关函数是圆对称时就表示纹理是各向同性的。遗憾的是对于自然纹理的区别来说,已发现自相关函数不是一个很好的测量指标。因为不同自然纹理的自相关函数曲线相差不多。
自相关函数是个线性的模型。相似的还可用自回归函数(autoregression)[Deg 78]。但这种方法无法描述具有重复微细结构的纹理[mod 81]。
2. 空间Fourier变换和功率谱函数
用二维空间Fourier变换来描述纹理的优点是这种方法容易发现图象在空间域中的特性,例如,可检测纹理基元的大致大小和基元的空间组织。但缺点是对EPQ这样的线性变换来说,Fourier变换不能保持不变性。而更为严重的困难是,为了正确地检测纹理的特性,在作变换时要求足够大的图象矩阵。而在进行纹理分割时,这是难以实现的。
功率谱的方法是以图象的Fourier变换为基础的:
(8-3)
的幅度就是图象的功率谱,即
(8-4)
其中和分别表示的实部和虚部。图象的相位谱
(8-5)
纹理的粗细度可用的分布特性来表示。如果中幅度高的部分集中在附近,这表示是粗的纹理。因为低频分量与大的基元相联系。相反,如果主要分布在远离处,这时高频区域的有较高的幅度,这表示纹理中包含较细致的图案。纹理的方向性也可以由来表示。功率谱不随位移变化,但随纹理的方向变化。因此,它可以反映纹理的方向信息。如果纹理图象具有较强的朝某一方向的分量,那么的高幅度值将排列在某个特定方向上,这个方向与图案的走向垂直。如果纹理无明显的走向,那么也无显著的定向性。
为了简化功率谱的解释,可把二维的功率谱函数压缩成一维的表示形式。为此需要采用极坐标系,其中是以原点为中心的圆周半径,是极位角。这时我们可分别计算在半径为的圆周上功率谱的平均值的功率谱。我们先来计算在圆环中的功率谱。在半径为的圆周上功率谱中平均值为:
(8-6)
在内径为,外径为的圆环上的功率谱为
(8-7)
在离散情况下,对N×N的图象公式为:
(8-8)
这样就得到了功率谱随频率域内圆环半径变化的一维表示形式。圆环半径与空间频率成正比,因此这种表示方法可更方便地说明功率谱的分布与纹理粗细之间的关系。
为检测功率谱分布的方向性,可计算扇形区内的功率谱
(8-9)
其中和是规定扇形区范围的两个角度。
在离散的情况下:
(8-10)
这样就得到了功率谱随角度变化的一维表示形式。的分布情况直接说明了纹理的方向性。图8.8所示为某纹理的和。图中的频率1, 2, ,4, 8, 16, 64,对应的纹理基元的大小分别为128, 64, 32, 16, 8, 4, 2, 和1。扇形区的角度为36(。
图8.8 纹理的功率谱和
(a) 纹理原图,(b) Fourier变换,(c) 1-8号圆环的半径周围分别为[0, 1], [1, 2], [2, 4], [4, 8], [8, 16], [16, 32], [32, 64]和[64, 128],(d) 角度在-180(—180(范围内均匀等分。
需要说明的是,利用Fourier变换来描述纹理特性的前提是假设图象是周期性的,但实际上纹理不是严格周期性的,这就局限了这种方法的有效性。同时由于图象边界处的不连续性会在变换的水平和垂直方向上产生虚假的分量,为减弱这个效应,可在处理的纹理区域周围人为地加上零边界,或应用离散的余弦变换。
3. 一阶概率统计
图象中灰度的一阶概率分布(或直方图)是包含在图象中信息的简洁概括,因此是很有吸引力的纹理测量方法。设是象素周围邻域中计算的某个特征。为简化起见在符号表示中把省去。若只能取离散值集合中的一个值,那么可很容易求得概率密度函数或直方图统计。并可进一步求得Y的四个特性:均值(),方差(),反称性()和峰态(),并根据这四个特性取得图8.7所示的纹理属性A。
(8-11)
(8-12)
(8-13)
(8-14)
请注意公式(8-14)中右边减去常数3是为了使Gaussian直方图的峰态规则化为零。和可提供区域中均匀性和规则性的信息。反称性是直方图均值两边的分布中一边对另一边占优势程度的测量,它是直方图对称性的标志。峰态是直方图分布曲线在峰点附近的分布情况,也就是陡峭程度的测量。
利用上述四个特性作为纹理属性的优点是简单。经常用作Y的特性是图象的灰度。其它可作Y的特性是某些局部的灰度特性,而不是灰度本身。一种简单的灰度特性是图象中两个象素之间的灰度差。我们先定义距离或位移向量。
其中是整数。因此,距离d上的灰度差为:
(8-15)
对于不同的d可得到一组。因此它属于图8.7中经过变换后的结果是一个矩阵的情况。设表示距离d上出现差值(可由上式求得)的概率。也可计算相距特定距离的两处平均灰度之差的直方图。这样得到的直方图也将提供关于图象纹理的信息。例如,如果图象中的纹理较粗,而距离d与纹理基元尺寸相比较小,这时直方图将聚集在的周围;如果纹理较细,距离d与纹理基元大小可比,这就使直方图的分布扩展。
已经提出四种用于计算纹理属性A的变换方法:
(1) 对比度
(8-16)
这是直方图的二阶矩,或绕原点的惯性矩。
(2) 角的二阶矩
(8-17)
这个属性可把相对比较平坦的直方图与数值集中在原点的直方图区分开。前者A2较小,而后一种情况较大。
(3) 熵(entropy)
(8-18)
是均匀分布时的值最大。
(4) 均值
(8-19)
对数值分布集中在周围的直方图来说较小,而其它情况较大。
与上述特征直方图统计相似的纹理描述方法是灰度游程长度统计(gray-level run-length statistics)[Galloway 75]。纹理图象中在任何给定方向上总会存在满足下述条件的一个距离值,即在此距离范围内灰度是相似的。这样的距离被称为灰度游程。粗纹理的灰度游程较长,出现次数较为频繁;与此相反,细纹理的灰度游程较短。设表示M×N的图象矩阵中在d方向上包含灰度为Im,长度为l的灰度游程的数量。根据可定义以下五种纹理属性[Con 80]。
(1) 短游程增强(short-run emphasis)
(8-20)
(2) 长游程增强(long-run emphasis)
(8-21)
(3) 灰度分布(gray-level distribution)
(8-22)
(4) 游程长度分布(run-length distribution)
(8-23)
(5) 游程百分率(run-percentages)
(8-24)
其中NR是图象矩阵中游程长度的种数,n是灰度级数,TR的定义是:
(8-25)
上述纹理属性的计算只涉及一阶概率统计,因此计算较为简单。但把这些属性用作纹理识别时的特征不如以下所述的二阶统计特性那样有效。
在这一节中介绍的一阶概率统计纹理属性描述方法的主要优点是计算简便。这种方法虽然不如二阶统计方法那样有效,但在纹理图象的分割中还是很有吸引力的。
4. 二阶统计特性[Dav 79]
上节所述的一阶统计特性只测量了纹理的点特性,然而纹理特性不仅与纹理基元中的灰度影调有关,而且和纹理基元的相互关联有关。因此,如能在纹理特性的测量中把纹理图案中的空间关系考虑进来将能更好地描述纹理。测量纹理二阶统计特性的并发矩阵就是实现上述概念的一种方法。目前主要研究的是灰度并发矩阵GLCM(gray level co-occurrence matrix),它还可推广为广义并发矩阵GCM (generalized co-occurrence matrix)。灰度并发矩阵GLCM说明当图象中象素(i, j)处的灰度为Ik,同时与(i, j)沿任意方向相距位移d的象素()处的灰度为Ie的概率。从概念上讲,可以用下述方法来得到GLCM 统计:设向图象中抛下大量各不相干的细针,记下针的两端处的灰度,然后统计两个特定的灰度同时出现的频率(或次数),并存入概率矩阵中,这就得到了某一位移值d时的并发矩阵。生物图象处理和遥感图象处理中的应用说明GLCM是性能很好的方法。它不但适用于纹理识别,而且用于纹理分割时效果也很好。以下我们将详细讨论并发矩阵的定义。
为通用起见并发矩阵的统计特性不一定限于图象的灰度。设Y(i, j)是纹理基元所计算的某项特性,并且它只能在整数集合{y1…, yr…, ys…, yt}中取值。二阶统计所研究的是特征Y(i, j)在相对位置满足特定空间约束条件的两个象素处取某两个特定值,例如yr和ys的概率大小。说明两个象素相对位置的空间约束条件可用逻辑谓词(来表示。
(8-26)
其中和 分别为两个纹理基元的象素位置,是逻辑表达式。例如,设当两个象素之间的距离小于或等于时为真,即
(8-27)
对GLCM来说,空间约束可表示为
(8-28)
因此,它可由位移向量来表示。
我们可以通过统计归一化的直方图来求得在给定空间约束的条件下,特征Y(i, j)取yr和ys的概率。由于包含yr和ys两个变量,所以在给定的条件下,是二维的矩阵,矩阵大小为N×N,N是特征Y的量化级数。如果以灰度作为特征Y,用位移d来表示空间约束,那么这时的直方图就是灰度并发矩阵GLCM,它所估计的是,相对位移为d的一对象素的灰度为()的概率。这时N就等于图象的灰度级数。在实际应用中为避免计算的计算量过大,通常N最大取16级。例如,图8.9(a)所示为一幅具有从0到3共4个灰度级的5×5的图象。图8.9(b)为时未经归一化处理的直方图H,把它除以矩阵中所有元素的和20就得到所要估计的概率。为方便起见可忽略位移方向的差别,这时可计算对称的GLCM,即
这就如图8.9(c)所示。
图8.9 GLM的计算
(a)图象矩阵, (b)d=[1, o]时的GLCM, (c)对称的GLCM
GLCM可用于区分图象中的纹理。例如,对纹理基元较大的粗纹理来说,如果所选d与纹理基元的幅度相比较小,那么位移向量两端的灰度相近的可能性就大。这时H矩阵中的数值元素趋向集中在矩阵的对角线附近。与此相反,对细纹理来说,d的幅度将与纹理基元的大小差不多。所以这时H中数值的分布将较为均匀。此外,通过比较不同方向位移向量d时H中的数值分布情况还可以检测纹理的方向性。总之,中的数值分布情况反映了纹理的性质。因此,我们可以根据H来计算纹理的属性A。常用的属性有以下几种:
(1) 对比度(contrast)A1
(8-30)
(2) 均匀性或能量A2
(8-31)
这是纹理均匀性的测量,也可认为是图象能量的测量。当H中的各项元素值较为接近时,A2就较小。纹理较细时就会出现这种情况,而当H的元素值中大的各项集中在对角线附近时,A2就趋向最大。
(3) 逆差分矩(inverse difference moment)A3
(8-32)
这个属性可用于检测纹理的局部均匀性。
(4) 熵(entropy)A4
(8-33)
这是纹理不均匀性的测量,当H的各项元素大小不一时,A4就较大。在遥感图象的纹理分类中应用A3和A4属性的效果很好。
(5) 相关(correlation)A5
(9-34)
其中和分别为I1和I2的平均值和标准方差。如果的元素之间的值较为接近,A5就较大。
以上介绍的GLCM把象素作为纹理基元,表示基元的特征是象素位置和灰度。基元之间的空间关系也被局限于空间位移向量。并发矩阵的概念可以被推广;纹理基元可选用图象中的低层单元,如边缘点、边缘段,或灰度均匀的小区域等。描述这些纹理基元的特征可以是多个。例如,边缘单元可用位置、对比度、方向等特征来描述。同样,纹理基元之间的空间关系可以推广为用任意复杂的空间约束来定义的通用关系。例如图8.10所示为一组边缘点,每个边缘点以对比度作为特征。基元之间的空间约束条件是是基元之间的街区距离(city block), ,和为两个边缘点的位置。图中b和c点与a点的空间关系都满足上述条件。
图8.10 并发矩阵的定义 (a)灰度并发矩阵GLCM (b)广义并发矩阵GCM
理论和实验研究的结果表明在纹理识别和分割中基于二阶统计的纹理测量比其他方法优越。但它的一个主要缺点是计算量大。需要计算的属性数量多,而且还需要在不同的位移大小和方向下计算。在某些情况下为减小计算量可假设纹理是各向同性的,这时可把固定位移大小条件下各方向的并发矩阵作平均,然后再用这个综合的矩阵来计算各项属性。
8.3.3 纹理描述的结构方法
如前所述,纹理可由一组纹理基元,以及确定这些基元之间空间关系的排列规则来描述。按这种观点来分析,纹理似乎与语言很相似,如果把纹理基元与语言中的字符作类比,那么基元之间空间关系就可以与说明字符是如何组织起来的文法相对应。因此,字符与文法结合在一起就构成了纹理的语言学模型。在语言学中语言的合成可通过建立合乎文法的字符串来完成,而语言识别就是对字符串进行句法分析。同理,按语言学模型,纹理的合成和识别也可用相似的方法来完成。
在Carlucci[Carl 72]提出的纹理句法模型中用线段或开口的多边形作为基元,然后用树表示法来描述这些基元的排列规则。而Jayaramamurthy [Jay 79]则采用一组小面积的象素点阵模板作为基元。Zucker[Zuc 76]提出了通过使理想纹理图案畸变来产生实际纹理的方法,这时理想纹理图案可用合成图来表示。Fu[Fu 81]和他的学生研究应用随机树文法来描述纹理,并且用这种方法来识别纹理。这种方法被用于气泡室图象、卫星照片的分析、以及高速公路、河流和指纹的识别。但这种方法的困难是如何规定文法。理想的方法是根据实际图象推论出文法。可是目前这方面的成果还不多。
描述纹理的结构方法的优点是它可提供图象的符号描述,这就使纹理合成很简单。这种方法很适合于具有明确纹理基元的规则纹理,但对于自然界中遇到的那些纹理就不太合适,特别是这种方法只适用于纹理识别,而难以应用于纹理分割。
Haralick[Har 79]把用结构方法分析的纹理分成两类,一类是弱结构型的,另一类是强结构型的。这样的分类主要是根据纹理内部基元之间的空间组织情况。弱结构型的纹理主要可由上一节中所述的局部区域统计特征来描述,与此相反,强结构型的纹理可用纹理基元之间的拓扑关系来描述。这样就很适合用文法来表示。
Zucker[Zuc 76]提出了一个方便的纹理合成和分析模型(图8.11)。假设我们希望产生一个实际的纹理图象,那么就需要根据图象选择一组基元Sk和排列规则R,并由此产生一个理想的纹理(,因为(只是所观察到的实际纹理的理想化模型,所以从这个意义上来说,它是不能直接观察到的,(可用图来表示。这样就可以
图8.11 纹理变换模型
理想纹理的图表示 实际表面纹理的图表示
图8.12 用概率变换(产生纹理
通过变换(把描述理想纹理图案(的图映射成描述实际纹理的另一张图。然后用计算机图形学的方法产生图象。在弱结构型纹理的情况下,变换(是随机的。图8.12所示为用概率变换(产生纹理的例子。在表示实际表面纹理的图中,节点标记说明基元的位置,它是符合某种概率分布的随机变量。图8.13所示为利用投影变换(产生纹理的例子。这时在实际纹理的图中节点说明基元形状和大小的变化规律,图中的边标记说明基元之间的相互关系的变化规律。这些信息在图象合成时被用于产生实际表面纹理。
图8.13 用投影变换产生纹理
对纹理的分析也可通过纹理合成方法来完成。这就是说,可以通过找到合成实际纹理结构的方法完成对纹理的分析。这里涉及如何根据待分析的纹理图象寻找理想的纹理模型和变换(。
是由纹理基元Sk和排列规则R构成的。Sk可通过区域分析来抽取,这时描述Sk的特征除了灰度以外还包括面积、大小、方向性和形状等几何属性。然后作出这些特征的直方图并进行分析,以检查在所分析的图象中可能存的Sk的种类。在纹理中有时可能存在两种或更多的纹理基元。
排列规则R可通过计算每对纹理基元相对位置的二维直方图来确定。这样的直方图中的峰点(或谷点)相应于一个说明基元相对位置特性的位移向量。如果直方图没有明显的峰点,则说明纹理图案是随机的。例如,Connors[Con 81]提出利用根据灰度并发矩阵GLCM计算的惯性测量(inertia measure)来寻找R。如果把它与前面8.3.2节纹理的二阶统计特性中所讨论的5个属性联系在一起,那么它就是第6个属性A6。A6被定义为:
在理想的情况下,如果纹理沿某一方向d周期性分布,那么A6将是此特定方向上的周期函数。A6的零点重复出现的周期就是纹理分布的周期。在实际纹理中A6难以是零,而是选最小值作为代替。图8.14(a)所示为法兰西帆布(France Canvas)的纹理图案,它已经过等概率量化处理把灰度由256级转换为16级。对这个纹理图案分别计算水平方向和垂直方向的A6,画在图8.14(b)中,由图8.14(b)中A6最小值的分布可确定水平和垂直方向的周期分别为。根据找到的周期画出网格并重叠在原图上的情形如图8.14(c)所示。结果说明所发现的周期大致是正确的。
除了以上的模型以外,还提出了许多其它的按结构方法描述纹理的模型。其中包括随机镶嵌模型[Ahu 81],随机场模型[Has 81],随机漫步模型[Wec 79],和长巅峰波模型等[Sch 81]。
图8.14 纹理基元排列规则的分析
参考文献
[Ahu 81] Ahuja, N and Rosenfeld, A, Mosaic Models for textures, IEEE Trans, on Pattern Analysis and Machine Intelligence, Vol. PAMI-3, 1981, pp1-11.
[Car 72] Carlucci, L., A formal System for texture Languages, Pattern Recognition, Vol. 4, No.1, Jan. 1972, pp53-72.
[Baj 76] Bajcsy, R., and Lieberman, L., Texture gradient as a depth cue, Computer Graphics and Image Processing, Vol.5, No.1, pp52-67.
[Con 80] Connors, R, W., and Harlow, C.A., A Theoretical Comparison of texture algorithms, IEEE Trans. On Pattern Analysis and Machine Intelligence, Vol. PAMI_2, No.3. Mag, 1980, pp204-222.
[Con 78] Connors, R.W., and Harlow, C.A., Equal Probability quantilizing and texture analysis of radiographic images, Computer Graphics and Image Processing, Vol.8, No.3, Dec.1978, pp.447-463.
[Con 81] Connors, R.W., and Harlow, C.A., Toward a Structural Textual Analyzer Based on Statistical Methods, in Rosenfeld, A(ed), Image Modeling, Academic, New York, 1981, pp.29-61.
[Dav 79] Davis, L.S., Johns, S. and Aggarwal, J.K., Texture analysis Using generalized Co-occurrence matrices, IEEE Trans. On Pattern Analysis and Machine Intelligence, Vol. PAMI-1, No.3, July 1979, pp.251-258.
[Deg 78] Deguchi, K. and Morishita, I., Texture Characterization and texture-based image partitioning Using two-dimensional linear estimation techniques, IEEE Trans. On Computer, Vol. C-27, No.8, Aug. 1978, pp739-745.
[Gib 50] Gibson, J.J., The Perception of the Visual world, Boston; Houghton mifflin, 1950.
[Gib 66] Gibson, J.J., The Ecological Approach to Visual Perception, Ithaca, N.Y., Cornell University Press, 1966.
[Har 79] Haralick, R.M., Statistical and Structural approaches to texture, proceedings of the IEEE, Vol. 67, No.5, May 1979, pp786-804.
[Has 81] Hassner, M., and Sklansky, J. The Use of Markov random fields as models of texture, in Rosenfeld, A(ed), Image Modeling, Academic, New York, 1981, pp.185-198.
[Jay 73] Jayaramamurthy, S.N. Multilevel array grammars for generating texture scenes, PRIP-90, Proc of IEEE Conf. On Pattern Recognition and Image Processing, Chicago, 1979, pp,391-398.
[Ken 79] Kender, J.R., Shape from texture: An aggregation transform, that maps a class of textures into surface orientation, IJCAI-79, Proceedings of the Int. Joint. Conf. On Artificial Intelligence, Tokyo, Aug:20-23, 1979, pp.475-480.
[Mod 81] Mode stino, J.W., Fries, R.W. and Vickers, A..L., Texture discrimination based upon an assumed stochastic texture model., IEEE Trans, On Pattern Analysis and Machine Intelligence, Vol, PAMI-3, No.5, Sept., 1981, pp557-580.
[Sch 81] Schacter, B.J., Long Created wave models, in Roseneld, A.(ed), Image modeling, Academic, New York, 1981, pp327-341.
[She 80] Shen, H.C., and Wong, A.K.C., Generalized texture representation and metric, Proc. of Int. Conf. On Cybernetics and Society, Cambridge, Mass, Oct, 8-10, 1980, pp695-703.
[Ste 79] Stevens, K.A., Surface Perception from Local analysis of texture and Contour, Ph.D thesis, MIT., Cambridge, Mass, Feb. 1979.
[Tam 78] Tamura, H., Mori, S. and Yamawaki, Texture feature corresponding to visual perception, IEEE trans, on SMC, vol. SMC-8, No.6, Jane 1978, pp460-473.
[Wec 79] Wechster, H., and Kidode, M., A Random walk Procedure for texture discrimination, IEEE Trans on Pattern Analysis and Machine Intelligence, Vol. PAM1-1, No.3, July, 1979, pp272-280.
[Wit 81] Witkin, A.P., Recovering surface shape and orientation from texture, Artificial Intelligence, Vol.17, No.13, pp.17-45.
[Zuc 76] Zucker, S.W., Toward a model of texture, Computer Graphics and Image Processing, Vol.5. No. 2.