第 2 章
模糊聚类分析
§ 2.1 模糊矩阵
定义 1 设 R = (rij)m× n,若 0≤rij≤1,则称 R为 模
糊矩阵, 当 rij只取 0或 1时,称 R为 布尔 (Boole)矩阵,
当模糊方阵 R = (rij)n× n的对角线上的元素 rii都为 1
时,称 R为 模糊自反矩阵,
定义 2 设 A=(aij)m× n,B=(bij)m× n都 是模糊矩阵,
相等, A = B ? aij = bij;
包含, A≤B ? aij≤bij;
并, A∪ B = (aij∨ bij)m× n;
交, A∩B = (aij∧ bij)m× n;
余, Ac = (1- aij)m× n.
模糊矩阵的并、交、余运算性质
幂等律,A∪ A = A,A∩A = A;
交换律,A∪ B = B∪ A,A∩B = B∩A;
结合律,(A∪ B)∪ C = A∪ (B∪ C),
(A∩B)∩C = A∩(B∩C);
吸收律,A∪ (A∩B) = A,A∩(A∪ B) = A;
分配律,(A∪ B)∩C = (A∩C )∪ (B∩C);
(A∩B)∪ C = (A∪ C )∩(B∪ C);
0-1律,A∪ O = A,A∩O = O;
A∪ E = E,A∩E = A;
还原律,(Ac)c = A;
对偶律,(A∪ B)c =Ac∩Bc,(A∩B)c =Ac∪ Bc.
?
?
?
?
?
?
?
?
?
?
?
1..,1
1..,1
??E
模糊矩阵的合成运算与模糊方阵的幂
设 A= (aik)m× s,B = (bkj)s× n,定义模糊矩阵 A
与 B 的合成为:
A° B = (cij)m× n,
其中 cij = ∨ {(aik∧ bkj) | 1≤k≤s},
模糊方阵的幂
定义:若 A为 n 阶方阵,定义 A2 = A ° A,
A3 = A2 ° A,…, Ak = Ak-1 ° A.
??
?
?
??
?
?
???
?
?
??
?
?
??
?
?
??
?
?
???
?
?
??
?
?
7.04.0
3.03.0
7.04.0
3.01.0
7.04.0
3.03.0
7.04.0
3.01.0
3
?
合成 (° )运算的性质:
性质 1,(A ° B) ° C = A ° (B ° C);
性质 2,Ak ° Al = Ak + l,(Am)n = Amn;
性质 3,A ° ( B∪ C ) = ( A ° B )∪ ( A °
C );
( B∪ C ) ° A = ( B ° A )∪ ( C °
A );
性质 4,O ° A = A ° O = O,I ° A=A ° I
=A;
性质 5,A≤B,C≤D ? A ° C ≤B ° D.
注:合成 (° )运算关于 (∩)的分配律不成立,即
( A∩B ) ° C ? ( A ° C )∩( B ° C )
??
?
?
??
?
?
???
?
?
??
?
?
???
?
?
??
?
?
?
2.03.0
1.05.0
,
2.03.0
1.02.0
,
1.02.0
3.01.0
CBA
??
?
?
??
?
?
???
?
?
??
?
?
???
?
?
??
?
?
?
2.03.0
1.05.0
,
2.03.0
1.02.0
,
1.02.0
3.01.0
CBA
( A∩B ) ° C ??
?
?
??
?
?
???
?
?
??
?
?
??
?
?
??
?
?
?
1.02.0
1.01.0
2.03.0
1.05.0
1.02.0
1.01.0
?
( A ° C )∩( B ° C )
??
?
?
??
?
?
???
?
?
??
?
?
??
?
?
??
?
?
?
1.02.0
1.02.0
2.03.0
1.02.0
1.02.0
2.03.0
?
( A∩B ) ° C ? ( A ° C )∩( B ° C )
模糊矩阵的转置
定义 设 A = (aij)m× n,称 AT = (aijT )n× m为 A的转
置矩阵,其中 aijT= aji.
转置运算的性质:
性质 1,( AT )T = A;
性质 2,( A∪ B )T = AT∪ BT,
( A∩B )T = AT∩BT;
性质 3,( A ° B )T = BT ° AT; ( An )T =
( AT )n ;
性质 4,( Ac )T = ( AT )c ;
性质 5,A≤B ? AT ≤BT,
证明性质 3,( A ° B )T = BT ° AT; ( An )T = ( AT )n,
证明,设 A=(aij)m× s,B=(bij)s× n,A ° B=C =(cij)m× n,
记 ( A ° B )T = (cijT )n× m,AT = (aijT )s× m,BT =
(bijT )n× s,
由转置的定义知,
cijT = cji,aijT = aji,bijT = bji,
BT ° AT= [∨ (bikT∧ akjT )]n× m
=[∨ (bki∧ ajk)]n× m
=[∨ (ajk∧ bki)]n× m = (cji)n× m
= (cijT )n× m= ( A ° B )T,
模糊矩阵的 ?- 截矩阵
定义 7 设 A = (aij)m× n,对任意的 ?∈ [0,1],称
A?= (aij(?))m× n,
为模糊矩阵 A的 ?- 截矩阵,其中
当 aij≥?时,aij(?) =1;当 aij< ?时,aij(?) =0.
显然,A的 ?- 截矩阵为布尔矩阵,
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
1110
1100
1011
0011
,
18.03.00
8.011.02.0
3.01.015.0
02.05.01
3.0
AA
对任意的 ?∈ [0,1],有
性质 1,A≤B ? A?≤B?;
性质 2,(A∪ B)? = A?∪ B?,(A∩B)? = A?∩B?;
性质 3,( A ° B )? = A? ° B?;
性质 4,( AT )? = ( A? )T.
下面证明性质 1,A≤B ? A?≤B?和性质 3.
性质 1的证明,A≤B ? aij≤bij;
当 ?≤aij≤bij时,aij(?) =bij(?) =1;
当 aij< ?≤bij时,aij(?) =0,bij(?) =1;
当 aij≤bij< ?时,aij(?) = bij(?) =0;
综上所述 aij(?)≤bij(?)时,故 A?≤B?.
性质 3的证明:
设 A=(aij)m× s,B=(bij)s× n,A ° B=C =(cij)m× n,
cij(?) =1? cij≥??∨ (aik∧ bkj)≥?
??k,(aik∧ bkj)≥???k,aik ≥?,bkj≥?
??k,aik(?) =bkj(?) =1 ?∨ (aik(?)∧ bkj(?))=1
cij(?) =0? cij< ??∨ (aik∧ bkj)< ?
??k,(aik∧ bkj)< ???k,aik< ?或 bkj< ?
??k,aik(?) =0或 bkj(?) =0 ?∨ (aik(?)∧ bkj(?))=0
所以,cij(?) =∨ (aik(?)∧ bkj(?)).
( A ° B )? = A? ° B?,
§ 2.2 模糊关系
与模糊子集是经典集合的推广一样,模糊关
系是普通关系的推广,
设有论域 X,Y,X ? Y 的一个模糊子集 R 称
为从 X 到 Y 的 模糊关系,
模糊子集 R 的隶属函数为映射
R, X ? Y ?[0,1].
并称隶属度 R (x,y ) 为 (x,y )关于模糊关系 R 的
相关程度,
特别地,当 X =Y 时,称之为 X 上各元素之
间的 模糊关系,
模糊关系的运算
由于 模糊关系 R就是 X ? Y 的一个模糊子集,
因此模糊关系同样具有模糊子集 的运算及性质,
设 R,R1,R2均为从 X 到 Y 的 模糊关系,
相等, R1= R2 ? R1(x,y) = R2(x,y);
包含, R1? R2 ? R1(x,y)≤R2(x,y);
并, R1∪ R2 的隶属函数为
(R1∪ R2 )(x,y) = R1(x,y)∨ R2(x,y);
交, R1∩R2 的隶属函数为
(R1∩R2 )(x,y) = R1(x,y)∧ R2(x,y);
余, Rc 的隶属函数为 Rc (x,y) = 1- R(x,y).
(R1∪ R2 )(x,y)表示 (x,y)对模糊关系,R1或者
R2”的相关程度,(R1∩R2 )(x,y)表示 (x,y)对模糊
关系,R1且 R2”的相关程度,Rc (x,y)表示 (x,y)对
模糊关系“非 R”的相关程度,
模糊关系的矩阵表示
对于有限论域 X = {x1,x2,…,xm}和 Y = { y1,
y2,…,yn},则 X 到 Y 模糊关系 R可用 m× n 阶模糊
矩阵表示,即
R = (rij)m× n,
其中 rij = R (xi,yj )∈ [0,1]表示 (xi,yj )关于模糊关
系 R 的相关程度,
又若 R为布尔矩阵时,则关系 R为普通关系,即 xi 与 yj
之间要么有关系 (rij = 1),要么没有关系 ( rij = 0 ).
例 设身高论域 X ={140,150,160,170,180}
(单位,cm),体重论域 Y ={40,50,60,70,80}(单位:
kg),下表给出了身高与体重的模糊关系,
40 50 60 70 80
140 1 0.8 0.2 0.1 0
150 0.8 1 0.8 0.2 0.1
160 0.2 0.8 1 0.8 0.2
170 0.1 0.2 0.8 1 0.8
180 0 0.1 0.2 0.8 1
模糊关系的合成
设 R1 是 X 到 Y 的关系,R2 是 Y 到 Z 的关系,
则 R1与 R2的合成 R1 ° R2是 X 到 Z 上的一个关系,
(R1° R2) (x,z) = ∨ {[R1 (x,y)∧ R2 (y,z)]| y∈ Y }
当论域为有限时,模糊关系的合成化为模糊
矩阵的合成,
设 X = {x1,x2,…,xm},Y = { y1,y2,…,ys},Z=
{z1,z2,…,zn},且 X 到 Y 的 模糊 关系 R1 = (aik)m× s,
Y 到 Z 的 模糊 关系 R2 = (bkj)s× n,则 X 到 Z 的 模糊 关
系可表示为 模糊 矩阵的合成:
R1 ° R2 = (cij)m× n,
其中 cij = ∨ {(aik∧ bkj) | 1≤k≤s}.
模糊关系合成运算的性质
性质 1,(A ° B) ° C = A ° (B ° C);
性质 2,A ° ( B∪ C ) = ( A ° B )∪ ( A °
C );
( B∪ C ) ° A = ( B ° A )∪ ( C °
A );
性质 3,( A ° B )T = BT ° AT;
性质 4,A ? B,C ? D ? A ° C ? B ° D.注,(1) 合成 (° )运算关于 (∩)的分配律不成立,即( A∩B ) ° C ? ( A ° C )∩( B ° C )
(2) 这些性质在有限论域情况下,就是模糊矩
阵合成运算的性质,
§ 2.3 模糊等价矩阵
模糊等价关系
若模糊关系 R是 X上 各元素之间的 模糊关系,
且满足:
(1)自反性,R(x,x) =1;
(2)对称性,R(x,y) =R(y,x);
(3)传递性,R2?R,
则称 模糊关系 R是 X上 的一个 模糊等价关系,
当论域 X = {x1,x2,…,xn}为有限时,X 上的一
个 模糊等价关系 R就是模糊等价矩阵,即 R满足:
I ≤R (? rii =1 )
RT=R(? rij= rji)
R2≤R.
R2≤R (? ∨ {(rik∧ rkj) | 1≤k≤n} ≤ rij),
模糊等价矩阵的基本定理
定理 1 若 R具有自反性 (I≤R)和传递性 (R2≤R),
则 R2 = R.
定理 2 若 R是模糊等价矩阵,则 对任意 ?∈ [0,1],
R?是等价的 Boole矩阵,??∈ [0,1],A≤B?A
?≤B?;
(A° B)?=A?° B?; ( AT )? =
( A?)T
证明如下:
(1)自反性,I≤R?? ∈ [0,1],I?≤R?
??? ∈ [0,1],I≤R?,即 R?具有 自反性;
(2)对称性, RT = R ?(RT)? = R?
? (R?)T = R?,即 R?具有 对称性;
(3)传递性, R2≤R?(R?)2≤R?,即 R?具有 传
递性,
定理 3 若 R是模糊等价矩阵,则对任意的
0≤?< ?≤1,R?所决定的分类中的每一个类是
R?决定的分类中的某个类的子类,
证明:对于论域 X = {x1,x2,…,xn},若 xi,xj
按 R?分在一类,则有
rij(?) = 1 ? rij≥?? rij≥ ?? rij(?) =1,
即若 xi,xj 按 R?也分在一类,
所以,R?所决定的分类中的每一个类是 R?
决定的分类中的某个类的子类,
模糊相似关系
若模糊关系 R 是 X 上各元素之间的 模糊关
系,且满足:
(1) 自反性,R( x,x ) = 1;
(2) 对称性,R( x,y ) = R( y,x ) ;
则称 模糊关系 R 是 X 上的一个 模糊相似关系,
当论域 X = {x1,x2,…,xn}为有限时,X 上的一
个 模糊相似关系 R 就是模糊相似矩阵,即 R满足:
(1) 自反性,I ≤R (? rii =1 );
(2) 对称性,RT = R (? rij = rji ).
模糊相似矩阵的性质
定理 1 若 R 是模糊相似矩阵,则对任意的自
然数 k,Rk 也是模糊相似矩阵,
定理 2 若 R 是 n阶模糊相似矩阵,则存在一
个最小自然数 k (k≤n ),对于一切大于 k 的自然
数 l,恒有 Rl = Rk,即 Rk 是模糊等价矩阵 (R2k =
Rk ),此时称 Rk为 R的传递闭包,记作 t ( R ) = Rk,
上述定理表明,任一个模糊相似矩阵可诱导
出一个模糊等价矩阵,
平方法求传递闭包 t (R):
R?R2?R4?R8?R16?…
§ 2.4 模糊聚类分析
数据标准化
设论域 X = {x1,x2,…,xn}为被分类对象,每个
对象又由 m个指标表示其形状,
xi = { xi1,xi2,…,xim},i = 1,2,…,n
于是,得到原始数据矩阵为
?
?
?
?
?
?
?
?
?
?
?
?
?
?
nmnn
m
m
xxx
xxx
xxx
...
............
...
...
21
22221
11211
平移 ? 标准差变换
),.,,,2,1,,.,,,2,1( mjni
s
xx
x
j
jij
ij ??
?
??
其中 ??
??
???
n
i
jijj
n
i
ijj xxnsxnx
1
2
1
)(
1
,
1
平移 ? 极差变换
}1|m in {}1|m a x {
}1|m in {
nixnix
nixx
x
ijij
ijij
ij ?????
???
??
模糊相似矩阵建立方法
相似系数法 ----夹角余弦法
??
?
??
?
?
m
k
jk
m
k
ik
m
k
jkik
ij
xx
xx
r
1
2
1
2
1
相似系数法 ----相关系数法
??
?
??
?
??
??
?
m
k
jjk
m
k
iik
m
k
jjkiik
ij
xxxx
xxxx
r
1
2
1
2
1
)()(
||||
其中
.
1
,
1
11 ?? ??
??
m
k
jkj
m
k
iki x
m
xx
m
x
距离法
rij = 1 – c d (xi,xj )
其中 c为适当选取的参数,
海明距离 ?
?
??
m
k
jkikji xxxxd
1
||),(
欧氏距离 ?
?
??
m
k
jkikji xxxxd
1
2)(),(
切比雪夫距离
d (xi,xj ) = ∨ { | xik- xjk |,1≤k≤m}
Boole矩阵法:
定理:设 R 是论域 X = {x1,x2,…,xn}上的
一个相似的 Boole 矩阵,则 R 具有传递性 (当 R
是等价 Boole矩阵时 ) ?矩阵 R 在任一排列下的
矩阵都没有形如
??
?
?
??
?
?
??
?
?
??
?
?
??
?
?
??
?
?
??
?
?
??
?
?
11
10
11
01
10
11
01
11
的特殊子矩阵,
Boole矩阵法的步骤如下:
(1)求模糊相似矩阵的 ?-截矩阵 R?;
(2) 若 R?在某一排列下的矩阵有形如
??
?
?
??
?
?
??
?
?
??
?
?
??
?
?
??
?
?
??
?
?
??
?
?
11
10
11
01
10
11
01
11
的特殊子矩阵,则将 R?中上述特殊形式子矩阵的 0
改为 1,直到在任一排列下 R?中不再产生上述特殊
形式子矩阵为止,
最佳分类的确定
在模糊聚类分析中,对于各个不同的
?∈ [0,1],可得到不同的分类,从而形成
一种动态聚类图,这对全面了解样本分类
情况是比较形象和直观的,
但在许多实际问题中,需要给出样本
的一个具体分类,这就提出了如何确定最
佳分类的问题,
设 X= (xij)n× m为 n个元素 m个指标的原始数据
矩阵, 为总体样本的中心向量,x?
对应于 ?值的分类数为 r,第 j 类的样本数为
nj,第 j 类的样本标记为
.,...,,)()(2)(1 jnjj
j
xxx
第 j 类样本的中心向量为,)( jx?
作 F-统计量:
),1(~
)/(||||
)1/(||||
1 1
2)()(
1
2)(
rnrF
rnxx
rxxn
F
r
j
n
k
jj
k
r
j
j
j
j
??
??
??
?
? ?
?
? ?
?
?
??
如果满足不等式 F> F? ( r -1,n -r )的 F值不
止一个,则可根据实际情况选择一个满意的分类,
或者进一步考查差 ( F - F?)/F?的大小,从较大
者中找一个满意的 F值即可,
实际上,最佳分类的确定方法与聚类方法无
关,但是选择较好的聚类方法,可以较快地找到
比较满意的分类,