第四章 矩阵的分解这章我们主要讨论矩阵的五种分解:矩阵的满秩分解,正交三角分解,奇异值分解,极分解,谱分解 。
矩阵的满秩分解定理,设,那么存在使得
mn
rAC
,m r r nrrB C C C
A B C?
使得其中 为列满秩矩阵,为行满秩矩阵。
我们成此分解为 矩阵的满秩分解 。
证明,假设矩阵 的前 个列向量是线性无关的,对矩阵 只实施行初等变换可以将其化成
A B
A r
A
00
rID
即存在 使得于是有其中
mm
mPC
1
0
r
r
I
A P I D BC?
00
rIDPA
1,
0
m r r nr
r r r
I
B P C C I D C
如果 的前 列线性相关,那么只需对作列变换使得前 个列是线性无关的。然后重复上面的过程即可。这样存在且满足
A r A
r
,m m n nmnP C Q C
00
rIDPAQ
从而
11
11
00
0
r
r
r
ID
A P Q
I
P I D Q
BC
其中例,分别求下面三个矩阵的满秩分解
1
1
,
0
mrr
r
rn
rr
I
B P C
C I D Q C
1 2 1 0 1 2
1 2 2 1 3 3
( 1 )
2 4 3 1 4 5
4 8 6 2 8 1 0
0 0 1 2 3
( 2 )
0 0 2 4 6
0 1 0 1 1
( 3 ) 0 2 0 1 1
0 3 0 2 2
解,( 1) 对此矩阵只实施行变换可以得到
1 2 1 0 1 2
1 2 2 1 3 3
2 4 3 1 4 5
4 8 6 2 8 10
1 2 0 1 1 1
0 0 1 1 2 1
0 0 0 0 0 0
0 0 0 0 0 0
由此可知,且该矩阵第一列,
第三列是线性无关的。选取 ( ) 2R a n k A? 42
2
26
2
11
12
23
46
1 2 0 1 1 1
,
0 0 1 1 2 1
BC
CC
42
2
26
2
10
11
21
42
1 2 1 0 1 2
,
0 0 1 1 2 1
BC
CC
同样,我们也可以选取解,( 2) 对此矩阵只实施行变换可以得到所以,且此矩阵的第三,第四,第五列任意一列都是线性无关的,所以选取哪一列构成列满秩矩阵均可以。
0 0 1 2 3
0 0 2 4 6
0 0 1 2 3
0 0 0 0 0
( ) 1Rank A?
选取也可以选取
21
1
15
1
1
,
2
0 0 1 2 3
BC
CC
21
1
15
1
2
,
4
310 0 1
22
BC
CC
解,( 3) 对此矩阵只实施行变换可以得到
0 1 0 1 1
0 2 0 1 1
0 3 0 2 2
0 1 0 0 0
0 0 0 1 1
0 0 0 0 0
( ) 2R a n k A?
所以,且容易看出此矩阵的第二列和第四列是线性无关的,选取
32
2
25
2
11
2 1,
32
0 1 0 0 0
0 0 0 1 1
BC
CC
由上述例子可以看出 矩阵的满秩分解形式并不唯一 。 一般地我们选取阶梯型矩阵主元所在的列对应的列向量构成列满秩矩阵,
将阶梯型矩阵全为零的行去掉后即可构成行满秩矩阵 。但是不同的分解形式之间有如下联系:
定理,如果 均为矩阵的满秩分解,那么
( 1) 存在矩阵 满足
11A B C B C
A
nn
nC?
1
1 1,B B C C
( 2)
矩阵的正交三角分解例,设,那么 可唯一地分解为或
11
11
1 1 1 1 1 1
( ) ( )
( ) ( )
H H H H
H H H H
C C C B B B
C C C B B B
nn
nAC
A
11A R U?
A U R?
其中,是正线上三角矩阵,是正线下三角矩阵。
证明,先证明分解的存在性。将矩阵 按列分块得到由于,所以是线性无关的。利用 Schmidt正交化与单位化方法,先得到一组正交向量组
1,
nnU U U R
1R
A
12 nA
nn
nAC
12,,,n
12,,,n
并且向量组之间有如下关系
12,,,n
再单位化,这样得到一组标准正交向量组
1 1 1 1
2 2 1 1 2 2 2
3 3 1 1 3 2 2 3 3 3
1 1 2 2n n n n n n
c
cc
c c c
c c c
其中,于是有 0,1,2,,ii ic i n
12
1 1 2 1 1
2 2 2
12
0
n
n
n
n
nn
A
c c c
cc
c
UR
其中,
12 nnnnUU
11 21 1
22 2
0
n
n
nn
c c c
cc
R
c
显然矩阵 是一个正线上三角矩阵。
下面考虑分解的唯一性。设有两种分解式
R
A U R U R
那么有注意到 是酉矩阵,而 是一个正线上三角矩阵,由前面的结论可知因此有
1 1U U R R
1UU? 1RR?
1 1,U U I RR I
,U U R R
因为有,所以,
按照分解的存在性可知其中 是正线上三角矩阵。
于是其中 是正线下三角矩阵,而
。
此结论也可以被推广为
nn
nAC
nnT
nAC
TA U R?
,nnU U R
11
TTA R U R U
1R 1
nnUU
定理,设,则 可以唯一地分解为其中 是 阶正线上三角矩阵,
,即 是一个次酉矩阵。
证明,分解的存在性证明,同上面的例题完全一样。
分解的唯一性证明。设
mr
rAC
A
A U R?
R r mr
rUU
U
1 1 2 2A U R U R
则因为 是正定的 Hermite 矩阵(为什么?),由正定二次型的等价定理可知,其三角分解是唯一的,故,进一步有 。
例 1,求下列矩阵的正交三角分解
1 1 2 2
HHHA A R R R R
HAA
12RR?
12UU?
1 1 1
1 0 0
( 1 )
0 1 0
0 0 1
2 2 1
( 2 ) 0 2 2
2 1 2
A
A
解,( 1)容易判断出,即是一个列满秩矩阵。按照定理的证明过程,
将 的三个列向量正交化与单位化。先得到一个正交向量组
43
3AC
A
1 2 3A
11
21
2 2 1 2 1
11
3 1 3 2
2 3 1 2
1 1 2 2
3 1 2
1 1 0 0
(,) 1
(,) 2
11
10
22
(,) (,)
(,) (,)
1 1 1 1 1
1
2 3 3 3 3
T
T
T
再将其单位化,得到一组标准正交向量组
11
1
22
2
33
3
1 2 2
00
22
1 6 6 6
0
6 6 3
1 3 3 3 3
6 6 6 2
T
T
T
这样,原来的向量组与标准正交向量之间的关系可表示成
11
2 2 1
3 3 2 1
2
62
22
2 3 6 2
3 6 2
将上面的式子矩阵化,即为
1 2 3 1 2 3
22
2
22
66
0
26
23
00
3
A
UR
( 2)首先判断出,由定理可知必存在,以及三阶正线上三角矩阵 使得
33
3AC
33UU
R
A U R?
推论,设,则 可分解为其中,是阶正线上三角矩阵,是 阶正线下三角矩阵。
矩阵的奇异值分解引理 1,对于任何一个矩阵 都有
mn
rAC
A
1 1 2 2A U R L U?
12,
m r r n
rrU U U U
r1R
2L
r
A
( ) ( ) ( )HHR a n k A A R a n k A A R a n k A
引理 2,对于任何一个矩阵 都有 与都是半正定的 Hermite-矩阵。
设,是 的特征值,
是 的特征值,它们都是实数。如果记
A HAA
HAA
mn
rAC
12
12
12
12
0
0
r
r r m
r
r r n
i?
i?
HAA
HAA
特征值 与 之间有如下关系。
定理,设,那么
。同时,我们称为矩阵 的 正奇异值,简称 奇异值 。
例,求下列矩阵的奇异值
i? i
mn
rAC
0,1,2,,ii ir
0,1,2,,i i i ir
A
12
( 1 ) 0 0
00
0 1 1
( 2 )
2 0 0
A
A
解,( 1)由于显然 的特征值为 5,0,0,所以 的奇异值为
( 2)由于
5 0 0
000
000
H
AA
HAA
5
A
20
04
HAA
显然 的特征值为 2,4,所以 的奇异值为 。
HAA A
2,2
例 2 证明:正规矩阵的奇异值为其非零特征值的模长。
定理,设,
是 的 个奇异值,那么存在 阶酉矩阵 和 阶酉矩阵 使得
mn
rAC
12 r
A r m
V n U
0
00
HV AU
其中,
且满足 。
证明,由于,所以 的特征值为
1
2
r
12 0r
()R a n k A r?
HAA
2 2 2
12
2 2 2
12
0,
0
r
r r n
因为 是一个 H-阵,所以存在 阶酉矩阵且满足将酉矩阵 按列进行分块,记
HAA n
U
2 0
00
HHU A A U
U
12U U U?
,其中于是有从而有
()
12,
n r n n r
r n rU U U U
2
1
12
2
0
00
H
H
H
U
A A U U
U
2
1 1 2 2,0
HHHHU A AU U A AU
记,这里令,那么容易验证选取 使得 是酉矩阵,则
12V V V?
()
12,
m r m m rV C V C
1
11V A U
1 1 1,
m r H
rrV U V V I
2V12V V V?
2 1 2 1 0
HHV AU V V
由上述式子可得
1
12
2
1 1 1 2
2 1 2 2
0
00
H
H
H
HH
HH
V
V A U A U U
V
V A U V A U
V A U V A U
这里,要注意 。
我们称此定理为 奇异值分解定理 。称表达式为 矩阵 的奇异值分解式 。
如何求此分解表达式?特别要注意下面的关系式
2 0AU?
0
00
HA V U
A
2
2
0
00
0
00
HH
nn
HH
mm
A A U U
AA V V
即 2
2
0
00
0
00
H
nn
H
mm
A A U U
A A V V
由此可知 的列向量就是 的标准正交特征向量;而 的列向量就是 的标准正交特征向量。
例,求下列矩阵的奇异值分解表达式
U
HAAV
HAA
12
( 1 ) 0 0
00
01
10
( 2 )
02
10
A
A
解,( 1) 容易计算 的特征值为 5,0,
0,所以 的奇异值为 。下面计算的标准正交特征向量,解得分别与 5,0,0
对应的三个标准正交特征向量
HAA
A 5 HAA
1 2 3
1 0 0
0,1,0
0 0 1
由这三个标准正交特征向量组成矩阵,所以有再计算 的标准正交特征向量,解得分别与 5,0对应的两个标准正交特征向量
V
1 0 0
0 1 0
0 0 1
V
HAA
12
12
55
,
21
55
由这两个标准正交特征向量组成矩阵那么有 U
12
55
21
55
U
于是可得奇异值分解式为
50
00
00
121 0 0 5 0
55
0 1 0 0 0
21
0 0 1 0 0
55
H
A V U
解,( 2) 容易计算
,那么 的非零奇异值为,
对应于特征值 5,2的标准特征向量为
20
05
HAA
A 5,2 HAA
12
01
,
10
由这两个标准正交特征向量组成矩阵那么有再计算 的标准正交特征向量,解得分别与 5,2,0,0对应的两个标准正交特征向量
U
01
10
U
HAA
12
1
0
5
12
0
,
0
25
12
0
34
2
0
5
12
0
,
0
15
12
0
由这四个标准正交特征向量组成矩阵,所以有于是可得奇异值分解式为
V
12
00
55
11
00
22
21
00
55
11
00
22
V
50
02
00
00
12
00
55
50
11
00
01
22 02
2 1 1 0
0000
55
00
11
00
22
H
A V U
练习,求下面矩阵的奇异值分解式 1 0 1
( 1 ) 0 1 0
1 0 1
0 1 1
( 2 )
2 0 0
推论,设,
是 的 个奇异值,那么存在次酉矩阵使得矩阵的极分解定理,设,那么必存在酉矩阵与正定的 H-矩阵
nn
nAC
12 r
A r
,m r n rr r r rV V U U
0
00
H
rrA V U
mn
rAC
nnUU
12,HH
使得且这样的分解式是唯一的。同时有
。称分解式为矩阵 的 极分解表达式 。
定理,设,则存在
22
21,
HHA A H A A H
12A H U U H
12A H U U H
A
mnAC nnUU
与半正定 H-矩阵 使得且满足证明,根据矩阵的奇异值分解定理可知,
存在酉矩阵 使得
12,HH
12A H U U H
22
21,
HHA A H A A H
12,UU
1
2
12
n
A U U
其中
,为 的 个奇异值。
12
12 0
r
r r n
12 r
A r
于是有
1
2
1 1 1 2
( ) ( )
H
n
A U U U U
1
2
1 2 2 2
( )( )
H
n
U U U U
如果令
1
2
1 1 1
H
n
H U U
1
2
2 2 2
(
H
n
H U U
12U U U?
从而有其中 是半正定的 H-矩阵,是酉矩阵。
由上面的结论可以给出正规矩阵的另外一种刻划。
定理,设,则 是正规矩阵的充分必要条件是
12A H U U H
12,HH
U
nnAC A
A H U U H
其中 是半正定的 H-矩阵,是酉矩阵,且矩阵的谱分解我们主要讨论两种矩阵的普分解:正规矩阵与可对角化矩阵。
设 为正规矩阵,那么存在使得
H U
2HA A H?
A nnUU
11
2 2
12
1 1 1 2 2 2
,,,
H
H
n
H
n
n
H H H
nnn
A
其中 是矩阵 的特征值 所对应的单位特征向量。我们称上式为正规矩阵 的 谱分解表达式 。
i? A i?
A
设正规矩阵 有 个互异的特征值
,特征值 的代数重数为,
所对应的个两两正交的单位特征向量为
,则 的谱分解表达式又可以写成其中,并且显然有
A r
12,,,r i? in
i?
12,,,ii i in
A
1 1 1
inrr
H
i i j i j i i
i j i
AG
1
in
H
i ij ij
i
G
2,0 ( )H
i i i i kG G G G G i k
有上面的谱分解表达式又可以给出正规矩阵的一种刻划。
定理,设 为一个 阶矩阵,其有 个互异的特征值,的代数重数为,那么 为正规矩阵的充分必要条件是存在 个 阶矩阵且满足
A n r
12,,,r i?
in A
nr 12,,,rG G G
2
1
1
( 1 ) ; ( 2 )
( 3 ) 0 ( ) ; ( 4 )
( 5 ) ( )
r
H
i i i i i
i
r
i k i
i
ii
A G G G G
G G i k G I
r a n k G n
( 6)满足上述性质的矩阵 是唯一的。我们称 为 正交投影矩阵 。
例 1,求正规矩阵
iG
iG
0 1 1 1
1 0 1 1
1 1 0 1
1 1 1 0
A
的谱分解表达式。
解,首先求出矩阵 的特征值与特征向量。容易计算
A
3( 1 ) ( 3 )IA
从而 的特征值为当 时,求得三个线性无关的特征向量为
A
1 2 3 41,3
1
1
2
3
1,1,0,0
1,0,1,0
1,0,0,1
T
T
T
当 时,求得一个线性无关的特征向量为将 正交化与单位化可得
3
4 1,1,1,1 T
1 2 3,,
1
2
3
11
,,0,0
22
1 1 2
,,,0
666
3111
,,,
12 12 12 12
T
T
T
将 单位化可得:
于是有 4? 4
1 1 1 1,,,2 2 2 2 T
1 1 1 2 2 3 3
3 1 1 1
4 4 4 4
31 1 1
4 4 4 4
31 1 1
4 4 4 4
31 1 1
4 4 4 4
H H H
G
2 4 4
1 1 1 1
4 4 4 4
1 1 1 1
4 4 4 4
1 1 1 1
4 4 4 4
1 1 1 1
4 4 4 4
H
G
这样可得其谱分解表达式为
123A G G
例 2,求正规矩阵的谱分解表达式。
解,首先求出矩阵 的特征值与特征向量。
容易计算
01
1 0 0
00
i
A
i
A
2( 2 )IA
从而 的特征值为可以求出分别属于这三个特征值的三个线性无关的特征向量
A
1 2 32,2,0ii
11
22
33
2,,1
2,,1
0,,1
T
T
T
i
i
i
再将其单位化可得三个标准正交的特征向量于是有
1
2
3
11
,,
22
2
11
,,
22
2
1
0,,
22
T
T
T
i
i
i
1 1 1
221
2 4 4
2 1
4 4 4
2 1
4 4 4
H
G
i
i
i
i
2 2 2
221
2 4 4
2 1
4 4 4
2 1
4 4 4
H
G
i
i
i
i
3 3 3
0 0 0
1
0
22
1
0
22
H
G
i
i
这样可得其谱分解表达式为
1 2 32 2 0A iG iG G
练习,求正规矩阵的谱分解表达式。
下面我们讨论可对角化矩阵的谱分解表达式。
4 3 4 6 2
4 4 3 2 6
6 2 2 6 1
i i i
A i i i
ii
设 是一个 阶可对角化的矩阵,特征值为,与其相应的特征向量分别为,如果记那么
A n
12,,,n
12,,,n
12,,,nP
1
2 1
1
1
2
2
12
,,,
n
T
T
n
T
n
n
A P P
1 1 1 2 2 2
T T T
n n n
其中由于,所以有
1
1 2
T
T
T
n
P
1P P I
1 1 2 2
T T T
nn I
又由于,从而现在观察矩阵 与列向量 之间的关系:
1P P I
,(,1,2,,)Ti j i j i j n
A
i?
1
21
1
21
()
()
T T T
n
TT
n
A P P
PP
这说明矩阵 的列向量是矩阵 的特征向量。另外注意到可对角化矩阵的谱分解步骤:
( 1)首先求出矩阵 的全部互异特征值及每个特征值 所决定的线性无关特征向量
( 2)写出
( 3)令
TA1()TP?
11 12( ) ( ),,,TT nPP
A
12,,,r
12,,,ii i in
i?
1 12( ),,,T nP
1 1 2 2 ii
T T T
i i i i i i n i nG
( 4)最后写出例,已知矩阵
1 1 2 2 rrA G G G
4 6 0
3 5 0
3 6 0
A
为一个可对角化矩阵,求其谱分解表达式。
解,首先求出矩阵 的特征值与特征向量。
容易计算从而 的特征值为可以求出分别属于这三个特征值的三个线性无关的特征向量
A
2( 1 ) ( 2 )IA
A
1 2 31,2
11
22
33
2,1,0
0,0,1
1,1,1
T
T
T
1 2 3
,,
2 0 1
1 0 1
0 1 1
P
于是
1
1
1 2 3
1
,,
1 1 0
1 2 1
1 2 0
1 1 1
( ) 1 2 2
0 1 0
T
P
P
取令
1
2
3
1,1,0
1,2,1
1,2,0
T
T
T
1 1 1 2 2
2 2 0
1 1 0
1 2 1
TT
G
2 3 3
1 2 0
1 2 0
1 2 0
T
G
那么其谱分解表达式为练习,设矩阵
122A G G
1 2 0
2 1 0
23
A
a
( 1) 取何值时,可以对角化?
( 2)当 可对角化时,求可逆矩阵 使得 为对角矩阵。
( 3)当 可对角化时,求其谱分解表达式。
Aa
A P
1P A P?
A
矩阵的满秩分解定理,设,那么存在使得
mn
rAC
,m r r nrrB C C C
A B C?
使得其中 为列满秩矩阵,为行满秩矩阵。
我们成此分解为 矩阵的满秩分解 。
证明,假设矩阵 的前 个列向量是线性无关的,对矩阵 只实施行初等变换可以将其化成
A B
A r
A
00
rID
即存在 使得于是有其中
mm
mPC
1
0
r
r
I
A P I D BC?
00
rIDPA
1,
0
m r r nr
r r r
I
B P C C I D C
如果 的前 列线性相关,那么只需对作列变换使得前 个列是线性无关的。然后重复上面的过程即可。这样存在且满足
A r A
r
,m m n nmnP C Q C
00
rIDPAQ
从而
11
11
00
0
r
r
r
ID
A P Q
I
P I D Q
BC
其中例,分别求下面三个矩阵的满秩分解
1
1
,
0
mrr
r
rn
rr
I
B P C
C I D Q C
1 2 1 0 1 2
1 2 2 1 3 3
( 1 )
2 4 3 1 4 5
4 8 6 2 8 1 0
0 0 1 2 3
( 2 )
0 0 2 4 6
0 1 0 1 1
( 3 ) 0 2 0 1 1
0 3 0 2 2
解,( 1) 对此矩阵只实施行变换可以得到
1 2 1 0 1 2
1 2 2 1 3 3
2 4 3 1 4 5
4 8 6 2 8 10
1 2 0 1 1 1
0 0 1 1 2 1
0 0 0 0 0 0
0 0 0 0 0 0
由此可知,且该矩阵第一列,
第三列是线性无关的。选取 ( ) 2R a n k A? 42
2
26
2
11
12
23
46
1 2 0 1 1 1
,
0 0 1 1 2 1
BC
CC
42
2
26
2
10
11
21
42
1 2 1 0 1 2
,
0 0 1 1 2 1
BC
CC
同样,我们也可以选取解,( 2) 对此矩阵只实施行变换可以得到所以,且此矩阵的第三,第四,第五列任意一列都是线性无关的,所以选取哪一列构成列满秩矩阵均可以。
0 0 1 2 3
0 0 2 4 6
0 0 1 2 3
0 0 0 0 0
( ) 1Rank A?
选取也可以选取
21
1
15
1
1
,
2
0 0 1 2 3
BC
CC
21
1
15
1
2
,
4
310 0 1
22
BC
CC
解,( 3) 对此矩阵只实施行变换可以得到
0 1 0 1 1
0 2 0 1 1
0 3 0 2 2
0 1 0 0 0
0 0 0 1 1
0 0 0 0 0
( ) 2R a n k A?
所以,且容易看出此矩阵的第二列和第四列是线性无关的,选取
32
2
25
2
11
2 1,
32
0 1 0 0 0
0 0 0 1 1
BC
CC
由上述例子可以看出 矩阵的满秩分解形式并不唯一 。 一般地我们选取阶梯型矩阵主元所在的列对应的列向量构成列满秩矩阵,
将阶梯型矩阵全为零的行去掉后即可构成行满秩矩阵 。但是不同的分解形式之间有如下联系:
定理,如果 均为矩阵的满秩分解,那么
( 1) 存在矩阵 满足
11A B C B C
A
nn
nC?
1
1 1,B B C C
( 2)
矩阵的正交三角分解例,设,那么 可唯一地分解为或
11
11
1 1 1 1 1 1
( ) ( )
( ) ( )
H H H H
H H H H
C C C B B B
C C C B B B
nn
nAC
A
11A R U?
A U R?
其中,是正线上三角矩阵,是正线下三角矩阵。
证明,先证明分解的存在性。将矩阵 按列分块得到由于,所以是线性无关的。利用 Schmidt正交化与单位化方法,先得到一组正交向量组
1,
nnU U U R
1R
A
12 nA
nn
nAC
12,,,n
12,,,n
并且向量组之间有如下关系
12,,,n
再单位化,这样得到一组标准正交向量组
1 1 1 1
2 2 1 1 2 2 2
3 3 1 1 3 2 2 3 3 3
1 1 2 2n n n n n n
c
cc
c c c
c c c
其中,于是有 0,1,2,,ii ic i n
12
1 1 2 1 1
2 2 2
12
0
n
n
n
n
nn
A
c c c
cc
c
UR
其中,
12 nnnnUU
11 21 1
22 2
0
n
n
nn
c c c
cc
R
c
显然矩阵 是一个正线上三角矩阵。
下面考虑分解的唯一性。设有两种分解式
R
A U R U R
那么有注意到 是酉矩阵,而 是一个正线上三角矩阵,由前面的结论可知因此有
1 1U U R R
1UU? 1RR?
1 1,U U I RR I
,U U R R
因为有,所以,
按照分解的存在性可知其中 是正线上三角矩阵。
于是其中 是正线下三角矩阵,而
。
此结论也可以被推广为
nn
nAC
nnT
nAC
TA U R?
,nnU U R
11
TTA R U R U
1R 1
nnUU
定理,设,则 可以唯一地分解为其中 是 阶正线上三角矩阵,
,即 是一个次酉矩阵。
证明,分解的存在性证明,同上面的例题完全一样。
分解的唯一性证明。设
mr
rAC
A
A U R?
R r mr
rUU
U
1 1 2 2A U R U R
则因为 是正定的 Hermite 矩阵(为什么?),由正定二次型的等价定理可知,其三角分解是唯一的,故,进一步有 。
例 1,求下列矩阵的正交三角分解
1 1 2 2
HHHA A R R R R
HAA
12RR?
12UU?
1 1 1
1 0 0
( 1 )
0 1 0
0 0 1
2 2 1
( 2 ) 0 2 2
2 1 2
A
A
解,( 1)容易判断出,即是一个列满秩矩阵。按照定理的证明过程,
将 的三个列向量正交化与单位化。先得到一个正交向量组
43
3AC
A
1 2 3A
11
21
2 2 1 2 1
11
3 1 3 2
2 3 1 2
1 1 2 2
3 1 2
1 1 0 0
(,) 1
(,) 2
11
10
22
(,) (,)
(,) (,)
1 1 1 1 1
1
2 3 3 3 3
T
T
T
再将其单位化,得到一组标准正交向量组
11
1
22
2
33
3
1 2 2
00
22
1 6 6 6
0
6 6 3
1 3 3 3 3
6 6 6 2
T
T
T
这样,原来的向量组与标准正交向量之间的关系可表示成
11
2 2 1
3 3 2 1
2
62
22
2 3 6 2
3 6 2
将上面的式子矩阵化,即为
1 2 3 1 2 3
22
2
22
66
0
26
23
00
3
A
UR
( 2)首先判断出,由定理可知必存在,以及三阶正线上三角矩阵 使得
33
3AC
33UU
R
A U R?
推论,设,则 可分解为其中,是阶正线上三角矩阵,是 阶正线下三角矩阵。
矩阵的奇异值分解引理 1,对于任何一个矩阵 都有
mn
rAC
A
1 1 2 2A U R L U?
12,
m r r n
rrU U U U
r1R
2L
r
A
( ) ( ) ( )HHR a n k A A R a n k A A R a n k A
引理 2,对于任何一个矩阵 都有 与都是半正定的 Hermite-矩阵。
设,是 的特征值,
是 的特征值,它们都是实数。如果记
A HAA
HAA
mn
rAC
12
12
12
12
0
0
r
r r m
r
r r n
i?
i?
HAA
HAA
特征值 与 之间有如下关系。
定理,设,那么
。同时,我们称为矩阵 的 正奇异值,简称 奇异值 。
例,求下列矩阵的奇异值
i? i
mn
rAC
0,1,2,,ii ir
0,1,2,,i i i ir
A
12
( 1 ) 0 0
00
0 1 1
( 2 )
2 0 0
A
A
解,( 1)由于显然 的特征值为 5,0,0,所以 的奇异值为
( 2)由于
5 0 0
000
000
H
AA
HAA
5
A
20
04
HAA
显然 的特征值为 2,4,所以 的奇异值为 。
HAA A
2,2
例 2 证明:正规矩阵的奇异值为其非零特征值的模长。
定理,设,
是 的 个奇异值,那么存在 阶酉矩阵 和 阶酉矩阵 使得
mn
rAC
12 r
A r m
V n U
0
00
HV AU
其中,
且满足 。
证明,由于,所以 的特征值为
1
2
r
12 0r
()R a n k A r?
HAA
2 2 2
12
2 2 2
12
0,
0
r
r r n
因为 是一个 H-阵,所以存在 阶酉矩阵且满足将酉矩阵 按列进行分块,记
HAA n
U
2 0
00
HHU A A U
U
12U U U?
,其中于是有从而有
()
12,
n r n n r
r n rU U U U
2
1
12
2
0
00
H
H
H
U
A A U U
U
2
1 1 2 2,0
HHHHU A AU U A AU
记,这里令,那么容易验证选取 使得 是酉矩阵,则
12V V V?
()
12,
m r m m rV C V C
1
11V A U
1 1 1,
m r H
rrV U V V I
2V12V V V?
2 1 2 1 0
HHV AU V V
由上述式子可得
1
12
2
1 1 1 2
2 1 2 2
0
00
H
H
H
HH
HH
V
V A U A U U
V
V A U V A U
V A U V A U
这里,要注意 。
我们称此定理为 奇异值分解定理 。称表达式为 矩阵 的奇异值分解式 。
如何求此分解表达式?特别要注意下面的关系式
2 0AU?
0
00
HA V U
A
2
2
0
00
0
00
HH
nn
HH
mm
A A U U
AA V V
即 2
2
0
00
0
00
H
nn
H
mm
A A U U
A A V V
由此可知 的列向量就是 的标准正交特征向量;而 的列向量就是 的标准正交特征向量。
例,求下列矩阵的奇异值分解表达式
U
HAAV
HAA
12
( 1 ) 0 0
00
01
10
( 2 )
02
10
A
A
解,( 1) 容易计算 的特征值为 5,0,
0,所以 的奇异值为 。下面计算的标准正交特征向量,解得分别与 5,0,0
对应的三个标准正交特征向量
HAA
A 5 HAA
1 2 3
1 0 0
0,1,0
0 0 1
由这三个标准正交特征向量组成矩阵,所以有再计算 的标准正交特征向量,解得分别与 5,0对应的两个标准正交特征向量
V
1 0 0
0 1 0
0 0 1
V
HAA
12
12
55
,
21
55
由这两个标准正交特征向量组成矩阵那么有 U
12
55
21
55
U
于是可得奇异值分解式为
50
00
00
121 0 0 5 0
55
0 1 0 0 0
21
0 0 1 0 0
55
H
A V U
解,( 2) 容易计算
,那么 的非零奇异值为,
对应于特征值 5,2的标准特征向量为
20
05
HAA
A 5,2 HAA
12
01
,
10
由这两个标准正交特征向量组成矩阵那么有再计算 的标准正交特征向量,解得分别与 5,2,0,0对应的两个标准正交特征向量
U
01
10
U
HAA
12
1
0
5
12
0
,
0
25
12
0
34
2
0
5
12
0
,
0
15
12
0
由这四个标准正交特征向量组成矩阵,所以有于是可得奇异值分解式为
V
12
00
55
11
00
22
21
00
55
11
00
22
V
50
02
00
00
12
00
55
50
11
00
01
22 02
2 1 1 0
0000
55
00
11
00
22
H
A V U
练习,求下面矩阵的奇异值分解式 1 0 1
( 1 ) 0 1 0
1 0 1
0 1 1
( 2 )
2 0 0
推论,设,
是 的 个奇异值,那么存在次酉矩阵使得矩阵的极分解定理,设,那么必存在酉矩阵与正定的 H-矩阵
nn
nAC
12 r
A r
,m r n rr r r rV V U U
0
00
H
rrA V U
mn
rAC
nnUU
12,HH
使得且这样的分解式是唯一的。同时有
。称分解式为矩阵 的 极分解表达式 。
定理,设,则存在
22
21,
HHA A H A A H
12A H U U H
12A H U U H
A
mnAC nnUU
与半正定 H-矩阵 使得且满足证明,根据矩阵的奇异值分解定理可知,
存在酉矩阵 使得
12,HH
12A H U U H
22
21,
HHA A H A A H
12,UU
1
2
12
n
A U U
其中
,为 的 个奇异值。
12
12 0
r
r r n
12 r
A r
于是有
1
2
1 1 1 2
( ) ( )
H
n
A U U U U
1
2
1 2 2 2
( )( )
H
n
U U U U
如果令
1
2
1 1 1
H
n
H U U
1
2
2 2 2
(
H
n
H U U
12U U U?
从而有其中 是半正定的 H-矩阵,是酉矩阵。
由上面的结论可以给出正规矩阵的另外一种刻划。
定理,设,则 是正规矩阵的充分必要条件是
12A H U U H
12,HH
U
nnAC A
A H U U H
其中 是半正定的 H-矩阵,是酉矩阵,且矩阵的谱分解我们主要讨论两种矩阵的普分解:正规矩阵与可对角化矩阵。
设 为正规矩阵,那么存在使得
H U
2HA A H?
A nnUU
11
2 2
12
1 1 1 2 2 2
,,,
H
H
n
H
n
n
H H H
nnn
A
其中 是矩阵 的特征值 所对应的单位特征向量。我们称上式为正规矩阵 的 谱分解表达式 。
i? A i?
A
设正规矩阵 有 个互异的特征值
,特征值 的代数重数为,
所对应的个两两正交的单位特征向量为
,则 的谱分解表达式又可以写成其中,并且显然有
A r
12,,,r i? in
i?
12,,,ii i in
A
1 1 1
inrr
H
i i j i j i i
i j i
AG
1
in
H
i ij ij
i
G
2,0 ( )H
i i i i kG G G G G i k
有上面的谱分解表达式又可以给出正规矩阵的一种刻划。
定理,设 为一个 阶矩阵,其有 个互异的特征值,的代数重数为,那么 为正规矩阵的充分必要条件是存在 个 阶矩阵且满足
A n r
12,,,r i?
in A
nr 12,,,rG G G
2
1
1
( 1 ) ; ( 2 )
( 3 ) 0 ( ) ; ( 4 )
( 5 ) ( )
r
H
i i i i i
i
r
i k i
i
ii
A G G G G
G G i k G I
r a n k G n
( 6)满足上述性质的矩阵 是唯一的。我们称 为 正交投影矩阵 。
例 1,求正规矩阵
iG
iG
0 1 1 1
1 0 1 1
1 1 0 1
1 1 1 0
A
的谱分解表达式。
解,首先求出矩阵 的特征值与特征向量。容易计算
A
3( 1 ) ( 3 )IA
从而 的特征值为当 时,求得三个线性无关的特征向量为
A
1 2 3 41,3
1
1
2
3
1,1,0,0
1,0,1,0
1,0,0,1
T
T
T
当 时,求得一个线性无关的特征向量为将 正交化与单位化可得
3
4 1,1,1,1 T
1 2 3,,
1
2
3
11
,,0,0
22
1 1 2
,,,0
666
3111
,,,
12 12 12 12
T
T
T
将 单位化可得:
于是有 4? 4
1 1 1 1,,,2 2 2 2 T
1 1 1 2 2 3 3
3 1 1 1
4 4 4 4
31 1 1
4 4 4 4
31 1 1
4 4 4 4
31 1 1
4 4 4 4
H H H
G
2 4 4
1 1 1 1
4 4 4 4
1 1 1 1
4 4 4 4
1 1 1 1
4 4 4 4
1 1 1 1
4 4 4 4
H
G
这样可得其谱分解表达式为
123A G G
例 2,求正规矩阵的谱分解表达式。
解,首先求出矩阵 的特征值与特征向量。
容易计算
01
1 0 0
00
i
A
i
A
2( 2 )IA
从而 的特征值为可以求出分别属于这三个特征值的三个线性无关的特征向量
A
1 2 32,2,0ii
11
22
33
2,,1
2,,1
0,,1
T
T
T
i
i
i
再将其单位化可得三个标准正交的特征向量于是有
1
2
3
11
,,
22
2
11
,,
22
2
1
0,,
22
T
T
T
i
i
i
1 1 1
221
2 4 4
2 1
4 4 4
2 1
4 4 4
H
G
i
i
i
i
2 2 2
221
2 4 4
2 1
4 4 4
2 1
4 4 4
H
G
i
i
i
i
3 3 3
0 0 0
1
0
22
1
0
22
H
G
i
i
这样可得其谱分解表达式为
1 2 32 2 0A iG iG G
练习,求正规矩阵的谱分解表达式。
下面我们讨论可对角化矩阵的谱分解表达式。
4 3 4 6 2
4 4 3 2 6
6 2 2 6 1
i i i
A i i i
ii
设 是一个 阶可对角化的矩阵,特征值为,与其相应的特征向量分别为,如果记那么
A n
12,,,n
12,,,n
12,,,nP
1
2 1
1
1
2
2
12
,,,
n
T
T
n
T
n
n
A P P
1 1 1 2 2 2
T T T
n n n
其中由于,所以有
1
1 2
T
T
T
n
P
1P P I
1 1 2 2
T T T
nn I
又由于,从而现在观察矩阵 与列向量 之间的关系:
1P P I
,(,1,2,,)Ti j i j i j n
A
i?
1
21
1
21
()
()
T T T
n
TT
n
A P P
PP
这说明矩阵 的列向量是矩阵 的特征向量。另外注意到可对角化矩阵的谱分解步骤:
( 1)首先求出矩阵 的全部互异特征值及每个特征值 所决定的线性无关特征向量
( 2)写出
( 3)令
TA1()TP?
11 12( ) ( ),,,TT nPP
A
12,,,r
12,,,ii i in
i?
1 12( ),,,T nP
1 1 2 2 ii
T T T
i i i i i i n i nG
( 4)最后写出例,已知矩阵
1 1 2 2 rrA G G G
4 6 0
3 5 0
3 6 0
A
为一个可对角化矩阵,求其谱分解表达式。
解,首先求出矩阵 的特征值与特征向量。
容易计算从而 的特征值为可以求出分别属于这三个特征值的三个线性无关的特征向量
A
2( 1 ) ( 2 )IA
A
1 2 31,2
11
22
33
2,1,0
0,0,1
1,1,1
T
T
T
1 2 3
,,
2 0 1
1 0 1
0 1 1
P
于是
1
1
1 2 3
1
,,
1 1 0
1 2 1
1 2 0
1 1 1
( ) 1 2 2
0 1 0
T
P
P
取令
1
2
3
1,1,0
1,2,1
1,2,0
T
T
T
1 1 1 2 2
2 2 0
1 1 0
1 2 1
TT
G
2 3 3
1 2 0
1 2 0
1 2 0
T
G
那么其谱分解表达式为练习,设矩阵
122A G G
1 2 0
2 1 0
23
A
a
( 1) 取何值时,可以对角化?
( 2)当 可对角化时,求可逆矩阵 使得 为对角矩阵。
( 3)当 可对角化时,求其谱分解表达式。
Aa
A P
1P A P?
A