兰州大学信息科学与工程学院 矩阵理论第 10讲 -1
矩阵理论 -第十讲
兰州大学信息科学与工程学院
2004年
兰州大学信息科学与工程学院 矩阵理论第 10讲 -2
上节内容回顾
? 矩阵的幂级数
? 方阵幂级数收敛的判别定理
,收敛半径为 r
,谱半径为
绝对收敛
发散
绝对收敛
– Neumann级数收敛充要条件
收敛
nnAC??
( 0,1,,)ka C k??nnAC??
0 kkk aA
?
??
0 kkk az
?
??
()A?
()Ar? ? 0 kkk aA???
()Ar? ?
0 kkk aA
?
??
Ar?
0 kkk aA
?
??
()AA? ?
,nnCR????
0 kk A
?
?? ( ) 1A? ?
10 ()kk A I A? ?? ???
兰州大学信息科学与工程学院 矩阵理论第 10讲 -3
上节内容回顾
? 矩阵函数
收敛的矩阵幂级数 在矩阵集合 与 之间建立了一个
（多对一）映射
称之为矩阵函数。此矩阵幂级数的和 S为 A在映射 f下的象，记为
? 矩阵函数的计算
– 利用 Hamilton-Cayley定理
– 利用相似对角化
– 利用 Jordan标准形
– 利用矩阵多项式
,n n n nf C C???
()S f A?
0 kkk aA
?
??
nnC? nnC?
兰州大学信息科学与工程学院 矩阵理论第 10讲 -4
矩阵的微分和积分
– 函数矩阵的微分和积分
– 高等数学中函数的和、乘积、复合函数的求导法则适用于函数矩阵的
微分
( ) ( ( ) )ij m nA t a t ??
( ) ( ( ) )i j m nA t a t ???? ( ) ( ( ) )
ij m n
ddA t a t
d t d t ??
( ) ( ( ) )bb i j m naaA t d t a t d t ????
( ( ) ( ) ) ( ) ( )d d dA t B t A t B td t d t d t? ? ?
( ( ) ( ) ) ( ) ( ) ( ) ( )d d dt A t t A t t A td t d t d t? ? ?? ? ? ???? ? ? ?? ? ? ?
( ( ) ( ) ) ( ) ( ) ( ) ( )d d dA t B t A t B t A t B td t d t d t? ? ? ???? ? ? ?? ? ? ?
( ) ( ) ( )ddA u f t A ud t d u??
()tC? ?
兰州大学信息科学与工程学院 矩阵理论第 10讲 -5
矩阵的微分和积分
( ) ( ( ) )ij m nA t a t ?? ( ) ( ( ) )ij n pB t b t ??
1( ( ) ( ) ) ( ( ) ( ) )
n
i k k j m pk
ddA t B t a t b t
dt dt ??? ?
1 1 2 2
1 1 2 2
1 1 1 1 1 1
( ( ) ( ) ( ) ( ) ( ) ( ) )
( ( ) ( ) ) ( ( ) ( ) ) ( ( ) ( ) )
( ) ( ) ( ) ( ) ( ) ( )
i j i j in n j m p
i j i j in n j
mp
i j i j i j
d
a t b t a t b t a t b t
dt
d d d
a t b t a t b t a t b t
d t d t d t
d d d
a t b t a t b t a t b t
d t d t d t
?
?
? ? ? ?
??
? ? ? ???
??
?
? ? ? ? ? ? ??
?
1 1 1 1 1 1( ) ( ) ( ) ( ) ( ) ( )i j i j i j
mp
d d da t b t a t b t a t b t
d t d t d t ?
?? ? ? ? ? ? ? ?
?
( ) ( ) ( ) ( )ddA t B t A t B td t d t? ? ? ???? ? ? ?? ? ? ?
兰州大学信息科学与工程学院 矩阵理论第 10讲 -6
矩阵的微分和积分
– 当 亦可微时，有
– 高等数学中函数的和、常数（常数矩阵）与函数矩阵的乘积、分部积
分法、变上限函数、导数的积分法则适用于函数矩阵的积分
1()At?
1 1 1( ( ) ) ( ) ( ) ( )ddA t A t A t A t
d t d t
? ? ????? ??
??
1( ) ( )A t A t I???
1 1 1( ( ) ( ) ) ( ) ( ) ( ) ( )d d dA t A t A t A t A t A t
d t d t d t
? ? ?? ? ? ?? ? ?? ? ? ?
? ? ? ? 0
( ( ) ( ) ) ( ) ( )b b ba a aA t B t d t A t d t B t d t? ? ? ?? ? ?? ? ?
( ) ( )bbaaA t d t A t d t?? ??? ? ?( ) ( )bb
aaA t Bdt A t dt B????
? ?( ) ( )bbaaA B t dt A B t dt???? ? ?( ) ( )tad A d A tdt ?? ??
( ) ( ) ( )ba A t d t A b A a? ???
( ) ( ) ( ) ( ) ( ) ( )bb baaaA t B t d t A t B t A t B t d t? ? ?? ? ? ? ???
兰州大学信息科学与工程学院 矩阵理论第 10讲 -7
矩阵的微分和积分
– 数量函数对矩阵变量的导数
行列式、二次型、内积、范数等是这类函数的代表
以向量为自变量的函数的导数 ——梯度向量
,mnf C F? ?
11 1
1
n
ij
mn
m mn
ff
xx
df f
dX x
ff
xx
?
????
??
??
???
??????
???
?? ??
??
????
11 1
1
n
m mn
xx
X
xx
??
???
????
,nf C F?
1
2
n
?
?
?
??
??
???
??
??
??
x
1
g rad
n
f
df
f
dx
f
?
?
???
??
?
??
????
??
???
???
??
兰州大学信息科学与工程学院 矩阵理论第 10讲 -8
矩阵的微分和积分
– 数量函数对矩阵变量的导数
举例 (1)
1
2
n
a
a
a
??
??
???
??
??
??
a
1
2
n
?
?
?
??
??
???
??
??
??
x () TTf ??x a x x a
1 1 2 2() nnf a a a? ? ?? ? ? ?x
1 1
n
n
f
a
df
dx
fa
?
?
???
??
? ??
??
??
??? ? ?
??
?? ??
? ????
???
??
a
( 1,,)i
i
f a i n
?
? ??
?
dfdx ?
兰州大学信息科学与工程学院 矩阵理论第 10讲 -9
矩阵的微分和积分
– 数量函数对矩阵变量的导数
举例 (2)
11 1
1
n
m mn
aa
A
aa
??
???
????
11 1
1
m
n nm
xx
X
xx
??
???
????
( ) tr ( )f X A X?
? ?1n i k k jk mmA X a x? ?? ?
( 1,,; 1,,)ji
ij
f a i n j m
x
? ? ? ?
?
11tr ( )
mn s k k s
skA X a x??? ??
dfdX ?
() Tji n m
ij nm
d f f aA
d X x ?
?
???? ? ?
???
??
兰州大学信息科学与工程学院 矩阵理论第 10讲 -10
矩阵的微分和积分
– 数量函数对矩阵变量的导数
举例 (3)
1 1 1
1
n
n n n
aa
A
aa
??
???
????
() Tf x x A x?
dfdx ?
1
2
n
?
?
?
??
??
???
??
??
??
x
? ?
1 1 1 1 1
2 1 1 2 2
1
11
()
j j n n
j j n nT
jn
n n j j n n n
a a a
a a a
f x x A x
a a a
? ? ?
? ? ?
? ? ?
? ? ?
? ? ? ???
??
? ? ? ?
??
??
? ? ? ???
1 1 1 1 1 1 1 1( ) ( )j j n n j j j j j j n na a a a a a? ? ? ? ? ? ? ?? ? ? ? ? ? ? ? ? ? ?
11()n n n j j n n na a a? ? ? ?? ? ? ? ? ?
1
n jk k
k a ???
1
n kj k
k a ???
兰州大学信息科学与工程学院 矩阵理论第 10讲 -11
矩阵的微分和积分
11 ( 1,,)
nn
k j k j k kkk
j
f a a j n??
? ??
? ? ? ?
? ??
11111
11
nn
k k k kkk
nn
k n k nk kkk
n
f
aa
df
dx
f aa
???
??
?
??
??
???
?? ?? ?
?
????
????
????
? ???
????
???
??
??
1111
nn
k k k kkk
nn
k n k nk kkk
aa??
??
? ? ? ?
? ? ? ?
? ? ? ???
? ? ? ?
? ? ? ?
? ? ? ?
??
??
()TTA x A x A A x? ? ? ?
TAA?当 A是对称矩阵时
() Tf x x A x? 2df Ax
dx ?
兰州大学信息科学与工程学院 矩阵理论第 10讲 -12
矩阵的微分和积分
– 数量函数对矩阵变量的导数
举例 (4)。
证明
证,
设 的代数余子式为,将 按第 i行展开,
11 1
1
n
n nn
xx
X
xx
??
???
????
det 0X ?
1de t ( de t ) ( ) Td X X X
dX
??
ijx ijX det X
1d e t
n
ij ijjX x X?? ? d e t ij
ij
XXx? ??
d e t ( ) ( a d j ) Tij n n
ij nn
d X X X
d X x ?
?
???? ? ?
???
??
1 ad j
d et
XX
X
? ?
1de t ( de t ) ( ) Td X X X
dX
??
兰州大学信息科学与工程学院 矩阵理论第 10讲 -13
矩阵的微分和积分
– 矩阵值函数对矩阵变量的导数
矩阵值函数 的定义
11 1
1
n
m mn
xx
X
xx
??
???
????
( ) ( ( ) )i j s tF X f X ??
,( ) ( 1,,; 1,,)i j i jf X f X i s j t? ? ?
()FX
1 1 1
1
n
m m n
FF
xx
dF
dX
FF
xx
????
??
??
???
????
????
111
1 1 1 1
11
1
1 1 1 1
t
s s t
ff
xx
F
x
ff
xx
????
??
??
?
???
?
????
????
111
1
t
ij ij
ij
s s t
ij ij
ff
xx
F
x
ff
xx
????
??
??
??
?
???
? ??
????
????
??
兰州大学信息科学与工程学院 矩阵理论第 10讲 -14
矩阵的微分和积分
– 矩阵值函数对矩阵变量的导数
注意：与 Jacobi式（函数行列式）的区别
n个自变量的 n个函数
定义在某 n维空间中，并关于自变量有连续偏导数，则其 Jacobi式如下,
1 1 1 2
2 2 1 2
12
(,,)
(,,)
(,,)
n
n
n n n
y f x x x
y f x x x
y f x x x
??
? ?
?
?
?
? ??
1 1 1
12
2 2 2
12
12
12
12
(,,)
(,,)
n
n
n
n
n n n
n
y y y
x x x
y y y
y y y
x x x
x x x
y y y
x x x
? ? ?
? ? ?
? ? ?
?
? ? ??
?
? ? ?
? ? ?
兰州大学信息科学与工程学院 矩阵理论第 10讲 -15
矩阵的微分和积分
– 矩阵值函数对矩阵变量的导数
举例（ 1）
1
2
n
x
?
?
?
??
??
???
??
??
?? () TF x x?
T Tdx dxdx dx??1
2
T
T
T
T
n
x
x
dx
dx
x
?
?
?
???
??
?
??
??
?
??
? ???
??
??
???
??
???
? ?12T T Tne x e x e x?
12( ) ( ( ) ( ) ( ) )nF x f x f x f x?
12
1 1 1 1
()( ) ( )T nfxf x f xx
? ? ? ?
?? ???? ? ??
? ? ? ???
? ?1 0 0?
12 ()( ) ( )
T
n
n n n n
fxf x f xx
? ? ? ?
?? ???? ? ??
? ? ? ???
? ?0 0 1?
nI
兰州大学信息科学与工程学院 矩阵理论第 10讲 -16
矩阵的微分和积分
– 矩阵值函数对矩阵变量的导数
举例（ 2）
1
2
n
a
a
a
??
??
???
??
??
??
a
1 1 1 2 1 3 1 4
2 1 2 2 2 3 2 4
x x x xX
x x x x
??? ??
??
()?Td X a
dX ?
( ) ( ) TF X X a?
11 12 13 14
21 22 23 24
( ) ( ) ( ) ( )
()
( ) ( ) ( ) ( )
TTTT
T
TTTT
Xa Xa Xa Xa
x x x xd Xa
dX Xa Xa Xa Xa
x x x x
??????
??
? ? ? ?
?
????
??
? ? ? ???
兰州大学信息科学与工程学院 矩阵理论第 10讲 -17
矩阵的微分和积分
– 矩阵值函数对矩阵变量的导数
举例（ 2）
1
2
n
a
a
a
??
??
???
??
??
??
a
1 1 1 2 1 3 1 4
2 1 2 2 2 3 2 4
x x x xX
x x x x
??? ??
??
? ?441211( ) ( ) T k k k kkkF X X a x a x a???? ??
11 12 13 14
21 22 23 24
( ) ( ) ( ) ( )
()
( ) ( ) ( ) ( )
TTTT
T
TTTT
Xa Xa Xa Xa
x x x xd Xa
dX Xa Xa Xa Xa
x x x x
??????
??
? ? ? ?
?
????
??
? ? ? ???
? ?1 1 1 2( ) ( )f X f X
1 1 1 2
1 1 1 1 1 1
() T ffXa
x x x
????? ? ??
? ? ???
1TeXa 2TeXa
? ?1 0a?
? ?2 0a ? ?3 0a ? ?4 0a
? ?10 a ? ?20 a ? ?30 a ? ?40 a
兰州大学信息科学与工程学院 矩阵理论第 10讲 -18
矩阵的微分和积分
– 矩阵值函数对矩阵变量的导数
举例（ 2）
1 2 3 4
1 2 3 4
0 0 0 0()
0 0 0 0
T a a a ad X a
a a a adX
??? ??
??
兰州大学信息科学与工程学院 矩阵理论第 10讲 -19
矩阵的微分和积分
– 矩阵值函数对矩阵变量的导数
举例（ 2）
1
2
n
a
a
a
??
??
???
??
??
??
a
1 1 1 2 1 3 1 4
2 1 2 2 2 3 2 4
x x x xX
x x x x
??? ??
??
()?d X a
dX ?
()F X X a?
1 1 1 2 1 3 1 4
2 1 2 2 2 3 2 4
( ) ( ) ( ) ( )
()
( ) ( ) ( ) ( )
X a X a X a X a
x x x xd X a
X a X a X a X adX
x x x x
??????
??? ? ? ?
?
????
??? ? ? ?
??
兰州大学信息科学与工程学院 矩阵理论第 10讲 -20
矩阵的微分和积分
– 矩阵值函数对矩阵变量的导数
举例（ 2）
1
2
n
a
a
a
??
??
???
??
??
??
a
1 1 1 2 1 3 1 4
2 1 2 2 2 3 2 4
x x x xX
x x x x
??? ??
??
4
11
4
21
() kkk
kkk
xa
F X X a
xa
?
?
??
????
??
?
?
1 1 1 2 1 3 1 4
2 1 2 2 2 3 2 4
( ) ( ) ( ) ( )
()
( ) ( ) ( ) ( )
X a X a X a X a
x x x xd X a
X a X a X a X adX
x x x x
??????
??? ? ? ?
?
????
??? ? ? ?
??
11
21
()
()
fX
fX
????
??
1TeXa
2TeXa
11
11
2111
11
() T
f
xXa
fx
x
???
???
? ??
?
????
???
??
1
0
a?????
??
2
0
a????
??
3
0
a????
??
4
0
a????
??
1
0
a
????
?? 2
0
a
????
?? 3
0
a
????
?? 4
0
a
????
??
兰州大学信息科学与工程学院 矩阵理论第 10讲 -21
矩阵的微分和积分
– 矩阵值函数对矩阵变量的导数
举例（ 2）
1 2 3 4
1 2 3 4
0 0 0 0()
0 0 0 0
a a a a
d Xa
dX
a a a a
??
??
?
??
??
兰州大学信息科学与工程学院 矩阵理论第 10讲 -22
常用矩阵函数的导数
– 设
nnAC??
A t A t A td e A e e A
dt ??
si n c os ( c os )d At A At At Adt ??
c o s sin ( sin )d A t A A t A t Adt ? ? ? ?
2 3 42 3 4
1 ! 2 ! 3 ! 4 !
At t t t te I A A A A? ? ? ? ? ?
232 3 41
1 ! 1 ! 2 ! 3 !
Atd t t te A A A A
dt ? ? ? ? ?
2323()
1 ! 2 ! 3 !
t t tA I A A A? ? ? ? ?
AtAe?
兰州大学信息科学与工程学院 矩阵理论第 10讲 -23
矩阵函数在求解微分方程组中的应用
– 一阶线性常系数非齐次微分方程组的求解
0
() ( ) ( )
()
dt A t t
dt
x t c
? ??
?
?
? ??
x xf
1 1 1
1
n
n n n
aa
A
aa
??
???
????
1
2
()
()
()
()n
xt
xt
xt
xt
??
??
???
??
??
??
1
2
()
()
()
()n
ft
ft
t
ft
??
??
???
??
??
??
f 已知向量函数
1
2
n
c
c
c
??
??
???
??
??
??
c
兰州大学信息科学与工程学院 矩阵理论第 10讲 -24
矩阵函数在求解微分方程组中的应用
– 一阶线性常系数非齐次微分方程组的求解
() ( ) ( )dt A t t
dt ??
x xf
() ( ) ( )A t A tdte A t e t
dt
????????
??
x xf
? ?( ) ( )A t A td e x t e tdt ??? f
? ?
00
( ) ( )ttAAd e x d e dd ??? ? ? ?? ?? ??? f
0
00
( ) ( ) ( )tAtA t Ate x t e x t e d? ??????? ? f
0
0
()( ) ( )tA t t A t A
tx t e c e e d
? ??? ??? ? f
兰州大学信息科学与工程学院 矩阵理论第 10讲 -25
求解矩阵方程
– Lyapunov方程
设
1 1 1
1
n
nn
n n n
aa
AC
aa
?
??
????
????
11 1
1
m
mm
m mm
bb
BC
bb
?
??
????
????
11 1
1
m
nm
n nm
xx
XC
xx
?
??
????
????
11 1
1
m
nm
n nm
ff
FC
ff
?
??
????
????
A X X B F??
称矩阵方程
为 Lyapunov方程
兰州大学信息科学与工程学院 矩阵理论第 10讲 -26
求解矩阵方程
– Lyapunov方程的解及有解的条件
对 Lyapunov方程
若
则 Lyapunov方程有唯一解
证：首先证明积分
存在。
A X X B F??
? ? ? ?R e 0, d e t ( ) 0, d e t ( ) 0I A I B? ? ? ? ? ?? ? ? ? ? ? ? ?
0
A t B tX e F e d t???? ?
0
A t B te F e d t???
? ?()Ak tA t r ij
nn
e t e ?
?
??? ??
???
? ?()Bk tB t r ij
mm
e t e ?
?
??? ??
???
? ?() ()A BpkA t B t r ij
nm
e F e t e ?? ?
?
??? ??
???
兰州大学信息科学与工程学院 矩阵理论第 10讲 -27
求解矩阵方程
由于
所以
是可积的。
记
12
1 [ ( ) ( ) ( 1 ) ( ) ( 1 ) ! ]
t
r t r r r n
r
et e d t t r t r r t n?? ? ? ?
?
??
?? ? ? ? ? ? ??
0
A t B te F e d t???
() A t B tY t e F e? (0)YF?
l im ( ) l im A t B tttY t e F e? ? ? ??? 0? ?() ()A BpkA t B t r
ij nm
e F e t e ?? ?
?
??? ??
???
() ( ) ( )A t B t A t B td Y t A e F e e F e B A Y t Y t B
dt ? ? ? ?
00( ) ( 0 ) ( ) ( )Y Y A Y t d t Y t d t B
??? ? ? ???
? ? ? ?00( ) ( )A Y t d t Y t d t B F??? ? ? ???
兰州大学信息科学与工程学院 矩阵理论第 10讲 -28
求解矩阵方程
– 推论 1
设
则矩阵微分方程
的解为
1 1 1
1
n
nn
n n n
aa
AC
aa
?
??
????
????
11 1
1
m
mm
m mm
bb
BC
bb
?
??
????
????
11 1
1
( ) ( )
()
( ) ( )
m
n nm
x t x t
Xt
x t x t
??
???
??
11 1
1
m
nm
n nm
ff
FC
ff
?
??
????
????
() ( ) ( )
(0 )
d X t A X t X t B
dt
xF
? ???
?
? ??
() A t B tX t e F e?
? ? ? ?R e 0, d e t ( ) 0, d e t ( ) 0I A I B? ? ? ? ? ?? ? ? ? ? ? ? ?
兰州大学信息科学与工程学院 矩阵理论第 10讲 -29
求解矩阵方程
– 推论 2
设,
则矩阵方程
有唯一解
又，若 F是 Hermite正定矩阵，则解矩阵 X也是 Hermite正定矩阵
,nnA F C ?? ? ?( ) ( )ij
nnX t x t ??
? ?R e 0, d e t ( ) 0IA? ? ? ?? ? ? ? ?
HA X X A F? ? ?
0
HA t A tX e F e d t??? ?
HXX?
0 nx x C? ? ? 0Hx Xx ?
? ?00 ()HH HH A t A t A t A t HX e F e d t e F e d t? ? ? ?? ? ? ???
00
HHA t H A t A t A te F e d t e F e d t X? ? ? ?? ? ? ? ???
兰州大学信息科学与工程学院 矩阵理论第 10讲 -30
求解矩阵方程
0 nx x C? ? ? 0Atex?
? ? ? ? ? ?00 0H HH H A t A t A t A tx Xx x e Fe dt x e x F e x dt? ? ? ?? ? ???
F是 Hermite正定矩阵
( ) ( ) 0A t H A te x F e x ?
X是 Hermite正定矩阵
以参数 t为变量的普通函数
兰州大学信息科学与工程学院 矩阵理论第 10讲 -31
最小二乘问题
– 最小二乘法的原理
设 u是变量 的函数，含有 m个参数
现对 u和 作 n次观测，得
于是 u在观测值 下的计算值 与观测值 的绝对误差为,
最小二乘法，就是求参数,使得函数
与观测值 最佳拟合，即 应使
其等价问题是
,,xy 12,,,ma a a
12(,,,;,,)mu f a a a x y?
,,xy
(,,; ) ( 1,2,,)i i ix y u i n?
,,iixy iu
( 1,2,,)
i
Q im
a
? ?
?
?iu
12? (,,,;,,) ( 1,2,,)i i i m i iu u u f a a a x y i n? ? ? ?
12,,,ma a a
12(,,,;,,)mu f a a a x y?
12,,,nu u u 12,,,ma a a
2121m in m in [ (,,,;,,) ]n i m i iiQ u f a a a x y??? ?
f是线性函数的情形
2()f x A x b??
兰州大学信息科学与工程学院 矩阵理论第 10讲 -32
最小二乘问题
mnAC?? mbC?
2 ( )TTdQ A Ax A bdx ??
nxC?? 0Ax b??
0 nxC? 0 22m in
nxCA x b A x b?? ? ?
是 的最小二乘解 Ax b?
mnAR?? mbR?
2
2( ),( ) ( )TQ x A x b A x b A x b A x b A x b? ? ? ? ? ? ? ?
T T T T T Tx A A x x A b b A x b b? ? ? ?
0 0xx? ? 0 22m in nxCA x b A x b?? ? ?
若 是 的解，则 是方程组
0 nxR? TTA A x A b?
的最小二乘解
0x
Ax b?
兰州大学信息科学与工程学院 矩阵理论第 10讲 -33
含约束条件的最小二乘问题
– 条件极值问题的提法
目标函数
在 n维欧氏空间 的一个由不等式约束条件
或等式约束条件
所限定的区域
内求一点,使得目标函数 达到极小值（或极大值）
12(,,,) ( )ny f x x x f?? x
( ) 0 ( ) 0 ( 1,2,,)j j j jg g o r g g j m? ? ? ? ?xx
( ) 0 ( 1,2,,)jjg g j m? ? ?x
? ?,( ) 0 ( 0 0 ) ( 1,2,,)jR g o r j m? ? ? ? ?xx
* nxR? ()fx
nE
*()fx
**( ) m in ( ) ( )
xRf x f x x R???
Linear,线性规划 Non-linear,非线性规划
兰州大学信息科学与工程学院 矩阵理论第 10讲 -34
含约束条件的最小二乘问题
– 化等式条件极值问题为无条件极值问题
应用 Lagrange乘子法
为待定常数，将 视为 n + m个变量 和
的无约束函数，令其关于 的偏导数为 0即可得极值点
1
m kk
kf y g??? ?? ?
k?
0 1,2,,
0 1,2,,
i
j
f in
x
g j m
???
???
??
? ??
?
12,,,nmx x x ?f? 12,,,n? ? ?
kx
2
2()f A b??xx
mnAR?? mbR?
()g B d??xx knBR?? kdR?
2
2m inB x d Ab? ?x
兰州大学信息科学与工程学院 矩阵理论第 10讲 -35
含约束条件的最小二乘问题
– 化等式条件极值问题为无条件极值问题
引入 Lagrange乘子
得
kuR?
2
2(,) ( )Tf u A b u B x d? ? ? ? ?xx
,( )TA b A b u B x d? ? ? ? ?xx
()T T T T T T Tx A A x x A b b A x b b u B x d? ? ? ? ? ?
? ?
22T T T
f
A Ax A b B u
x
f
Bx d
u
???
? ? ??
? ?
? ?
??
??
? ??
1
2
TT TA A B Ab
dB
?? ????
?? ? ????
?? ????
x
u0
兰州大学信息科学与工程学院 矩阵理论第 10讲 -36
矩阵分解
– 矩阵分解
Factorization或 Decomposition
? 为什么要进行矩阵分解？
? 在什么条件下可进行相应的矩阵分解？
? 若矩阵可被分解，其因式矩阵是否唯一？
进行矩阵分解往往是为了提高计算效率
Cramer法则
需要计算 n + 1个行列式，当 n较大时，需要进行的乘法次数约为
若用 Gauss消元法，求解过程实际上是将 A分解为一个下三角阵（ L,
lower triangular matrix）和一个主对角线元素为 1的上三角阵（ U,upper
triangular matrix） 的乘积
Ax b?
1,,iix i n????
( 1)!en??
LUx b? Ux y?
兰州大学信息科学与工程学院 矩阵理论第 10讲 -37
矩阵分解
消元过程
回代过程
L,Left triangular matrix
R,Right triangular matrix
– 定义,
,称 A可以作三角分解
– 可作三角分解的充要条件
必要性,
3
2
33
nnn??
Ly b?
Ux y?
nnAC?? nnLC??? nnRC???
A LR?
nnnAC??
0 1,2,,1k kn? ? ? ?
detkkA??
A LR? ( ) ( 0 )
i j n n i jL l l i j?? ? ?
( ) ( 0 )i j n n i jR r r i j?? ? ?
兰州大学信息科学与工程学院 矩阵理论第 10讲 -38
矩阵分解
nnnAC??
A LR? 1 2 1 2
2 1 2 2 2 1 2 2 2 2
k k kA A L R R
A A L L R
? ? ? ? ? ??? ? ? ? ? ?
? ? ? ? ? ?
0
0
1 1 1 1d e t d e t d e t 0n n n nA L R l l r r? ? ? ?
k k kA L R?
1 1 1 1d e t d e t d e t 0k k k k k k k kA L R l l r r? ? ? ? ? ?
充分性,
对 A的阶数用数学归纳法,
n = 1,
1 1 1 1 1( ) (1 ) ( )A a a??
归纳假设,n = k时结论成立 k k kA L R?
d e t d e t d e t 0k k kA L R??,kkLR 可逆
当 n = k + 1 时
兰州大学信息科学与工程学院 矩阵理论第 10讲 -39
矩阵分解
1
1,1
kk
k
k k k
AcA
ra? ??
??? ??
??
11kkLR???
? ?1,1 1,2 1,k k k k kr a a a? ? ??
1,1
2,1
,1
k
k
k
kk
a
a
c
a
?
?
?
??
??
???
??
??
??
1
1 11
1,11
k k k k
kk k k k k k k
L R L c
rR a r R L c
?
? ??
??
?????
???? ?
?? ??
0
0
定理,
nnrAC?? d e t 0 1,2,,kk A k r? ? ? ?
A可作三角分解
用构造法证明,rr
rAC?? r r rA L R?
兰州大学信息科学与工程学院 矩阵理论第 10讲 -40
矩阵分解
12
2 1 2 2
rAAA
AA
??? ??
??
()n r rBC ???? 21 rA BA? 22 12A BA?
1
12 12
12
rr rr
r n rr
LAA R L AA
B L IB A B A
?
?
???????? ??
?????? ?? ??
0
00
三角分解的唯一性
A LR?
1d i a g ( ) ( 0 1,,)niD d d d i n? ? ?
? ? ? ?1A L D D R L R???
兰州大学信息科学与工程学院 矩阵理论第 10讲 -41
矩阵分解
– 可作三角分解的充要条件，也是有唯一的 Doolittle分解、唯一
的 Crout分解及唯一的 LDR分解的充要条件,
nnnAC??
d e t 0 1,2,,1kk A k n? ? ? ? ?
A LR?
21
12
1
1
1nn
l
L
ll
??
??
?
??
??
1 1 1 2 1
2 2 2
n
n
nn
r r r
rr
R
r
??
??
?
??
??
11
2 1 2 2
12n n n n
l
ll
L
l l l
??
??
?
??
??
1 2 1
2
1
1
1
n
n
rr
r
R
??
??
?
??
??
Doolittle分解
Crout分解
兰州大学信息科学与工程学院 矩阵理论第 10讲 -42
矩阵分解
– 可作三角分解的充要条件，也是有唯一的 Doolittle分解、唯一
的 Crout分解及唯一的 LDR分解的充要条件,
nnnAC??
d e t 0 1,2,,1kk A k n? ? ? ? ?
A LDR?
21
12
1
1
1nn
l
L
ll
??
??
?
??
??
1 2 1
2
1
1
1
n
n
rr
r
R
??
??
?
??
??
LDR分解
1d i a g ( ) ( 0 1,,)niD d d d i n? ? ?
11d ??
1
( 2,3,,)kk
k
d k n
?
???
?
兰州大学信息科学与工程学院 矩阵理论第 10讲 -43
矩阵分解
证明,
A LR?
11
2 1 2 2
12n n n n
l
ll
L
l l l
??
??
?
??
??
1 1 1 2 1
2 2 2
n
n
nn
r r r
rr
R
r
??
??
?
??
??
11d i a g ( )L n nD l l? 11d i a g ( )R n nD r r?
可逆 可逆
可逆 可逆
211
12
1
1
1
L
nn
l
LD
ll
?
??
??
?
??
??
1 2 1
21
1
1
1
n
n
R
rr
r
DR?
??
??
?
??
??
? ? ? ? ? ?11L L R RA L R L D D D D R????
兰州大学信息科学与工程学院 矩阵理论第 10讲 -44
矩阵分解
再证唯一性。设 A有两个 LDR分解
以 同时左乘上式两边，以 同时右乘上式两边,
A L D R L D R??
1L? 11RD??
1 1 1L L D R R D? ? ??
1L L I? ? 11D R R D I?? ?
LL? 11R R D D???
1RR I? ? 1D D I? ?
RR? DD?
1 2 1 2
2 1 2 2 2 1 2 2 2 2 2 2
k k k kA A L D R R
A A L L D R
? ? ? ? ? ? ? ??? ? ? ? ? ? ? ?
? ? ? ? ? ? ? ?
00
00
k k k kA L D R?
1 1 2 2d e t d e t d e t d e tk k k k k k kA L D R d d d? ? ? ?
11d ??
1
( 2,3,,)kk
k
d k n
?
???
?
兰州大学信息科学与工程学院 矩阵理论第 10讲 -45
矩阵分解
– 主元素 LR分解
? 避免由于主对角线元素为 0使分解过程无法继续
? 保证计算精度
1
2
3
0 1 1 2
2 1 1 4
1 2 0 0
x
x
x
? ? ? ? ? ?
? ? ? ? ? ???
? ? ? ? ? ?
? ? ? ? ? ??? ? ? ? ? ?
1
2
0, 0 0 0 1 0 0 1, 0 0 1, 0 0
1, 0 0 1, 0 0 2, 0 0
x
x
??? ? ? ????? ? ? ?
? ? ? ???
44
1
2
1 1, 0 0 1 0 1, 0 0 1 0
1, 0 0 1 0 1, 0 0 1 0
x
x
? ? ? ????? ?? ? ? ?
??? ? ? ???? ? ? ?
0.00
1.00
????
??
1,0 0 0 1 0
0,9 9 9 9 0
????
??
1
2
1, 0 0 1, 0 0 2, 0 0
0, 0 0 0 1 0 0 1, 0 0 1, 0 0
x
x
??? ? ? ????? ? ? ?
? ? ? ???
1.00
1.00
????
??
兰州大学信息科学与工程学院 矩阵理论第 10讲 -46
矩阵理论 -第十讲
兰州大学信息科学与工程学院
2004年
兰州大学信息科学与工程学院 矩阵理论第 10讲 -2
上节内容回顾
? 矩阵的幂级数
? 方阵幂级数收敛的判别定理
,收敛半径为 r
,谱半径为
绝对收敛
发散
绝对收敛
– Neumann级数收敛充要条件
收敛
nnAC??
( 0,1,,)ka C k??nnAC??
0 kkk aA
?
??
0 kkk az
?
??
()A?
()Ar? ? 0 kkk aA???
()Ar? ?
0 kkk aA
?
??
Ar?
0 kkk aA
?
??
()AA? ?
,nnCR????
0 kk A
?
?? ( ) 1A? ?
10 ()kk A I A? ?? ???
兰州大学信息科学与工程学院 矩阵理论第 10讲 -3
上节内容回顾
? 矩阵函数
收敛的矩阵幂级数 在矩阵集合 与 之间建立了一个
（多对一）映射
称之为矩阵函数。此矩阵幂级数的和 S为 A在映射 f下的象，记为
? 矩阵函数的计算
– 利用 Hamilton-Cayley定理
– 利用相似对角化
– 利用 Jordan标准形
– 利用矩阵多项式
,n n n nf C C???
()S f A?
0 kkk aA
?
??
nnC? nnC?
兰州大学信息科学与工程学院 矩阵理论第 10讲 -4
矩阵的微分和积分
– 函数矩阵的微分和积分
– 高等数学中函数的和、乘积、复合函数的求导法则适用于函数矩阵的
微分
( ) ( ( ) )ij m nA t a t ??
( ) ( ( ) )i j m nA t a t ???? ( ) ( ( ) )
ij m n
ddA t a t
d t d t ??
( ) ( ( ) )bb i j m naaA t d t a t d t ????
( ( ) ( ) ) ( ) ( )d d dA t B t A t B td t d t d t? ? ?
( ( ) ( ) ) ( ) ( ) ( ) ( )d d dt A t t A t t A td t d t d t? ? ?? ? ? ???? ? ? ?? ? ? ?
( ( ) ( ) ) ( ) ( ) ( ) ( )d d dA t B t A t B t A t B td t d t d t? ? ? ???? ? ? ?? ? ? ?
( ) ( ) ( )ddA u f t A ud t d u??
()tC? ?
兰州大学信息科学与工程学院 矩阵理论第 10讲 -5
矩阵的微分和积分
( ) ( ( ) )ij m nA t a t ?? ( ) ( ( ) )ij n pB t b t ??
1( ( ) ( ) ) ( ( ) ( ) )
n
i k k j m pk
ddA t B t a t b t
dt dt ??? ?
1 1 2 2
1 1 2 2
1 1 1 1 1 1
( ( ) ( ) ( ) ( ) ( ) ( ) )
( ( ) ( ) ) ( ( ) ( ) ) ( ( ) ( ) )
( ) ( ) ( ) ( ) ( ) ( )
i j i j in n j m p
i j i j in n j
mp
i j i j i j
d
a t b t a t b t a t b t
dt
d d d
a t b t a t b t a t b t
d t d t d t
d d d
a t b t a t b t a t b t
d t d t d t
?
?
? ? ? ?
??
? ? ? ???
??
?
? ? ? ? ? ? ??
?
1 1 1 1 1 1( ) ( ) ( ) ( ) ( ) ( )i j i j i j
mp
d d da t b t a t b t a t b t
d t d t d t ?
?? ? ? ? ? ? ? ?
?
( ) ( ) ( ) ( )ddA t B t A t B td t d t? ? ? ???? ? ? ?? ? ? ?
兰州大学信息科学与工程学院 矩阵理论第 10讲 -6
矩阵的微分和积分
– 当 亦可微时，有
– 高等数学中函数的和、常数（常数矩阵）与函数矩阵的乘积、分部积
分法、变上限函数、导数的积分法则适用于函数矩阵的积分
1()At?
1 1 1( ( ) ) ( ) ( ) ( )ddA t A t A t A t
d t d t
? ? ????? ??
??
1( ) ( )A t A t I???
1 1 1( ( ) ( ) ) ( ) ( ) ( ) ( )d d dA t A t A t A t A t A t
d t d t d t
? ? ?? ? ? ?? ? ?? ? ? ?
? ? ? ? 0
( ( ) ( ) ) ( ) ( )b b ba a aA t B t d t A t d t B t d t? ? ? ?? ? ?? ? ?
( ) ( )bbaaA t d t A t d t?? ??? ? ?( ) ( )bb
aaA t Bdt A t dt B????
? ?( ) ( )bbaaA B t dt A B t dt???? ? ?( ) ( )tad A d A tdt ?? ??
( ) ( ) ( )ba A t d t A b A a? ???
( ) ( ) ( ) ( ) ( ) ( )bb baaaA t B t d t A t B t A t B t d t? ? ?? ? ? ? ???
兰州大学信息科学与工程学院 矩阵理论第 10讲 -7
矩阵的微分和积分
– 数量函数对矩阵变量的导数
行列式、二次型、内积、范数等是这类函数的代表
以向量为自变量的函数的导数 ——梯度向量
,mnf C F? ?
11 1
1
n
ij
mn
m mn
ff
xx
df f
dX x
ff
xx
?
????
??
??
???
??????
???
?? ??
??
????
11 1
1
n
m mn
xx
X
xx
??
???
????
,nf C F?
1
2
n
?
?
?
??
??
???
??
??
??
x
1
g rad
n
f
df
f
dx
f
?
?
???
??
?
??
????
??
???
???
??
兰州大学信息科学与工程学院 矩阵理论第 10讲 -8
矩阵的微分和积分
– 数量函数对矩阵变量的导数
举例 (1)
1
2
n
a
a
a
??
??
???
??
??
??
a
1
2
n
?
?
?
??
??
???
??
??
??
x () TTf ??x a x x a
1 1 2 2() nnf a a a? ? ?? ? ? ?x
1 1
n
n
f
a
df
dx
fa
?
?
???
??
? ??
??
??
??? ? ?
??
?? ??
? ????
???
??
a
( 1,,)i
i
f a i n
?
? ??
?
dfdx ?
兰州大学信息科学与工程学院 矩阵理论第 10讲 -9
矩阵的微分和积分
– 数量函数对矩阵变量的导数
举例 (2)
11 1
1
n
m mn
aa
A
aa
??
???
????
11 1
1
m
n nm
xx
X
xx
??
???
????
( ) tr ( )f X A X?
? ?1n i k k jk mmA X a x? ?? ?
( 1,,; 1,,)ji
ij
f a i n j m
x
? ? ? ?
?
11tr ( )
mn s k k s
skA X a x??? ??
dfdX ?
() Tji n m
ij nm
d f f aA
d X x ?
?
???? ? ?
???
??
兰州大学信息科学与工程学院 矩阵理论第 10讲 -10
矩阵的微分和积分
– 数量函数对矩阵变量的导数
举例 (3)
1 1 1
1
n
n n n
aa
A
aa
??
???
????
() Tf x x A x?
dfdx ?
1
2
n
?
?
?
??
??
???
??
??
??
x
? ?
1 1 1 1 1
2 1 1 2 2
1
11
()
j j n n
j j n nT
jn
n n j j n n n
a a a
a a a
f x x A x
a a a
? ? ?
? ? ?
? ? ?
? ? ?
? ? ? ???
??
? ? ? ?
??
??
? ? ? ???
1 1 1 1 1 1 1 1( ) ( )j j n n j j j j j j n na a a a a a? ? ? ? ? ? ? ?? ? ? ? ? ? ? ? ? ? ?
11()n n n j j n n na a a? ? ? ?? ? ? ? ? ?
1
n jk k
k a ???
1
n kj k
k a ???
兰州大学信息科学与工程学院 矩阵理论第 10讲 -11
矩阵的微分和积分
11 ( 1,,)
nn
k j k j k kkk
j
f a a j n??
? ??
? ? ? ?
? ??
11111
11
nn
k k k kkk
nn
k n k nk kkk
n
f
aa
df
dx
f aa
???
??
?
??
??
???
?? ?? ?
?
????
????
????
? ???
????
???
??
??
1111
nn
k k k kkk
nn
k n k nk kkk
aa??
??
? ? ? ?
? ? ? ?
? ? ? ???
? ? ? ?
? ? ? ?
? ? ? ?
??
??
()TTA x A x A A x? ? ? ?
TAA?当 A是对称矩阵时
() Tf x x A x? 2df Ax
dx ?
兰州大学信息科学与工程学院 矩阵理论第 10讲 -12
矩阵的微分和积分
– 数量函数对矩阵变量的导数
举例 (4)。
证明
证,
设 的代数余子式为,将 按第 i行展开,
11 1
1
n
n nn
xx
X
xx
??
???
????
det 0X ?
1de t ( de t ) ( ) Td X X X
dX
??
ijx ijX det X
1d e t
n
ij ijjX x X?? ? d e t ij
ij
XXx? ??
d e t ( ) ( a d j ) Tij n n
ij nn
d X X X
d X x ?
?
???? ? ?
???
??
1 ad j
d et
XX
X
? ?
1de t ( de t ) ( ) Td X X X
dX
??
兰州大学信息科学与工程学院 矩阵理论第 10讲 -13
矩阵的微分和积分
– 矩阵值函数对矩阵变量的导数
矩阵值函数 的定义
11 1
1
n
m mn
xx
X
xx
??
???
????
( ) ( ( ) )i j s tF X f X ??
,( ) ( 1,,; 1,,)i j i jf X f X i s j t? ? ?
()FX
1 1 1
1
n
m m n
FF
xx
dF
dX
FF
xx
????
??
??
???
????
????
111
1 1 1 1
11
1
1 1 1 1
t
s s t
ff
xx
F
x
ff
xx
????
??
??
?
???
?
????
????
111
1
t
ij ij
ij
s s t
ij ij
ff
xx
F
x
ff
xx
????
??
??
??
?
???
? ??
????
????
??
兰州大学信息科学与工程学院 矩阵理论第 10讲 -14
矩阵的微分和积分
– 矩阵值函数对矩阵变量的导数
注意：与 Jacobi式（函数行列式）的区别
n个自变量的 n个函数
定义在某 n维空间中，并关于自变量有连续偏导数，则其 Jacobi式如下,
1 1 1 2
2 2 1 2
12
(,,)
(,,)
(,,)
n
n
n n n
y f x x x
y f x x x
y f x x x
??
? ?
?
?
?
? ??
1 1 1
12
2 2 2
12
12
12
12
(,,)
(,,)
n
n
n
n
n n n
n
y y y
x x x
y y y
y y y
x x x
x x x
y y y
x x x
? ? ?
? ? ?
? ? ?
?
? ? ??
?
? ? ?
? ? ?
兰州大学信息科学与工程学院 矩阵理论第 10讲 -15
矩阵的微分和积分
– 矩阵值函数对矩阵变量的导数
举例（ 1）
1
2
n
x
?
?
?
??
??
???
??
??
?? () TF x x?
T Tdx dxdx dx??1
2
T
T
T
T
n
x
x
dx
dx
x
?
?
?
???
??
?
??
??
?
??
? ???
??
??
???
??
???
? ?12T T Tne x e x e x?
12( ) ( ( ) ( ) ( ) )nF x f x f x f x?
12
1 1 1 1
()( ) ( )T nfxf x f xx
? ? ? ?
?? ???? ? ??
? ? ? ???
? ?1 0 0?
12 ()( ) ( )
T
n
n n n n
fxf x f xx
? ? ? ?
?? ???? ? ??
? ? ? ???
? ?0 0 1?
nI
兰州大学信息科学与工程学院 矩阵理论第 10讲 -16
矩阵的微分和积分
– 矩阵值函数对矩阵变量的导数
举例（ 2）
1
2
n
a
a
a
??
??
???
??
??
??
a
1 1 1 2 1 3 1 4
2 1 2 2 2 3 2 4
x x x xX
x x x x
??? ??
??
()?Td X a
dX ?
( ) ( ) TF X X a?
11 12 13 14
21 22 23 24
( ) ( ) ( ) ( )
()
( ) ( ) ( ) ( )
TTTT
T
TTTT
Xa Xa Xa Xa
x x x xd Xa
dX Xa Xa Xa Xa
x x x x
??????
??
? ? ? ?
?
????
??
? ? ? ???
兰州大学信息科学与工程学院 矩阵理论第 10讲 -17
矩阵的微分和积分
– 矩阵值函数对矩阵变量的导数
举例（ 2）
1
2
n
a
a
a
??
??
???
??
??
??
a
1 1 1 2 1 3 1 4
2 1 2 2 2 3 2 4
x x x xX
x x x x
??? ??
??
? ?441211( ) ( ) T k k k kkkF X X a x a x a???? ??
11 12 13 14
21 22 23 24
( ) ( ) ( ) ( )
()
( ) ( ) ( ) ( )
TTTT
T
TTTT
Xa Xa Xa Xa
x x x xd Xa
dX Xa Xa Xa Xa
x x x x
??????
??
? ? ? ?
?
????
??
? ? ? ???
? ?1 1 1 2( ) ( )f X f X
1 1 1 2
1 1 1 1 1 1
() T ffXa
x x x
????? ? ??
? ? ???
1TeXa 2TeXa
? ?1 0a?
? ?2 0a ? ?3 0a ? ?4 0a
? ?10 a ? ?20 a ? ?30 a ? ?40 a
兰州大学信息科学与工程学院 矩阵理论第 10讲 -18
矩阵的微分和积分
– 矩阵值函数对矩阵变量的导数
举例（ 2）
1 2 3 4
1 2 3 4
0 0 0 0()
0 0 0 0
T a a a ad X a
a a a adX
??? ??
??
兰州大学信息科学与工程学院 矩阵理论第 10讲 -19
矩阵的微分和积分
– 矩阵值函数对矩阵变量的导数
举例（ 2）
1
2
n
a
a
a
??
??
???
??
??
??
a
1 1 1 2 1 3 1 4
2 1 2 2 2 3 2 4
x x x xX
x x x x
??? ??
??
()?d X a
dX ?
()F X X a?
1 1 1 2 1 3 1 4
2 1 2 2 2 3 2 4
( ) ( ) ( ) ( )
()
( ) ( ) ( ) ( )
X a X a X a X a
x x x xd X a
X a X a X a X adX
x x x x
??????
??? ? ? ?
?
????
??? ? ? ?
??
兰州大学信息科学与工程学院 矩阵理论第 10讲 -20
矩阵的微分和积分
– 矩阵值函数对矩阵变量的导数
举例（ 2）
1
2
n
a
a
a
??
??
???
??
??
??
a
1 1 1 2 1 3 1 4
2 1 2 2 2 3 2 4
x x x xX
x x x x
??? ??
??
4
11
4
21
() kkk
kkk
xa
F X X a
xa
?
?
??
????
??
?
?
1 1 1 2 1 3 1 4
2 1 2 2 2 3 2 4
( ) ( ) ( ) ( )
()
( ) ( ) ( ) ( )
X a X a X a X a
x x x xd X a
X a X a X a X adX
x x x x
??????
??? ? ? ?
?
????
??? ? ? ?
??
11
21
()
()
fX
fX
????
??
1TeXa
2TeXa
11
11
2111
11
() T
f
xXa
fx
x
???
???
? ??
?
????
???
??
1
0
a?????
??
2
0
a????
??
3
0
a????
??
4
0
a????
??
1
0
a
????
?? 2
0
a
????
?? 3
0
a
????
?? 4
0
a
????
??
兰州大学信息科学与工程学院 矩阵理论第 10讲 -21
矩阵的微分和积分
– 矩阵值函数对矩阵变量的导数
举例（ 2）
1 2 3 4
1 2 3 4
0 0 0 0()
0 0 0 0
a a a a
d Xa
dX
a a a a
??
??
?
??
??
兰州大学信息科学与工程学院 矩阵理论第 10讲 -22
常用矩阵函数的导数
– 设
nnAC??
A t A t A td e A e e A
dt ??
si n c os ( c os )d At A At At Adt ??
c o s sin ( sin )d A t A A t A t Adt ? ? ? ?
2 3 42 3 4
1 ! 2 ! 3 ! 4 !
At t t t te I A A A A? ? ? ? ? ?
232 3 41
1 ! 1 ! 2 ! 3 !
Atd t t te A A A A
dt ? ? ? ? ?
2323()
1 ! 2 ! 3 !
t t tA I A A A? ? ? ? ?
AtAe?
兰州大学信息科学与工程学院 矩阵理论第 10讲 -23
矩阵函数在求解微分方程组中的应用
– 一阶线性常系数非齐次微分方程组的求解
0
() ( ) ( )
()
dt A t t
dt
x t c
? ??
?
?
? ??
x xf
1 1 1
1
n
n n n
aa
A
aa
??
???
????
1
2
()
()
()
()n
xt
xt
xt
xt
??
??
???
??
??
??
1
2
()
()
()
()n
ft
ft
t
ft
??
??
???
??
??
??
f 已知向量函数
1
2
n
c
c
c
??
??
???
??
??
??
c
兰州大学信息科学与工程学院 矩阵理论第 10讲 -24
矩阵函数在求解微分方程组中的应用
– 一阶线性常系数非齐次微分方程组的求解
() ( ) ( )dt A t t
dt ??
x xf
() ( ) ( )A t A tdte A t e t
dt
????????
??
x xf
? ?( ) ( )A t A td e x t e tdt ??? f
? ?
00
( ) ( )ttAAd e x d e dd ??? ? ? ?? ?? ??? f
0
00
( ) ( ) ( )tAtA t Ate x t e x t e d? ??????? ? f
0
0
()( ) ( )tA t t A t A
tx t e c e e d
? ??? ??? ? f
兰州大学信息科学与工程学院 矩阵理论第 10讲 -25
求解矩阵方程
– Lyapunov方程
设
1 1 1
1
n
nn
n n n
aa
AC
aa
?
??
????
????
11 1
1
m
mm
m mm
bb
BC
bb
?
??
????
????
11 1
1
m
nm
n nm
xx
XC
xx
?
??
????
????
11 1
1
m
nm
n nm
ff
FC
ff
?
??
????
????
A X X B F??
称矩阵方程
为 Lyapunov方程
兰州大学信息科学与工程学院 矩阵理论第 10讲 -26
求解矩阵方程
– Lyapunov方程的解及有解的条件
对 Lyapunov方程
若
则 Lyapunov方程有唯一解
证：首先证明积分
存在。
A X X B F??
? ? ? ?R e 0, d e t ( ) 0, d e t ( ) 0I A I B? ? ? ? ? ?? ? ? ? ? ? ? ?
0
A t B tX e F e d t???? ?
0
A t B te F e d t???
? ?()Ak tA t r ij
nn
e t e ?
?
??? ??
???
? ?()Bk tB t r ij
mm
e t e ?
?
??? ??
???
? ?() ()A BpkA t B t r ij
nm
e F e t e ?? ?
?
??? ??
???
兰州大学信息科学与工程学院 矩阵理论第 10讲 -27
求解矩阵方程
由于
所以
是可积的。
记
12
1 [ ( ) ( ) ( 1 ) ( ) ( 1 ) ! ]
t
r t r r r n
r
et e d t t r t r r t n?? ? ? ?
?
??
?? ? ? ? ? ? ??
0
A t B te F e d t???
() A t B tY t e F e? (0)YF?
l im ( ) l im A t B tttY t e F e? ? ? ??? 0? ?() ()A BpkA t B t r
ij nm
e F e t e ?? ?
?
??? ??
???
() ( ) ( )A t B t A t B td Y t A e F e e F e B A Y t Y t B
dt ? ? ? ?
00( ) ( 0 ) ( ) ( )Y Y A Y t d t Y t d t B
??? ? ? ???
? ? ? ?00( ) ( )A Y t d t Y t d t B F??? ? ? ???
兰州大学信息科学与工程学院 矩阵理论第 10讲 -28
求解矩阵方程
– 推论 1
设
则矩阵微分方程
的解为
1 1 1
1
n
nn
n n n
aa
AC
aa
?
??
????
????
11 1
1
m
mm
m mm
bb
BC
bb
?
??
????
????
11 1
1
( ) ( )
()
( ) ( )
m
n nm
x t x t
Xt
x t x t
??
???
??
11 1
1
m
nm
n nm
ff
FC
ff
?
??
????
????
() ( ) ( )
(0 )
d X t A X t X t B
dt
xF
? ???
?
? ??
() A t B tX t e F e?
? ? ? ?R e 0, d e t ( ) 0, d e t ( ) 0I A I B? ? ? ? ? ?? ? ? ? ? ? ? ?
兰州大学信息科学与工程学院 矩阵理论第 10讲 -29
求解矩阵方程
– 推论 2
设,
则矩阵方程
有唯一解
又，若 F是 Hermite正定矩阵，则解矩阵 X也是 Hermite正定矩阵
,nnA F C ?? ? ?( ) ( )ij
nnX t x t ??
? ?R e 0, d e t ( ) 0IA? ? ? ?? ? ? ? ?
HA X X A F? ? ?
0
HA t A tX e F e d t??? ?
HXX?
0 nx x C? ? ? 0Hx Xx ?
? ?00 ()HH HH A t A t A t A t HX e F e d t e F e d t? ? ? ?? ? ? ???
00
HHA t H A t A t A te F e d t e F e d t X? ? ? ?? ? ? ? ???
兰州大学信息科学与工程学院 矩阵理论第 10讲 -30
求解矩阵方程
0 nx x C? ? ? 0Atex?
? ? ? ? ? ?00 0H HH H A t A t A t A tx Xx x e Fe dt x e x F e x dt? ? ? ?? ? ???
F是 Hermite正定矩阵
( ) ( ) 0A t H A te x F e x ?
X是 Hermite正定矩阵
以参数 t为变量的普通函数
兰州大学信息科学与工程学院 矩阵理论第 10讲 -31
最小二乘问题
– 最小二乘法的原理
设 u是变量 的函数，含有 m个参数
现对 u和 作 n次观测，得
于是 u在观测值 下的计算值 与观测值 的绝对误差为,
最小二乘法，就是求参数,使得函数
与观测值 最佳拟合，即 应使
其等价问题是
,,xy 12,,,ma a a
12(,,,;,,)mu f a a a x y?
,,xy
(,,; ) ( 1,2,,)i i ix y u i n?
,,iixy iu
( 1,2,,)
i
Q im
a
? ?
?
?iu
12? (,,,;,,) ( 1,2,,)i i i m i iu u u f a a a x y i n? ? ? ?
12,,,ma a a
12(,,,;,,)mu f a a a x y?
12,,,nu u u 12,,,ma a a
2121m in m in [ (,,,;,,) ]n i m i iiQ u f a a a x y??? ?
f是线性函数的情形
2()f x A x b??
兰州大学信息科学与工程学院 矩阵理论第 10讲 -32
最小二乘问题
mnAC?? mbC?
2 ( )TTdQ A Ax A bdx ??
nxC?? 0Ax b??
0 nxC? 0 22m in
nxCA x b A x b?? ? ?
是 的最小二乘解 Ax b?
mnAR?? mbR?
2
2( ),( ) ( )TQ x A x b A x b A x b A x b A x b? ? ? ? ? ? ? ?
T T T T T Tx A A x x A b b A x b b? ? ? ?
0 0xx? ? 0 22m in nxCA x b A x b?? ? ?
若 是 的解，则 是方程组
0 nxR? TTA A x A b?
的最小二乘解
0x
Ax b?
兰州大学信息科学与工程学院 矩阵理论第 10讲 -33
含约束条件的最小二乘问题
– 条件极值问题的提法
目标函数
在 n维欧氏空间 的一个由不等式约束条件
或等式约束条件
所限定的区域
内求一点,使得目标函数 达到极小值（或极大值）
12(,,,) ( )ny f x x x f?? x
( ) 0 ( ) 0 ( 1,2,,)j j j jg g o r g g j m? ? ? ? ?xx
( ) 0 ( 1,2,,)jjg g j m? ? ?x
? ?,( ) 0 ( 0 0 ) ( 1,2,,)jR g o r j m? ? ? ? ?xx
* nxR? ()fx
nE
*()fx
**( ) m in ( ) ( )
xRf x f x x R???
Linear,线性规划 Non-linear,非线性规划
兰州大学信息科学与工程学院 矩阵理论第 10讲 -34
含约束条件的最小二乘问题
– 化等式条件极值问题为无条件极值问题
应用 Lagrange乘子法
为待定常数，将 视为 n + m个变量 和
的无约束函数，令其关于 的偏导数为 0即可得极值点
1
m kk
kf y g??? ?? ?
k?
0 1,2,,
0 1,2,,
i
j
f in
x
g j m
???
???
??
? ??
?
12,,,nmx x x ?f? 12,,,n? ? ?
kx
2
2()f A b??xx
mnAR?? mbR?
()g B d??xx knBR?? kdR?
2
2m inB x d Ab? ?x
兰州大学信息科学与工程学院 矩阵理论第 10讲 -35
含约束条件的最小二乘问题
– 化等式条件极值问题为无条件极值问题
引入 Lagrange乘子
得
kuR?
2
2(,) ( )Tf u A b u B x d? ? ? ? ?xx
,( )TA b A b u B x d? ? ? ? ?xx
()T T T T T T Tx A A x x A b b A x b b u B x d? ? ? ? ? ?
? ?
22T T T
f
A Ax A b B u
x
f
Bx d
u
???
? ? ??
? ?
? ?
??
??
? ??
1
2
TT TA A B Ab
dB
?? ????
?? ? ????
?? ????
x
u0
兰州大学信息科学与工程学院 矩阵理论第 10讲 -36
矩阵分解
– 矩阵分解
Factorization或 Decomposition
? 为什么要进行矩阵分解？
? 在什么条件下可进行相应的矩阵分解？
? 若矩阵可被分解，其因式矩阵是否唯一？
进行矩阵分解往往是为了提高计算效率
Cramer法则
需要计算 n + 1个行列式，当 n较大时，需要进行的乘法次数约为
若用 Gauss消元法，求解过程实际上是将 A分解为一个下三角阵（ L,
lower triangular matrix）和一个主对角线元素为 1的上三角阵（ U,upper
triangular matrix） 的乘积
Ax b?
1,,iix i n????
( 1)!en??
LUx b? Ux y?
兰州大学信息科学与工程学院 矩阵理论第 10讲 -37
矩阵分解
消元过程
回代过程
L,Left triangular matrix
R,Right triangular matrix
– 定义,
,称 A可以作三角分解
– 可作三角分解的充要条件
必要性,
3
2
33
nnn??
Ly b?
Ux y?
nnAC?? nnLC??? nnRC???
A LR?
nnnAC??
0 1,2,,1k kn? ? ? ?
detkkA??
A LR? ( ) ( 0 )
i j n n i jL l l i j?? ? ?
( ) ( 0 )i j n n i jR r r i j?? ? ?
兰州大学信息科学与工程学院 矩阵理论第 10讲 -38
矩阵分解
nnnAC??
A LR? 1 2 1 2
2 1 2 2 2 1 2 2 2 2
k k kA A L R R
A A L L R
? ? ? ? ? ??? ? ? ? ? ?
? ? ? ? ? ?
0
0
1 1 1 1d e t d e t d e t 0n n n nA L R l l r r? ? ? ?
k k kA L R?
1 1 1 1d e t d e t d e t 0k k k k k k k kA L R l l r r? ? ? ? ? ?
充分性,
对 A的阶数用数学归纳法,
n = 1,
1 1 1 1 1( ) (1 ) ( )A a a??
归纳假设,n = k时结论成立 k k kA L R?
d e t d e t d e t 0k k kA L R??,kkLR 可逆
当 n = k + 1 时
兰州大学信息科学与工程学院 矩阵理论第 10讲 -39
矩阵分解
1
1,1
kk
k
k k k
AcA
ra? ??
??? ??
??
11kkLR???
? ?1,1 1,2 1,k k k k kr a a a? ? ??
1,1
2,1
,1
k
k
k
kk
a
a
c
a
?
?
?
??
??
???
??
??
??
1
1 11
1,11
k k k k
kk k k k k k k
L R L c
rR a r R L c
?
? ??
??
?????
???? ?
?? ??
0
0
定理,
nnrAC?? d e t 0 1,2,,kk A k r? ? ? ?
A可作三角分解
用构造法证明,rr
rAC?? r r rA L R?
兰州大学信息科学与工程学院 矩阵理论第 10讲 -40
矩阵分解
12
2 1 2 2
rAAA
AA
??? ??
??
()n r rBC ???? 21 rA BA? 22 12A BA?
1
12 12
12
rr rr
r n rr
LAA R L AA
B L IB A B A
?
?
???????? ??
?????? ?? ??
0
00
三角分解的唯一性
A LR?
1d i a g ( ) ( 0 1,,)niD d d d i n? ? ?
? ? ? ?1A L D D R L R???
兰州大学信息科学与工程学院 矩阵理论第 10讲 -41
矩阵分解
– 可作三角分解的充要条件，也是有唯一的 Doolittle分解、唯一
的 Crout分解及唯一的 LDR分解的充要条件,
nnnAC??
d e t 0 1,2,,1kk A k n? ? ? ? ?
A LR?
21
12
1
1
1nn
l
L
ll
??
??
?
??
??
1 1 1 2 1
2 2 2
n
n
nn
r r r
rr
R
r
??
??
?
??
??
11
2 1 2 2
12n n n n
l
ll
L
l l l
??
??
?
??
??
1 2 1
2
1
1
1
n
n
rr
r
R
??
??
?
??
??
Doolittle分解
Crout分解
兰州大学信息科学与工程学院 矩阵理论第 10讲 -42
矩阵分解
– 可作三角分解的充要条件，也是有唯一的 Doolittle分解、唯一
的 Crout分解及唯一的 LDR分解的充要条件,
nnnAC??
d e t 0 1,2,,1kk A k n? ? ? ? ?
A LDR?
21
12
1
1
1nn
l
L
ll
??
??
?
??
??
1 2 1
2
1
1
1
n
n
rr
r
R
??
??
?
??
??
LDR分解
1d i a g ( ) ( 0 1,,)niD d d d i n? ? ?
11d ??
1
( 2,3,,)kk
k
d k n
?
???
?
兰州大学信息科学与工程学院 矩阵理论第 10讲 -43
矩阵分解
证明,
A LR?
11
2 1 2 2
12n n n n
l
ll
L
l l l
??
??
?
??
??
1 1 1 2 1
2 2 2
n
n
nn
r r r
rr
R
r
??
??
?
??
??
11d i a g ( )L n nD l l? 11d i a g ( )R n nD r r?
可逆 可逆
可逆 可逆
211
12
1
1
1
L
nn
l
LD
ll
?
??
??
?
??
??
1 2 1
21
1
1
1
n
n
R
rr
r
DR?
??
??
?
??
??
? ? ? ? ? ?11L L R RA L R L D D D D R????
兰州大学信息科学与工程学院 矩阵理论第 10讲 -44
矩阵分解
再证唯一性。设 A有两个 LDR分解
以 同时左乘上式两边，以 同时右乘上式两边,
A L D R L D R??
1L? 11RD??
1 1 1L L D R R D? ? ??
1L L I? ? 11D R R D I?? ?
LL? 11R R D D???
1RR I? ? 1D D I? ?
RR? DD?
1 2 1 2
2 1 2 2 2 1 2 2 2 2 2 2
k k k kA A L D R R
A A L L D R
? ? ? ? ? ? ? ??? ? ? ? ? ? ? ?
? ? ? ? ? ? ? ?
00
00
k k k kA L D R?
1 1 2 2d e t d e t d e t d e tk k k k k k kA L D R d d d? ? ? ?
11d ??
1
( 2,3,,)kk
k
d k n
?
???
?
兰州大学信息科学与工程学院 矩阵理论第 10讲 -45
矩阵分解
– 主元素 LR分解
? 避免由于主对角线元素为 0使分解过程无法继续
? 保证计算精度
1
2
3
0 1 1 2
2 1 1 4
1 2 0 0
x
x
x
? ? ? ? ? ?
? ? ? ? ? ???
? ? ? ? ? ?
? ? ? ? ? ??? ? ? ? ? ?
1
2
0, 0 0 0 1 0 0 1, 0 0 1, 0 0
1, 0 0 1, 0 0 2, 0 0
x
x
??? ? ? ????? ? ? ?
? ? ? ???
44
1
2
1 1, 0 0 1 0 1, 0 0 1 0
1, 0 0 1 0 1, 0 0 1 0
x
x
? ? ? ????? ?? ? ? ?
??? ? ? ???? ? ? ?
0.00
1.00
????
??
1,0 0 0 1 0
0,9 9 9 9 0
????
??
1
2
1, 0 0 1, 0 0 2, 0 0
0, 0 0 0 1 0 0 1, 0 0 1, 0 0
x
x
??? ? ? ????? ? ? ?
? ? ? ???
1.00
1.00
????
??
兰州大学信息科学与工程学院 矩阵理论第 10讲 -46
