§ 1.4 向量和矩阵范数
? 向量范数 ( vector norms )
nRyx ???,
对任意
定义 1,Rn空间的 向量范数 || · ||,对任意 满足下列条件
00||||;0||||)1( ???? ???? xxx
||||||||||)2( xx ?? ?? ?? C??
||||||||||||)3( yxyx ???? ???
常用向量范数:
?
?
?
n
i
ixx
1
1 ||||||
? ?
?
?
n
i i
xx
1
2
2
|||||| ? ||max||||
1 ini
xx
???
??
主要 性质
性质 1:‖ -x‖=‖x‖
性质 2:| ‖x‖ -‖y‖ | ≤‖x -y‖
性质 3,向量范数 ‖ x‖ 是 Rn上向量 x的连续函数,
范数等价,设 ‖ ·‖ A 和 ‖ ·‖ B是 R上任意两种范数,若存在
常数 C1,C2 > 0 使得,则称
‖ ·‖ A 和 ‖ ·‖ B 等价 。
定理 1.4.1 Rn 上 一切 范数都等价 。
定义 2:设{ xk} 是 Rn上的向量序列,
令 xk=(xk1,xk2,…, xkn)T,k=1,2,…,,
又设 x*=( x1*,x2*,…, xn*)T 是 Rn上的向量,
如果 lim xki=xi对所有的 i=1,2,…, n成立,
那么,称向量 x*是向量序列{ xk} 的极限,
若一个向量序列有极限,称这个向量序列是 收敛的,
对任意一种向量范数 ‖ ·‖ 而言,向量
序列{ xk} 收敛于向量 x*的充分必要条件是
定理 1.4.2
*l im || || 0
kk xx?? ??
? 矩阵范数 ( matrix norms )
nmRBA ??,定义 3:对任意,称 || · || 为 R
m?n空间的 矩阵
范数,指 || · ||满足 (1)-(3):
00||||;0||||)1( ???? AAA
( 2 ) || || | | || ||AA???? C??对任意
||||||||||||)3( BABA ???
(4) || AB || ? || A || · || B ||
若还满足 (4),称为相容的矩阵范数
例 5,设 A= (aij)∈M,定义
2
,1
1|| || | |n
ij
ij
Aa
n ?
? ?
证明, 这样定义的非负实数不是相容的矩阵范数,
证明:设 1 1 1 1
,
1 1 1 1
AB? ? ? ???? ? ? ?
? ? ? ?
22
22
AB ??? ??
??
|| || 1,|| || 1,|| || 2A B A B? ? ?
从而 || || || || || ||A B A B?
?相容性
( 1)矩阵范数与 矩阵 范数的相
容,‖AB‖≤‖A‖‖B‖( 2)矩阵范数与 向量 范数
设 A∈M, ‖A‖ 是矩阵范数,x∈R n,‖x‖ 是
向量范数,如果满足不等式,
‖ Ax‖≤‖ A‖‖ x‖
则称矩阵范数 ‖ A‖ 与向量范数 ‖ x‖ 相容,
常用的算子范数,
由向量范数 || · ||p 导出关于矩阵 A ? Rn?n 的 p 范数,
px
p
p
p xAx
xAA
px
||||m ax|||| ||||m ax||||
10 ||||
?? ?
??? ?? ??
则
ppp
ppp
xAxA
BAAB
||||||||||||
||||||||||||
?? ?
?
?
?
? ???
n
j
ijaA ni
1
||m a x||||
1
( 行和范数 )
?
???
? n
i
ijaA nj
1
1 ||m a x|||| 1
( 列和范数 )
)(|||| m a x2 AAA T?? ( 谱范数 ( spectral norm ) )
利用 Cauchy 不等式
可证(例 6)。
22| | || || || ||x y x y? ? ?
可以证明,对方阵 和 有,,nnRA ?? nxR? 22|| || || || || ||FA x A x??
? ?
? ?
?
n
i
n
j
ijF aA
1 1
2||||||
(向量 || ·||2的直接推广 )Frobenius范数,
( operator norm ),又称为从属的矩阵范数,算子 范数
定理 1.4.6 对任意算子范数 || ·|| 有, ||||)( AA ??
证明,由算子范数的相容性,得到 |||||||||||| xAxA ?? ??
将任意一个特征根 ?所对应的特征向量 代入u?
|||||||||||| uAuA ?? ????? |||||||||| uu ?? ??
命题 (P26,推论 1) 若 A对称,则有,
)(|||| 2 AA ??A对称
证明,)()(|||| 2
m a xm a x2 AAAA T ?? ??
若 ?是 A 的一个特征根,则 ?2 必是 A2 的特征根。
又:对称矩阵的特征根为实数,即 ?2(A) 为非负实数,
故得证。
)()( 22m a x AA ?? ?? 对某个 A 的特征根 ?成立
所以 2-范数亦称为
谱范数 。
定理 1.4.4 若矩阵 A 对某个算子范数满足 ||A|| < 1,则必有
①, IA? 可逆; ②,
? ? 1 11 || ||IA A??? ?
证明,① 若不然,则 有非零解,即存在非零向
量 使得
( ) 0I A x??
0x?
00A x x? ? ?
0
0
|| || 1
|| ||
Ax
x?? || || 1A??
?
② 1( ) ( )I A I A I?? ? ?
11( ) ( )I A A I A??? ? ? ?
11( ) ( )I A I A I A??? ? ? ?
11|| ( ) || 1 || || || ( ) ||I A A I A??? ? ? ? ? ?
§ 1.5 线性方程组的性态(误差分析)
( Error Analysis for Linear system of Equations )
思考,求解 时,A 和 的误差对解 有何影响?A x b? b x
? 设 A 精确,有误差,得到的解为,即b b? xx??
1x A b????? 1|| || || || || ||x A b?? ?? ? ?
绝对误差放大因子
|| || || || || || || ||b A x A x? ? ?又 1 || ||
|| || || ||
A
xb??
1|| || || |||| || || ||
|| || || ||
xbAA?? ?? ? ?
相对误差放大因子
()A x x b b??? ? ?
? 设 精确,A有误差,得到的解为,即b A? xx??
( ) ( )A A x x b??? ? ?
( ) ( )A x x A x x b? ? ?? ? ? ?
1 ()x A A x x? ? ??? ? ? ?
1
1
|| ||
|| || || ||
|| ||
|| ||
|| || || ||
|| ||
x
AA
xx
A
AA
A
?
?
?
?
?
?
? ? ?
?
? ? ?
( ) ( )A A x A A x b? ? ?? ? ? ?
()A A x A x? ? ?? ? ? ?
1()A I A A x A x? ? ??? ? ? ?
1 1 1()x I A A A A x? ? ?? ? ?? ? ? ?
(只要 ?A充分小,使得
)1|||||||||||| 11 ??? ?? AAAA ??
1
1
1
1
|| ||
|| || || ||
|| || || || || || || ||
|| |||| || 1 || || || ||
1 || || || ||
|| ||
A
AA
x A A A
Ax A A
AA
A
?
??
??
?
?
?
?
??
?
? ? ?
?? ? ? ?
是关键
的误差放大因子,称为
A的状态数 (条件数 ),
记为 cond (A),
|||||||| 1?? AA
注, cond (A) 与 所取的范数有关
常用条件数有:
cond (A)2
)(/)( m i nm a x AAAA TT ???
特别地,若 A 对称,则
||m i n
||m a x)(
2 ?
??Aco n d
cond (A)1 =‖ A‖ 1 ‖ ‖ 11?A
cond (A)? =‖ A‖ ?‖ ‖ ?1?A
例,Hilbert 阵
?
?
?
?
?
?
?
?
?
?
?
?
?
?? 12
1
1
11
3
1
2
1
1
2
11
nnn
n
nH
cond (H2)?= 27 cond (H3)?? 748
cond (H6)?= 2.9 ? 106
注,现在用 Matlab数学软件可以很方便
求矩阵的状态数 !
定义 2,设线性方程组的系数矩阵是非奇异的,如果
cond(A)越大,就称这个方程组越病态,反之,cond(A)
越小,就称这个方程组越良态,
? 向量范数 ( vector norms )
nRyx ???,
对任意
定义 1,Rn空间的 向量范数 || · ||,对任意 满足下列条件
00||||;0||||)1( ???? ???? xxx
||||||||||)2( xx ?? ?? ?? C??
||||||||||||)3( yxyx ???? ???
常用向量范数:
?
?
?
n
i
ixx
1
1 ||||||
? ?
?
?
n
i i
xx
1
2
2
|||||| ? ||max||||
1 ini
xx
???
??
主要 性质
性质 1:‖ -x‖=‖x‖
性质 2:| ‖x‖ -‖y‖ | ≤‖x -y‖
性质 3,向量范数 ‖ x‖ 是 Rn上向量 x的连续函数,
范数等价,设 ‖ ·‖ A 和 ‖ ·‖ B是 R上任意两种范数,若存在
常数 C1,C2 > 0 使得,则称
‖ ·‖ A 和 ‖ ·‖ B 等价 。
定理 1.4.1 Rn 上 一切 范数都等价 。
定义 2:设{ xk} 是 Rn上的向量序列,
令 xk=(xk1,xk2,…, xkn)T,k=1,2,…,,
又设 x*=( x1*,x2*,…, xn*)T 是 Rn上的向量,
如果 lim xki=xi对所有的 i=1,2,…, n成立,
那么,称向量 x*是向量序列{ xk} 的极限,
若一个向量序列有极限,称这个向量序列是 收敛的,
对任意一种向量范数 ‖ ·‖ 而言,向量
序列{ xk} 收敛于向量 x*的充分必要条件是
定理 1.4.2
*l im || || 0
kk xx?? ??
? 矩阵范数 ( matrix norms )
nmRBA ??,定义 3:对任意,称 || · || 为 R
m?n空间的 矩阵
范数,指 || · ||满足 (1)-(3):
00||||;0||||)1( ???? AAA
( 2 ) || || | | || ||AA???? C??对任意
||||||||||||)3( BABA ???
(4) || AB || ? || A || · || B ||
若还满足 (4),称为相容的矩阵范数
例 5,设 A= (aij)∈M,定义
2
,1
1|| || | |n
ij
ij
Aa
n ?
? ?
证明, 这样定义的非负实数不是相容的矩阵范数,
证明:设 1 1 1 1
,
1 1 1 1
AB? ? ? ???? ? ? ?
? ? ? ?
22
22
AB ??? ??
??
|| || 1,|| || 1,|| || 2A B A B? ? ?
从而 || || || || || ||A B A B?
?相容性
( 1)矩阵范数与 矩阵 范数的相
容,‖AB‖≤‖A‖‖B‖( 2)矩阵范数与 向量 范数
设 A∈M, ‖A‖ 是矩阵范数,x∈R n,‖x‖ 是
向量范数,如果满足不等式,
‖ Ax‖≤‖ A‖‖ x‖
则称矩阵范数 ‖ A‖ 与向量范数 ‖ x‖ 相容,
常用的算子范数,
由向量范数 || · ||p 导出关于矩阵 A ? Rn?n 的 p 范数,
px
p
p
p xAx
xAA
px
||||m ax|||| ||||m ax||||
10 ||||
?? ?
??? ?? ??
则
ppp
ppp
xAxA
BAAB
||||||||||||
||||||||||||
?? ?
?
?
?
? ???
n
j
ijaA ni
1
||m a x||||
1
( 行和范数 )
?
???
? n
i
ijaA nj
1
1 ||m a x|||| 1
( 列和范数 )
)(|||| m a x2 AAA T?? ( 谱范数 ( spectral norm ) )
利用 Cauchy 不等式
可证(例 6)。
22| | || || || ||x y x y? ? ?
可以证明,对方阵 和 有,,nnRA ?? nxR? 22|| || || || || ||FA x A x??
? ?
? ?
?
n
i
n
j
ijF aA
1 1
2||||||
(向量 || ·||2的直接推广 )Frobenius范数,
( operator norm ),又称为从属的矩阵范数,算子 范数
定理 1.4.6 对任意算子范数 || ·|| 有, ||||)( AA ??
证明,由算子范数的相容性,得到 |||||||||||| xAxA ?? ??
将任意一个特征根 ?所对应的特征向量 代入u?
|||||||||||| uAuA ?? ????? |||||||||| uu ?? ??
命题 (P26,推论 1) 若 A对称,则有,
)(|||| 2 AA ??A对称
证明,)()(|||| 2
m a xm a x2 AAAA T ?? ??
若 ?是 A 的一个特征根,则 ?2 必是 A2 的特征根。
又:对称矩阵的特征根为实数,即 ?2(A) 为非负实数,
故得证。
)()( 22m a x AA ?? ?? 对某个 A 的特征根 ?成立
所以 2-范数亦称为
谱范数 。
定理 1.4.4 若矩阵 A 对某个算子范数满足 ||A|| < 1,则必有
①, IA? 可逆; ②,
? ? 1 11 || ||IA A??? ?
证明,① 若不然,则 有非零解,即存在非零向
量 使得
( ) 0I A x??
0x?
00A x x? ? ?
0
0
|| || 1
|| ||
Ax
x?? || || 1A??
?
② 1( ) ( )I A I A I?? ? ?
11( ) ( )I A A I A??? ? ? ?
11( ) ( )I A I A I A??? ? ? ?
11|| ( ) || 1 || || || ( ) ||I A A I A??? ? ? ? ? ?
§ 1.5 线性方程组的性态(误差分析)
( Error Analysis for Linear system of Equations )
思考,求解 时,A 和 的误差对解 有何影响?A x b? b x
? 设 A 精确,有误差,得到的解为,即b b? xx??
1x A b????? 1|| || || || || ||x A b?? ?? ? ?
绝对误差放大因子
|| || || || || || || ||b A x A x? ? ?又 1 || ||
|| || || ||
A
xb??
1|| || || |||| || || ||
|| || || ||
xbAA?? ?? ? ?
相对误差放大因子
()A x x b b??? ? ?
? 设 精确,A有误差,得到的解为,即b A? xx??
( ) ( )A A x x b??? ? ?
( ) ( )A x x A x x b? ? ?? ? ? ?
1 ()x A A x x? ? ??? ? ? ?
1
1
|| ||
|| || || ||
|| ||
|| ||
|| || || ||
|| ||
x
AA
xx
A
AA
A
?
?
?
?
?
?
? ? ?
?
? ? ?
( ) ( )A A x A A x b? ? ?? ? ? ?
()A A x A x? ? ?? ? ? ?
1()A I A A x A x? ? ??? ? ? ?
1 1 1()x I A A A A x? ? ?? ? ?? ? ? ?
(只要 ?A充分小,使得
)1|||||||||||| 11 ??? ?? AAAA ??
1
1
1
1
|| ||
|| || || ||
|| || || || || || || ||
|| |||| || 1 || || || ||
1 || || || ||
|| ||
A
AA
x A A A
Ax A A
AA
A
?
??
??
?
?
?
?
??
?
? ? ?
?? ? ? ?
是关键
的误差放大因子,称为
A的状态数 (条件数 ),
记为 cond (A),
|||||||| 1?? AA
注, cond (A) 与 所取的范数有关
常用条件数有:
cond (A)2
)(/)( m i nm a x AAAA TT ???
特别地,若 A 对称,则
||m i n
||m a x)(
2 ?
??Aco n d
cond (A)1 =‖ A‖ 1 ‖ ‖ 11?A
cond (A)? =‖ A‖ ?‖ ‖ ?1?A
例,Hilbert 阵
?
?
?
?
?
?
?
?
?
?
?
?
?
?? 12
1
1
11
3
1
2
1
1
2
11
nnn
n
nH
cond (H2)?= 27 cond (H3)?? 748
cond (H6)?= 2.9 ? 106
注,现在用 Matlab数学软件可以很方便
求矩阵的状态数 !
定义 2,设线性方程组的系数矩阵是非奇异的,如果
cond(A)越大,就称这个方程组越病态,反之,cond(A)
越小,就称这个方程组越良态,