3.4 向量和矩阵的范数
? 为了研究线性方程组近似解的误差估计
和迭代法的收敛性，我们需要对 Rn(n维
向量空间 )中的向量或 Rnxn中矩阵的“大
小”引入一种度量,——向量和矩阵的范
数。
向量和矩阵的范数
? 在一维数轴上，实轴上任意一点 x到
原点的距离用 |x|表示。而任意两点 x1，
x2之间距离用 | x1-x2 |表示。
向量和矩阵的范数
? 而在二维平面上，平面上任意一点 P(x,y)到
原点的距离用 表示。而平面上
任意两点 P1(x1,y1),P2(x2,y2)的距离用
表示。 推广到 n维空间，则称为向量范数。
||22 OPyx ??
2
21
2
2121 )()(|| yyxxPP ????
向量范数
的范数。为向量则称
，
都有三角不等式：对任意
奇次性：
时，，当且仅当非负性：
且满足法则对应于一非负实数
按某一确定的设任一向量
xx
R
Rkkk
R
yxyx
yx
xx
xxx
x
x
n
n
||||
||||||||||||
,,)3;||,|| ||||||)2;0||||00||||)1
:||,||
,3, 4, 1定 义
???
?
??
???
?
常见的向量范数
|}{|m a x||||
)(),()||(||||
||||||
),.,,,,(
1
2
1
2
1
2
1
1
2
2
1
1
21
i
ni
T
n
i
i
n
i
i
T
n
x
x
x
xxx
x
xxxxx
x
x
??
?
?
?
?
???
?
?
?
?
设向量
向量范数性质
n
n
n
n
n
RMm
Mm
xxx
R
R
xxxx
xx
yxyxyx
????
??
?
????
???
??
||||||||||||
,,
,||||,||||R3
,.,,,,
||||,2
1
21
使得则必存在两正数
中定义的任意两种范数对性质
的一致连续函数。
是分量则向量范数设性质
。有对任意性质,
向量范数性质
等价性质,
??
?
??
?
?
??
??
?
????
??
??
??
n
i
ii
ni
n
i
i
xxx
nn
n
n
n
xx
xxx
xxx
xxx
1
1
1
1
2
1
11
|||}{|m a x||||||
1
||||
1
:
||||||||||||)3
||||||||||||)2
||||||||||||
1
)1
例如
向量的收敛性
*)(
*
*
*)(
*
**
2
*
1
*)()(
2
)(
1
)(
)(
||||}{
0||||lim
lim
,}{
),.,,,2,1(lim
),.,,,,(,},.,,,,{
,.,, ),2,1}({3, 4, 2
xx
xx
xx
xx
xx
x
k
k
k
k
k
k
i
k
i
k
nT
n
Tk
n
kkk
kn
nixx
Rxxxxxx
kR
收敛到依范数则称向量序列
如果有
记作依次收敛到则称向量序列
满足如果存在
其中中一向量序列设定义
?
??
?
??
???
?
??
??
??
),.,,2,1(lim
0m a xlim0||||lim
||||
}{
,.,, )2,1}({1.4.3
*)(
)(
1
*
*
)(*
)(
nixx
xx
k
i
k
i
k
i
k
i
nik
k
k
k
k
xx
x
xx
x
???
?????
?
?
??
????
?
??
）（
事实上由
。收敛到数
依范的充分必要条件是坐标收敛到
依向量序列定理
3.4.2 矩阵范数
的一种范数。为则称
，，相容性：
三角不等式：
，奇次性：
时，，当且仅当非负性
且满足应于一非负实数
若按某一确定的法则对设任意定义
nn
nn
nn
nn
RA
RBABAAB
RBABABA
RkAkkA
AAA
A
RA
?
?
?
?
???
?????
??
???
?
||||
,)4;,||,||||||||||)3;||||||||||)2;0||||00||:||)1
:||,||
,3.4.3
相容范数
是相容的。与此向量范数则称该矩阵范数
如果的一种范数
和分别为设定义
||||||||
||||||||||||
,
||||||,||4.4.3
xA
xAAx
RRAx
nnn
?
?
算子范数
且称其为算子范数。上的矩阵范数为
则定义向量范数
上并在设定理
,
||||m a x
||||
||||
m a x||||
||,||
,,2.4.3
1||||0
nn
xx
nnnn
R
Ax
x
Ax
A
x
RRARx
?
??
?
??
??
算子范数
。只有可能，因为则若
显然成立，
定义的四个条件。所以下面只要验证范数
的一个对应法则。到定义了所以
上一定能达到最大值在有界闭集
的连续性知，证明：由向量范数
0,00||||,0||||
0
||||
||||
m a x||||)1
||||
}1{
||||||||
0
????
??
?
?
?
?
?
AAA
A
A
RRAA
AA
xx
x
x
xx
xx
x
nn
|||||| )||||(||
|||| |||||||| ||||||||||)(||
|||| ||||||||
||||
||||
m a x||||)3
|||| ||
||||
|||| ||
m a x
||||
||||
m a x||||)2
0
00
x
xxxxx
xxx
x
x
x
x
x
x
BA
BABABA
RAA
A
A
Ak
AkkA
kA
n
x
xx
??
?????
???
???
?
??
于是
，则由
算子范数
1||||m a x||||
,,
||||| |||||||
||||||||
||||
||)(||
m a x||||
||||||||
||||
||)(||
0
1
0
??
?
??
?
??
??
?
?
?
?
?
x
x
I
x
I
IR
BAAB
BA
x
xBA
BA
BA
x
xBA
nn
x
则为单位矩阵中任何矩阵算子范数对推论
。同理可证
即
有所以对
常见的矩阵范数
?
?
?
??
?
???
?
?
???
??
??
??
???
n
j
ij
ni
T
n
i
ij
nj
p
nnn
nnij
aA
AAA
aA
p
RRaA
x
x
1
1
m a x2
11
1
||m a x||||
)(||||2
||||||1
),2,1(
,)(3.4.3
m a x
范数：
范数：
范数：
相容的矩阵范数是则于向量范数
，设矩阵定理
?
常见的矩阵范数
。则非奇异又若
则为对称矩阵设推论
里德范数。为矩阵的谱范数或欧几
为矩阵的行范数，为矩阵的列范数，一般称
范数：
||)(||||||,
|,)(|||||,
)(
1
m i n2
1
m a x2
2
1
2
1
1 1
2
AAA
AAA
A
AA
aAF
n
j
n
i
ij
F
??
?
? ?
?
?
?? ? ?
?
?
对称矩阵范数
||)(||||)(||||||
)()(0,)(
|)(|||||
|)(|)()(||||
1
m i n
1
m a x2
1
1-1
m a x2
2
m a x
2
m a xm a x
2
2
AAA
AAAA
AA
AAAAA
AA
T
T
???
?
??
??
?
???
?
??
???
?
???
得由非奇异，则又因为
所以有
知证明：由
例题
5]4)2()1(2[||||
8 4 4.44 6 6.23||||5 3 4.1,4 6 6.23
0
1710
108
||
1710
108
42
12
41
22
6}4|2||,1|2m a x {||||
5}4|1||,2|2m a x {||:||
||||),2,1(||||,
42
12
1.4.3
2
1
2222
221
1
???????
????
?
?
?
??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??????
??????
??
?
?
?
?
?
?
?
?
?
?
?
?
F
T
T
Fp
A
A
AAI
AA
A
A
ApAA
。，故解得
由
因为
解
及求设矩阵例
??
?
?
?
3.4.3 矩阵的谱半径和矩阵序列收敛性
关系。的任何一种范数有某种但可能与
的一种范数不是的谱半径矩阵
的谱半径。为矩阵
则称征值
的特为矩阵设定义
A
AAA
A
A
A,.,,,n ),(iλ
i
ni
i
,)(
|}{|m a x)(
,
215.4.3
1
?
??
??
?
?
例题
33)(
33,33
0
42
12
||||
42
12
21
??
????
?
?
?
??
?
?
?
?
?
?
?
?
?
A
AI
A
?
??
?
?
?
所以
。特征值
得：解：由
的谱半径。求矩阵
谱半径和矩阵序列的收敛性
。的任意性，有由
，故有由于
则的任一特征对，即为矩阵）设（证明
。则若
的任意一种算子范数为这里
则设定理
AA
A
AA
AA
AAAA
AAAA
RA
x
xxxx
xxx
T
nn
??
??
???
?
??
?
?
?
}m a x {)(
0
,,1
||||)(,)2(;||||||,||)()1(
,4.4.3
2
???
?
??
??
?
?
??
?
?
?
??
??
?
?
???
????
?
?
?
?
?
?
?
?
?
???
?
?
)(
,5.3.3
||||)(5||||,8 4 4.4||||
,6||||,5||||,33)(,
42
12
)(|)(|||||)2(
*
*
2
2
m a x2
AA
RA
AAAA
AAAA
AAAAA
nn
pF
T
，满足则必存在算子范数
为任意指定的小正数，设定理
。，所以
显然
。，故因为
矩阵序列的收敛性
。收敛于依范数则称矩阵序列
如果
记作收敛到矩阵则称矩阵序列
如果及矩阵
设矩阵序列定义
AA
AA
AA
AA
njiaa
aA
kaA
k
k
k
k
k
k
ij
k
ij
k
nnij
nn
k
ijk
||||}{
0||||lim
lim
,}{
),.,,,2,1,(lim
,)(
),,.,,,2,1()(6.4.3
)(
)(
?
??
?
??
?
??
??
??
??
?
?
。的充分必要条件是
则设定理
。收敛于矩阵依范数
的充分必要条件是收敛到矩阵
，矩阵序列与向量序列收敛性类似
1)(
0lim,6.3, 4
}{
),.,,,2,1(
}{
?
?
??
?
?
?
?
A
k
A
k
RA
AA
Ank
A
nn
k
k
?
3.5 病态方程组与矩阵的条件数
。该方程组的精确解为解
什么样的变化
解将产生项有微小扰动试分析系数矩阵和右端
设线性方程组例
T
x
x
x
)1,1(
,
97.1
99.1
98.099.0
99.01
1.5.3
2
1
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
3.5.1 病态方程组与扰动方程组的误差分析
T
x
xx
xx
x
x
A
)5.48,50(
97.198.099.0
99.199.00 0 0 1.1
97.1
99.1
98.099.0
99.00 0 0 1.1
00
00 0 0 1.0
)1(
~
21
21
2
1
??
?
?
?
??
??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??
，解得所以
即
动设系数矩阵有微小的扰
病态方程组与扰动方程组的误差分析
T
x
b
x
x
)99.0,97.2(
9 7 0 1.1
9 8 9 9.1
98.099.0
99.01
0 0 0 1.0
0 0 0 1.0
)2(
~
2
1
??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
? ?
??
解得
则
若右端有微小变动
病态方程组与扰动方程组的误差分析
T
)3(
~
2
1
)005.148,5.148(
0197.1
9989.1
98.099.0
99.00001.1
,,,
??
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
?
?
?
??
x
b
x
x
AbA
解得
则扰动若同时对
病态方程组与扰动方程组的误差分析
。）（
，）（；）（
现计算相对误差：
，
0 0 5.1 4 9
||||
||||
3;99.1
||||
||||
105
||||
||||
2
5.49
||||
||||
105
||||
||||
1
321
)3(
~
)2(
~
5
)1(
~
5
?
?
?
?
??
?
?
?
??
?
???
?
?
?
??
?
?
?
??
?
?
x
x
x
xb
x
x
xxx
A
A
A
,,iΔ
( i )
~
( i )
~
病态方程组与扰动方程组的误差分析
样的方程为病态方程。
称这解发生很大的变化有微小变化时
阵和右端项显然上述方程在系数矩
,,
病态方程组
? 扰动方程
由于计算机字长限制，在解 AX=b时，
舍入误差是不可避免的。因此我们只能得
出方程的近似解 。
是方程组（ A+△ A） x=b+ △ b (1)
~x
~x
在没有舍入误差的解。称方程（ 1）为方
程 Ax=b的扰动方程。其中 △ A,△ b为
由舍入误差所产生的扰动矩阵和扰动向
量。当△ A,△ b的微小扰动，解得（ 1）
的解与 Ax=b的解 x的相对误差不大称为
良态方程，否则为病态方程。
扰动方程组的误差界
。所以得
又因为
从而
有由
既有一个扰动
产生则解有一个小的扰动中设
，
b
b
x
x
xb
bx
bxbx
bbxx
x
xbbbx
AA
A
A
AA
A
A
?
?
?
?
???
????
?????
?
??
?
?
?
1
1
1
||||
||||
)(
)1(,
。所以得
从而
有由
既有一个扰动
产生则解有一个小的扰动中设
，
A
A
AA
AA
AAA
AA
AAA
x
x
xxx
xxxbx
bxx
x
xbx
?
?
?
?????
???????
?????
?
??
?
?
?
1
1
1
||||
||||
)(
))((
)2(,
。
时得当
从而
即
有由
既有一个扰动
产生则解都有一个小扰动时和中设
，
)(
1
||||
1
||||||||
)(
))((
)3(
1
1
1
111
11
,
A
A
A
A
AA
AA
AA
AAAAA
AAAAA
AAAA
AA
bAA
b
b
x
x
xbxx
xbxx
xbxbx
bbxx
x
xbx
?
?
?
?
?
?
?
??
????????
????????
????????
???????
?
?
?
?
?
???
??
||||
||||
||||
||||
)(1
)(
||||
||||
0
||||
||||
)(
||||
||||
0||
)
||||
||||
||||
||||
(
||||
||||
)(1
)(
||||
||||
||,|| ||||)(,1||||||||
,)(
1.5.3
11
~
A
A
A
A
Ac o n d
Ac o n d
x
x
b
b
b
Ac o n d
x
x
A
b
b
A
A
A
A
Ac o n d
Ac o n d
x
x
AAAc o n dAA
AAxxx
bAxxRA
bbx
nn
?
?
?
?
?
??
?
?
?
??
?
?
?
?
?
?
?
???
????????
??
??
?
时当
时当
则如果
的解是扰动方程组精确解。
的是方程组且非奇异。设定理
3.5.2 矩阵的条件数
.
)(;AA
AAC o n d ( A)
RA1.5.3
2
1
2
1-
bx
的谱条件数关于方程组为矩阵
称的条件数关于线性方程组为矩阵
为非奇异矩阵，称设定义
bAxA
AAAK
nn
?
?
?
?
?
?
?
为病态方程组。
称解的相对误差也大，则大时如果
谓良态方程组；的相对误差也小，则称
解相对较小时如果与条件数相关
解的相对误差直接线性方程组
bAx
A
bAx
A
bAx
?
?
?
,)c o n d (
,)(c o n d,
矩阵的条件数的性质
。且为正交矩阵性质
。其中则性质
为非零常数。性质
。性质
)()()(,1)(,4
|)(||,)(|,
||
||
)(3
)(c o n d)(c o n d2
1)(c o n d1
m i nm a x1
1
AKAPKPAKPKP
AAAkAA
cAcA
A
n
n
T
???
????
?
?
????
?
?
相对误差的事后估计
? 定理 3.6.3
误差越小。
越小误差越大；则
。则残余向量
的解，记是扰动方程组精确解，
的是方程组且非奇异设
,)(
||||
||||
,1)(
||||
||)(||
)(
||||
||||
||||
||)(||
)(
1
)(
)1(
,
~~
~~
~
Ac o n d
x
x
Ac o n d
b
xr
Ac o n d
x
x
b
xr
Ac o n d
xAbxr
xxx
bAxxRA
nn
?
??
?
?
?
??
???
??
?
例题
是病态方程。所以方程
由于
因为系数矩阵
例
bAx
AkA
A
n
?
????
??
?
?
?
?
?
?
?
13 9 6 0 1
0 0 0 5.0
9 8 0 2 5.1
||
||
)()(c o n d
98.099.0
99.01
1.5.3
1
2
?
?
3.6 解线性方程组的迭代法
fGxx
。RRRA
bAx
x
bbx
nnnn
??
????
?
?
写成等价方程组将类似非线性方程迭代法
有唯一解由线性方程组理论知式
且且非奇异其中
设线性方程组
)1.6.3(
。)1.6.3(
0,,,
)1.6.3(
*
3.6.1 解线性方程组迭代法概述
），（
作任取初始向量
.,,2,1,0
.,,,,,
)()1(
)1()2(
)0()1(
)0(
???
??
??
?
kG
G
G
fxx
fxx
fxx
x
kk
解线性方程组迭代法概述
的解。也是
的解，同时为方程组即
则
或
即
是收敛的若向量序列
bAx
G
G
fxxx
fxx
xx
xx
x
k
k
k
k
k
?
??
??
??
?
??
??
*
**
*)(
*)(
)(
0||||lim
lim
}{
解线性方程组迭代法概述
。其中，
所以
即
改写为则方程非奇异其中令
唯一解设方程组综上所述
bMfNM
fGxx
NM
NM
MNMA
xxx
bxx
bx
x
n
11
T**
2
*
1
*
,G
)2.6.3(
)(
)1.6.3(,,
),.,,,,(
)1.6.3(:
??
??
??
??
??
??
?
解线性方程组迭代法概述
的解。组
为方程是收敛的，且则称迭代格式
若
的右端得代入方程
任取初始向量
)1.6.3(
)3.6.3(
lim
)3.6.3(,.,, )2,1,0(
)2.6.3(
),.,,,,(
*
*)(
)()1(
0)0(
2
)0(
1
)0(
x
kG
xxx
xx
fxx
x
k
k
kk
T
n
?
???
?
??
?
3.6.2 Jacobi迭代法和 Gauss-Seidel迭代法
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??
??
??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??
nnnn
n
n
nnn
nnnnnn
n
n
ii
b
b
b
x
x
x
aa
aa
aa
x
x
x
a
a
a
b
b
b
x
x
x
aaa
aaa
aaa
niaA
.,,.,,
0.,,
.,,.,,.,,.,,
.,,0
.,,0
.,,
.,,.,,.,,
.,,.,,.,,.,,
.,,.,,.,,
.,,.,,.,,
)1.6.3(
.,,.,,
.,,
.,,.,,.,,.,,
.,,
.,,
),.,,,2,1(0
2
1
2
1
21
221
112
2
1
22
11
2
1
2
1
21
22221
11211
将其改写成
为非奇异矩阵且设
Jacobi迭代法
),.,,,2,1(/)(
,
2
1
0.,,.,,
.,,0
.,,0
2
1
1
22
2
11
1
1
22
2
22
21
11
1
11
12
?
?
???
??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??
??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
n
j
iijijii
J
nn
n
nn
n
n
n
niaxabx
G
a
b
a
b
a
b
n
x
x
x
a
a
a
a
a
a
a
a
a
a
n
x
x
x
fxx 其分量形式得
则
?
?
???
?
Jacobi迭代法
迭代法。称其为
为：而迭代序列的分量形式
其迭代序列
Ja c b i
,.,,,2,1/)(
,.,,2,1,0
1
)(1
)()1(
?
?
?
?
?
???
???
n
ij
j
ii
k
jiji
)(k
i
k
J
k
niaxabx
kfxGx
例题
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??
??
??
0
5
2
5
1
10
1
0
10
2
10
1
10
2
0
10
15
3
521
1102
1210
J a c b i1.6.3
3
2
1
J
G
x
x
x
解：因为迭代矩阵为
迭代法解线性方程组试用例
例题
T)11(
T)0(
)(
2
)(
1
)1(
3
)(
3
)(
1
)1(
2
)(
3
)(
2
)1(
1
3
2
1
3
2
1
)0 0 0 0.3,0 0 0 0.2,0 0 0 0.1(
11)0,0,0(
,.,,1,0
21.02.0
5.11.02.0
3.01.02.0
2
5.1
3.0
04.02.0
1.002.0
1.02.00
?
?
?
?
?
?
?
?
???
???
???
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
x
x
k
xxx
xxx
xxx
x
x
x
x
x
x
kkk
kkk
kkk
次有迭代到第取
其迭代格式
原方程改写为
Jacobi迭代法的矩阵形式
bf
J o c b ibxx
bxxbx
DULDG
DULD
ULDULD
ULD
a
aa
aa
a
a
a
a
A
J
nn
n
nnnn
11
11
1
112
21
2122
11
,)(
)(
)(,)(
0
......0
...0
0...
......
0
0
??
??
?
???
???
??????
???
?
?
?
?
?
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
迭代矩阵为，因此所以
即故有
???
Jacobi迭代法的算法
慢。算法的缺点：收敛速度
。返回、
停机；输出、如果
、计算
、输入初始向量
、输入
3),,.,,,2,1(5
),,.,,,2,1(||m a x4
);,.,,,2,1(/)(3
);,.,,,2,1(2;),,.,,,2,1(),,.,,,2,1,(1
1
,1
niyx
niyxy
niaxaby
nix
nibnjia
ii
iii
ni
ii
n
ijj
jijii
i
iij
??
???
???
?
??
??
??
?
?
?
Gauss-Seidel迭代法
。得，，步由第
依此类推；得同理由步第；代入迭代公式得由步第；由迭代公式解得步第
设初值
迭代法进行修正对
)1()0()1(
1
)1(
3
)1(
2
)1(
1
)1(
3
)0()0(
3
)1(
2
)1(
1
)1(
2
)0()0(
2
)1(
1
)1(
1
)0()0(
2
)0(
1
,...,,
,.,,,,,3
,.,,,,2
1
,.,,,,
J a c o b i
nnn
n
n
n
xxxxxxn
xxxxx
xxxx
x
xxx
?
Gauss-Seidel迭代法
bf
bxx
bxx
bxxx
LDULDG
LDULD
ULD
ULD
knixaxab
a
x
ss
kkk
i
j
n
ij
k
jij
k
jiji
ii
k
i
11
11
)()1()1(
1
1 1
)()1()1(
)()(
S e id e lG a u s s
)()(
)(
,.,, )1,0(),.,,,2,1()(
1
??
??
??
?
? ??
??
????
?
????
???
???
????? ? ?
，
迭代矩阵为因此
故有
所以
矩阵形式：由于
故将迭代法改写成
例题
迭代法收敛速度快。显然，
次得，迭代到第取初值
由解：
法求线性方程组用例
SG
xxx
xxx
xxx
x
x
kkk
kkk
kkk
?
?
?
?
?
?
?
?
???
???
???
?
???
??
?
T)6(
T)0(
)1(
2
)1(
1
)1(
3
)(
3
)1(
1
)1(
2
)(
3
)(
2
)1(
1
)0 0 0.3,0 0 0.2,0 0 0.1(
6)0,0,0(
24.02.0
5.11.02.0
3.01.02.0
S e id e lG a u s s1.6.3
Gauss-Seidel迭代法的算法
。停机；否则返回输出、如果；
做、对
、输入初始向量
、输入
3),,.,,,2,1(|}{|m a x4;)3;)2
/)()1
,.,,,2,13
);,.,,,2,1(2;),,.,,,2,1(),,.,,,2,1,(1
1
,1
nixe
yx
xye
axby
ni
nix
nibnjia
ii
ni
ii
iii
ii
n
ijj
iii
i
iij
??
?
??
??
?
?
??
??
??
?
?
?
3.6.3 线性方程组迭代法收敛条件
1)(
}{
),.,,,,(
,
(1.6.3
*)(
T)0()0(
2
)0(
1
)0(
?
?
???
G
xxx
GA
xx
x
fxxbx
k
n
?
的充要条件是收敛到方程组的解
所产生的解向量序列向量
对任意的初始的迭代格式组
线性方程迭代法收敛基本定理）定理
迭代法的收敛条件
不收敛。不能肯定即不是必要条件
收敛。但该条件所以这是因为
。收敛）所产生的序列则由式（若
出一个充分条件。
此我们给是一件很困难的事。因由于求
}{1||||,
}{,1||||)(
}{3.3, 6,1||||
)(
)(
)(
)(
k
k
k
xG
xGG
xG
G
?
??
?
?
?
迭代法的收敛条件
迭代法收敛。；迭代法收敛
迭代法收敛。；迭代法收敛
由此得出
SGG
GSG
G
G
S
S
J
J
???
???
??
??
1||||
1)(
J a c o b i1||||
1)(J a c o b i
?
?
迭代法的误差估计
)14.6.3(||||
||||1
||||
||||
)13.6.3(||||
||||1
1
||||
||||1
||||
||||
,
}{3.3, 6
,1
)0()1(*)(
)1()(
)1()(*)(
*
)(
xxxx
xx
xxxx
x
x
G
G
G
G
G
G
k
k
kk
kkk
k
?
?
??
?
?
?
?
?
??
??
?
?
且有估计到方程组的解
必收敛）产生的向量序列则迭代格式（
有数如果对于任一种矩阵范推论
迭代法的误差估计
||||
||||1
||||
||||
||||||||||||||||
|||| ||||
|||| ||||||||||||
)1()(*)(
*)()()1(
*)()()1(
*)1(*)1(*)(
**)1()(
?
?
?
??
?
?
?
??
????
????
?????
????
kkk
kkk
kkk
kkk
kk
xx
G
G
xx
xxGxxG
xxxxG
xxGGxGxxx
GG fxxfxx
所以
两式相减取范数
，因为证明
迭代法的误差估计
)0()1(
)1()(*)(
)0()1(1
)3()2(2
)2()1()1()(
||||1
||||
||||
||||1
||||
||||
||||||||
.,,,,,
||||||||
|||| ||||||||
xx
xxxx
xx
xx
xxxx
G
G
G
G
G
G
G
k
kkk
k
kk
kkkk
?
?
?
?
?
??
??
??
???
?
?
??
???
所以
因为
收敛的判别条件
理。具有某些特性的判定定常给出系数矩阵
很难求，因此，目前由于迭代矩阵的谱半径
估计迭代次数。）为事前估计，是预先而式（
的停机标准）为事后估计，是计算式（
A
14.3, 6;13.3, 6
收敛的判别条件
。按行严格对角占优矩阵则称成立
弱对角占优。若
按行则称矩阵式成立且至少有一个严格不等
满足设矩阵定义
A
niaa
A
niaa
aA
n
ijj
ijii
n
ijj
ijii
nnij
,
),.,,,2,1(||||
,
),.,,,2,1(||||
)(1.6.3
,1
,1
?
?
??
??
?
??
??
?
收敛的判别条件
迭代法均收敛。迭代法和则
阵，即为按列严格对角占优矩设矩阵定理
迭代法均收敛。迭代法和
为非奇异矩阵；
阵，则为按行严格对角占优矩设矩阵定理
S e id e lG a u ssJc o b i
),.,,,2,1(
3.6.3
S e id e lG a u ssJc o b i)2
)1
2.6.3
1
?
??
?
?
?
?
njaa
A
A
A
n
ji
i
ijjj
收敛的判别条件
为不可约矩阵。可约矩阵，否则称
为，则称（其中，
使如果存在排列矩阵设矩阵定义
迭代法收敛。
为对称正定矩阵，则设定理
A
AnrRARA
A
AA
APP
PRA
A
rnrnrr
T
nn
)11,
0
2.6.3
S e id e lG a u ss4.3, 6
)()(
2211
22
1211
?????
?
?
?
?
?
?
?
?
?
????
?
收敛的判别条件
法均收敛。
迭代迭代法和
为非奇异矩阵；
优矩阵，则
为不可约弱对角占设矩阵定理
S e id e lG a u s sJc o b i)2
)1
5.6.3
?
A
A
例题
ULD
a
a
a
aA
aa
a
aa
a
A
bAx
???
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
000
00
00
00
00
000
100
010
001
:
J a c o b i,,
10
1
01
1
因为解
迭代法收敛？为何值时问为参数其中
的系数矩阵设线性方程组例
例题
||2)(
||2,00)2(
0
0
0
||
00
0
00
)(
J a c o b i
3,21
22
1
aG
aa
a
aa
a
GE
a
aa
a
ULDG
J
J
J
?
?????
???
?
?
?
?
?
?
?
?
?
?
?
??
?
???
?
?
????
?
?
?
?
故
，，解得即
由
迭代矩阵为所以
例题
显然充分条件弱。
若用充分条件
法收敛。时，即当所以
2
1
2
1
2
1
||1||2||||
2
2
2
2
2
2
||
????????
????
?
aaaG
Jaa
J
例题
法收敛。法和故是严格对角占优矩阵，即
，，解：因为
法的收敛性。法和的判断解
的系数矩阵设例
SGJA
a
aa
SGJA
A
A
bx
bx
?
?????
??????????
??
?
?
?
?
?
?
?
?
?
?
??
??
??
?
?
|2||1|15||
|1||2|10|||1||2|10||
521
1102
1210
2
33
2211
? 为了研究线性方程组近似解的误差估计
和迭代法的收敛性，我们需要对 Rn(n维
向量空间 )中的向量或 Rnxn中矩阵的“大
小”引入一种度量,——向量和矩阵的范
数。
向量和矩阵的范数
? 在一维数轴上，实轴上任意一点 x到
原点的距离用 |x|表示。而任意两点 x1，
x2之间距离用 | x1-x2 |表示。
向量和矩阵的范数
? 而在二维平面上，平面上任意一点 P(x,y)到
原点的距离用 表示。而平面上
任意两点 P1(x1,y1),P2(x2,y2)的距离用
表示。 推广到 n维空间，则称为向量范数。
||22 OPyx ??
2
21
2
2121 )()(|| yyxxPP ????
向量范数
的范数。为向量则称
，
都有三角不等式：对任意
奇次性：
时，，当且仅当非负性：
且满足法则对应于一非负实数
按某一确定的设任一向量
xx
R
Rkkk
R
yxyx
yx
xx
xxx
x
x
n
n
||||
||||||||||||
,,)3;||,|| ||||||)2;0||||00||||)1
:||,||
,3, 4, 1定 义
???
?
??
???
?
常见的向量范数
|}{|m a x||||
)(),()||(||||
||||||
),.,,,,(
1
2
1
2
1
2
1
1
2
2
1
1
21
i
ni
T
n
i
i
n
i
i
T
n
x
x
x
xxx
x
xxxxx
x
x
??
?
?
?
?
???
?
?
?
?
设向量
向量范数性质
n
n
n
n
n
RMm
Mm
xxx
R
R
xxxx
xx
yxyxyx
????
??
?
????
???
??
||||||||||||
,,
,||||,||||R3
,.,,,,
||||,2
1
21
使得则必存在两正数
中定义的任意两种范数对性质
的一致连续函数。
是分量则向量范数设性质
。有对任意性质,
向量范数性质
等价性质,
??
?
??
?
?
??
??
?
????
??
??
??
n
i
ii
ni
n
i
i
xxx
nn
n
n
n
xx
xxx
xxx
xxx
1
1
1
1
2
1
11
|||}{|m a x||||||
1
||||
1
:
||||||||||||)3
||||||||||||)2
||||||||||||
1
)1
例如
向量的收敛性
*)(
*
*
*)(
*
**
2
*
1
*)()(
2
)(
1
)(
)(
||||}{
0||||lim
lim
,}{
),.,,,2,1(lim
),.,,,,(,},.,,,,{
,.,, ),2,1}({3, 4, 2
xx
xx
xx
xx
xx
x
k
k
k
k
k
k
i
k
i
k
nT
n
Tk
n
kkk
kn
nixx
Rxxxxxx
kR
收敛到依范数则称向量序列
如果有
记作依次收敛到则称向量序列
满足如果存在
其中中一向量序列设定义
?
??
?
??
???
?
??
??
??
),.,,2,1(lim
0m a xlim0||||lim
||||
}{
,.,, )2,1}({1.4.3
*)(
)(
1
*
*
)(*
)(
nixx
xx
k
i
k
i
k
i
k
i
nik
k
k
k
k
xx
x
xx
x
???
?????
?
?
??
????
?
??
）（
事实上由
。收敛到数
依范的充分必要条件是坐标收敛到
依向量序列定理
3.4.2 矩阵范数
的一种范数。为则称
，，相容性：
三角不等式：
，奇次性：
时，，当且仅当非负性
且满足应于一非负实数
若按某一确定的法则对设任意定义
nn
nn
nn
nn
RA
RBABAAB
RBABABA
RkAkkA
AAA
A
RA
?
?
?
?
???
?????
??
???
?
||||
,)4;,||,||||||||||)3;||||||||||)2;0||||00||:||)1
:||,||
,3.4.3
相容范数
是相容的。与此向量范数则称该矩阵范数
如果的一种范数
和分别为设定义
||||||||
||||||||||||
,
||||||,||4.4.3
xA
xAAx
RRAx
nnn
?
?
算子范数
且称其为算子范数。上的矩阵范数为
则定义向量范数
上并在设定理
,
||||m a x
||||
||||
m a x||||
||,||
,,2.4.3
1||||0
nn
xx
nnnn
R
Ax
x
Ax
A
x
RRARx
?
??
?
??
??
算子范数
。只有可能，因为则若
显然成立，
定义的四个条件。所以下面只要验证范数
的一个对应法则。到定义了所以
上一定能达到最大值在有界闭集
的连续性知，证明：由向量范数
0,00||||,0||||
0
||||
||||
m a x||||)1
||||
}1{
||||||||
0
????
??
?
?
?
?
?
AAA
A
A
RRAA
AA
xx
x
x
xx
xx
x
nn
|||||| )||||(||
|||| |||||||| ||||||||||)(||
|||| ||||||||
||||
||||
m a x||||)3
|||| ||
||||
|||| ||
m a x
||||
||||
m a x||||)2
0
00
x
xxxxx
xxx
x
x
x
x
x
x
BA
BABABA
RAA
A
A
Ak
AkkA
kA
n
x
xx
??
?????
???
???
?
??
于是
，则由
算子范数
1||||m a x||||
,,
||||| |||||||
||||||||
||||
||)(||
m a x||||
||||||||
||||
||)(||
0
1
0
??
?
??
?
??
??
?
?
?
?
?
x
x
I
x
I
IR
BAAB
BA
x
xBA
BA
BA
x
xBA
nn
x
则为单位矩阵中任何矩阵算子范数对推论
。同理可证
即
有所以对
常见的矩阵范数
?
?
?
??
?
???
?
?
???
??
??
??
???
n
j
ij
ni
T
n
i
ij
nj
p
nnn
nnij
aA
AAA
aA
p
RRaA
x
x
1
1
m a x2
11
1
||m a x||||
)(||||2
||||||1
),2,1(
,)(3.4.3
m a x
范数：
范数：
范数：
相容的矩阵范数是则于向量范数
，设矩阵定理
?
常见的矩阵范数
。则非奇异又若
则为对称矩阵设推论
里德范数。为矩阵的谱范数或欧几
为矩阵的行范数，为矩阵的列范数，一般称
范数：
||)(||||||,
|,)(|||||,
)(
1
m i n2
1
m a x2
2
1
2
1
1 1
2
AAA
AAA
A
AA
aAF
n
j
n
i
ij
F
??
?
? ?
?
?
?? ? ?
?
?
对称矩阵范数
||)(||||)(||||||
)()(0,)(
|)(|||||
|)(|)()(||||
1
m i n
1
m a x2
1
1-1
m a x2
2
m a x
2
m a xm a x
2
2
AAA
AAAA
AA
AAAAA
AA
T
T
???
?
??
??
?
???
?
??
???
?
???
得由非奇异，则又因为
所以有
知证明：由
例题
5]4)2()1(2[||||
8 4 4.44 6 6.23||||5 3 4.1,4 6 6.23
0
1710
108
||
1710
108
42
12
41
22
6}4|2||,1|2m a x {||||
5}4|1||,2|2m a x {||:||
||||),2,1(||||,
42
12
1.4.3
2
1
2222
221
1
???????
????
?
?
?
??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??????
??????
??
?
?
?
?
?
?
?
?
?
?
?
?
F
T
T
Fp
A
A
AAI
AA
A
A
ApAA
。，故解得
由
因为
解
及求设矩阵例
??
?
?
?
3.4.3 矩阵的谱半径和矩阵序列收敛性
关系。的任何一种范数有某种但可能与
的一种范数不是的谱半径矩阵
的谱半径。为矩阵
则称征值
的特为矩阵设定义
A
AAA
A
A
A,.,,,n ),(iλ
i
ni
i
,)(
|}{|m a x)(
,
215.4.3
1
?
??
??
?
?
例题
33)(
33,33
0
42
12
||||
42
12
21
??
????
?
?
?
??
?
?
?
?
?
?
?
?
?
A
AI
A
?
??
?
?
?
所以
。特征值
得：解：由
的谱半径。求矩阵
谱半径和矩阵序列的收敛性
。的任意性，有由
，故有由于
则的任一特征对，即为矩阵）设（证明
。则若
的任意一种算子范数为这里
则设定理
AA
A
AA
AA
AAAA
AAAA
RA
x
xxxx
xxx
T
nn
??
??
???
?
??
?
?
?
}m a x {)(
0
,,1
||||)(,)2(;||||||,||)()1(
,4.4.3
2
???
?
??
??
?
?
??
?
?
?
??
??
?
?
???
????
?
?
?
?
?
?
?
?
?
???
?
?
)(
,5.3.3
||||)(5||||,8 4 4.4||||
,6||||,5||||,33)(,
42
12
)(|)(|||||)2(
*
*
2
2
m a x2
AA
RA
AAAA
AAAA
AAAAA
nn
pF
T
，满足则必存在算子范数
为任意指定的小正数，设定理
。，所以
显然
。，故因为
矩阵序列的收敛性
。收敛于依范数则称矩阵序列
如果
记作收敛到矩阵则称矩阵序列
如果及矩阵
设矩阵序列定义
AA
AA
AA
AA
njiaa
aA
kaA
k
k
k
k
k
k
ij
k
ij
k
nnij
nn
k
ijk
||||}{
0||||lim
lim
,}{
),.,,,2,1,(lim
,)(
),,.,,,2,1()(6.4.3
)(
)(
?
??
?
??
?
??
??
??
??
?
?
。的充分必要条件是
则设定理
。收敛于矩阵依范数
的充分必要条件是收敛到矩阵
，矩阵序列与向量序列收敛性类似
1)(
0lim,6.3, 4
}{
),.,,,2,1(
}{
?
?
??
?
?
?
?
A
k
A
k
RA
AA
Ank
A
nn
k
k
?
3.5 病态方程组与矩阵的条件数
。该方程组的精确解为解
什么样的变化
解将产生项有微小扰动试分析系数矩阵和右端
设线性方程组例
T
x
x
x
)1,1(
,
97.1
99.1
98.099.0
99.01
1.5.3
2
1
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
3.5.1 病态方程组与扰动方程组的误差分析
T
x
xx
xx
x
x
A
)5.48,50(
97.198.099.0
99.199.00 0 0 1.1
97.1
99.1
98.099.0
99.00 0 0 1.1
00
00 0 0 1.0
)1(
~
21
21
2
1
??
?
?
?
??
??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??
，解得所以
即
动设系数矩阵有微小的扰
病态方程组与扰动方程组的误差分析
T
x
b
x
x
)99.0,97.2(
9 7 0 1.1
9 8 9 9.1
98.099.0
99.01
0 0 0 1.0
0 0 0 1.0
)2(
~
2
1
??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
? ?
??
解得
则
若右端有微小变动
病态方程组与扰动方程组的误差分析
T
)3(
~
2
1
)005.148,5.148(
0197.1
9989.1
98.099.0
99.00001.1
,,,
??
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
?
?
?
??
x
b
x
x
AbA
解得
则扰动若同时对
病态方程组与扰动方程组的误差分析
。）（
，）（；）（
现计算相对误差：
，
0 0 5.1 4 9
||||
||||
3;99.1
||||
||||
105
||||
||||
2
5.49
||||
||||
105
||||
||||
1
321
)3(
~
)2(
~
5
)1(
~
5
?
?
?
?
??
?
?
?
??
?
???
?
?
?
??
?
?
?
??
?
?
x
x
x
xb
x
x
xxx
A
A
A
,,iΔ
( i )
~
( i )
~
病态方程组与扰动方程组的误差分析
样的方程为病态方程。
称这解发生很大的变化有微小变化时
阵和右端项显然上述方程在系数矩
,,
病态方程组
? 扰动方程
由于计算机字长限制，在解 AX=b时，
舍入误差是不可避免的。因此我们只能得
出方程的近似解 。
是方程组（ A+△ A） x=b+ △ b (1)
~x
~x
在没有舍入误差的解。称方程（ 1）为方
程 Ax=b的扰动方程。其中 △ A,△ b为
由舍入误差所产生的扰动矩阵和扰动向
量。当△ A,△ b的微小扰动，解得（ 1）
的解与 Ax=b的解 x的相对误差不大称为
良态方程，否则为病态方程。
扰动方程组的误差界
。所以得
又因为
从而
有由
既有一个扰动
产生则解有一个小的扰动中设
，
b
b
x
x
xb
bx
bxbx
bbxx
x
xbbbx
AA
A
A
AA
A
A
?
?
?
?
???
????
?????
?
??
?
?
?
1
1
1
||||
||||
)(
)1(,
。所以得
从而
有由
既有一个扰动
产生则解有一个小的扰动中设
，
A
A
AA
AA
AAA
AA
AAA
x
x
xxx
xxxbx
bxx
x
xbx
?
?
?
?????
???????
?????
?
??
?
?
?
1
1
1
||||
||||
)(
))((
)2(,
。
时得当
从而
即
有由
既有一个扰动
产生则解都有一个小扰动时和中设
，
)(
1
||||
1
||||||||
)(
))((
)3(
1
1
1
111
11
,
A
A
A
A
AA
AA
AA
AAAAA
AAAAA
AAAA
AA
bAA
b
b
x
x
xbxx
xbxx
xbxbx
bbxx
x
xbx
?
?
?
?
?
?
?
??
????????
????????
????????
???????
?
?
?
?
?
???
??
||||
||||
||||
||||
)(1
)(
||||
||||
0
||||
||||
)(
||||
||||
0||
)
||||
||||
||||
||||
(
||||
||||
)(1
)(
||||
||||
||,|| ||||)(,1||||||||
,)(
1.5.3
11
~
A
A
A
A
Ac o n d
Ac o n d
x
x
b
b
b
Ac o n d
x
x
A
b
b
A
A
A
A
Ac o n d
Ac o n d
x
x
AAAc o n dAA
AAxxx
bAxxRA
bbx
nn
?
?
?
?
?
??
?
?
?
??
?
?
?
?
?
?
?
???
????????
??
??
?
时当
时当
则如果
的解是扰动方程组精确解。
的是方程组且非奇异。设定理
3.5.2 矩阵的条件数
.
)(;AA
AAC o n d ( A)
RA1.5.3
2
1
2
1-
bx
的谱条件数关于方程组为矩阵
称的条件数关于线性方程组为矩阵
为非奇异矩阵，称设定义
bAxA
AAAK
nn
?
?
?
?
?
?
?
为病态方程组。
称解的相对误差也大，则大时如果
谓良态方程组；的相对误差也小，则称
解相对较小时如果与条件数相关
解的相对误差直接线性方程组
bAx
A
bAx
A
bAx
?
?
?
,)c o n d (
,)(c o n d,
矩阵的条件数的性质
。且为正交矩阵性质
。其中则性质
为非零常数。性质
。性质
)()()(,1)(,4
|)(||,)(|,
||
||
)(3
)(c o n d)(c o n d2
1)(c o n d1
m i nm a x1
1
AKAPKPAKPKP
AAAkAA
cAcA
A
n
n
T
???
????
?
?
????
?
?
相对误差的事后估计
? 定理 3.6.3
误差越小。
越小误差越大；则
。则残余向量
的解，记是扰动方程组精确解，
的是方程组且非奇异设
,)(
||||
||||
,1)(
||||
||)(||
)(
||||
||||
||||
||)(||
)(
1
)(
)1(
,
~~
~~
~
Ac o n d
x
x
Ac o n d
b
xr
Ac o n d
x
x
b
xr
Ac o n d
xAbxr
xxx
bAxxRA
nn
?
??
?
?
?
??
???
??
?
例题
是病态方程。所以方程
由于
因为系数矩阵
例
bAx
AkA
A
n
?
????
??
?
?
?
?
?
?
?
13 9 6 0 1
0 0 0 5.0
9 8 0 2 5.1
||
||
)()(c o n d
98.099.0
99.01
1.5.3
1
2
?
?
3.6 解线性方程组的迭代法
fGxx
。RRRA
bAx
x
bbx
nnnn
??
????
?
?
写成等价方程组将类似非线性方程迭代法
有唯一解由线性方程组理论知式
且且非奇异其中
设线性方程组
)1.6.3(
。)1.6.3(
0,,,
)1.6.3(
*
3.6.1 解线性方程组迭代法概述
），（
作任取初始向量
.,,2,1,0
.,,,,,
)()1(
)1()2(
)0()1(
)0(
???
??
??
?
kG
G
G
fxx
fxx
fxx
x
kk
解线性方程组迭代法概述
的解。也是
的解，同时为方程组即
则
或
即
是收敛的若向量序列
bAx
G
G
fxxx
fxx
xx
xx
x
k
k
k
k
k
?
??
??
??
?
??
??
*
**
*)(
*)(
)(
0||||lim
lim
}{
解线性方程组迭代法概述
。其中，
所以
即
改写为则方程非奇异其中令
唯一解设方程组综上所述
bMfNM
fGxx
NM
NM
MNMA
xxx
bxx
bx
x
n
11
T**
2
*
1
*
,G
)2.6.3(
)(
)1.6.3(,,
),.,,,,(
)1.6.3(:
??
??
??
??
??
??
?
解线性方程组迭代法概述
的解。组
为方程是收敛的，且则称迭代格式
若
的右端得代入方程
任取初始向量
)1.6.3(
)3.6.3(
lim
)3.6.3(,.,, )2,1,0(
)2.6.3(
),.,,,,(
*
*)(
)()1(
0)0(
2
)0(
1
)0(
x
kG
xxx
xx
fxx
x
k
k
kk
T
n
?
???
?
??
?
3.6.2 Jacobi迭代法和 Gauss-Seidel迭代法
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??
??
??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??
nnnn
n
n
nnn
nnnnnn
n
n
ii
b
b
b
x
x
x
aa
aa
aa
x
x
x
a
a
a
b
b
b
x
x
x
aaa
aaa
aaa
niaA
.,,.,,
0.,,
.,,.,,.,,.,,
.,,0
.,,0
.,,
.,,.,,.,,
.,,.,,.,,.,,
.,,.,,.,,
.,,.,,.,,
)1.6.3(
.,,.,,
.,,
.,,.,,.,,.,,
.,,
.,,
),.,,,2,1(0
2
1
2
1
21
221
112
2
1
22
11
2
1
2
1
21
22221
11211
将其改写成
为非奇异矩阵且设
Jacobi迭代法
),.,,,2,1(/)(
,
2
1
0.,,.,,
.,,0
.,,0
2
1
1
22
2
11
1
1
22
2
22
21
11
1
11
12
?
?
???
??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??
??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
n
j
iijijii
J
nn
n
nn
n
n
n
niaxabx
G
a
b
a
b
a
b
n
x
x
x
a
a
a
a
a
a
a
a
a
a
n
x
x
x
fxx 其分量形式得
则
?
?
???
?
Jacobi迭代法
迭代法。称其为
为：而迭代序列的分量形式
其迭代序列
Ja c b i
,.,,,2,1/)(
,.,,2,1,0
1
)(1
)()1(
?
?
?
?
?
???
???
n
ij
j
ii
k
jiji
)(k
i
k
J
k
niaxabx
kfxGx
例题
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??
??
??
0
5
2
5
1
10
1
0
10
2
10
1
10
2
0
10
15
3
521
1102
1210
J a c b i1.6.3
3
2
1
J
G
x
x
x
解：因为迭代矩阵为
迭代法解线性方程组试用例
例题
T)11(
T)0(
)(
2
)(
1
)1(
3
)(
3
)(
1
)1(
2
)(
3
)(
2
)1(
1
3
2
1
3
2
1
)0 0 0 0.3,0 0 0 0.2,0 0 0 0.1(
11)0,0,0(
,.,,1,0
21.02.0
5.11.02.0
3.01.02.0
2
5.1
3.0
04.02.0
1.002.0
1.02.00
?
?
?
?
?
?
?
?
???
???
???
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
x
x
k
xxx
xxx
xxx
x
x
x
x
x
x
kkk
kkk
kkk
次有迭代到第取
其迭代格式
原方程改写为
Jacobi迭代法的矩阵形式
bf
J o c b ibxx
bxxbx
DULDG
DULD
ULDULD
ULD
a
aa
aa
a
a
a
a
A
J
nn
n
nnnn
11
11
1
112
21
2122
11
,)(
)(
)(,)(
0
......0
...0
0...
......
0
0
??
??
?
???
???
??????
???
?
?
?
?
?
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
迭代矩阵为，因此所以
即故有
???
Jacobi迭代法的算法
慢。算法的缺点：收敛速度
。返回、
停机；输出、如果
、计算
、输入初始向量
、输入
3),,.,,,2,1(5
),,.,,,2,1(||m a x4
);,.,,,2,1(/)(3
);,.,,,2,1(2;),,.,,,2,1(),,.,,,2,1,(1
1
,1
niyx
niyxy
niaxaby
nix
nibnjia
ii
iii
ni
ii
n
ijj
jijii
i
iij
??
???
???
?
??
??
??
?
?
?
Gauss-Seidel迭代法
。得，，步由第
依此类推；得同理由步第；代入迭代公式得由步第；由迭代公式解得步第
设初值
迭代法进行修正对
)1()0()1(
1
)1(
3
)1(
2
)1(
1
)1(
3
)0()0(
3
)1(
2
)1(
1
)1(
2
)0()0(
2
)1(
1
)1(
1
)0()0(
2
)0(
1
,...,,
,.,,,,,3
,.,,,,2
1
,.,,,,
J a c o b i
nnn
n
n
n
xxxxxxn
xxxxx
xxxx
x
xxx
?
Gauss-Seidel迭代法
bf
bxx
bxx
bxxx
LDULDG
LDULD
ULD
ULD
knixaxab
a
x
ss
kkk
i
j
n
ij
k
jij
k
jiji
ii
k
i
11
11
)()1()1(
1
1 1
)()1()1(
)()(
S e id e lG a u s s
)()(
)(
,.,, )1,0(),.,,,2,1()(
1
??
??
??
?
? ??
??
????
?
????
???
???
????? ? ?
，
迭代矩阵为因此
故有
所以
矩阵形式：由于
故将迭代法改写成
例题
迭代法收敛速度快。显然，
次得，迭代到第取初值
由解：
法求线性方程组用例
SG
xxx
xxx
xxx
x
x
kkk
kkk
kkk
?
?
?
?
?
?
?
?
???
???
???
?
???
??
?
T)6(
T)0(
)1(
2
)1(
1
)1(
3
)(
3
)1(
1
)1(
2
)(
3
)(
2
)1(
1
)0 0 0.3,0 0 0.2,0 0 0.1(
6)0,0,0(
24.02.0
5.11.02.0
3.01.02.0
S e id e lG a u s s1.6.3
Gauss-Seidel迭代法的算法
。停机；否则返回输出、如果；
做、对
、输入初始向量
、输入
3),,.,,,2,1(|}{|m a x4;)3;)2
/)()1
,.,,,2,13
);,.,,,2,1(2;),,.,,,2,1(),,.,,,2,1,(1
1
,1
nixe
yx
xye
axby
ni
nix
nibnjia
ii
ni
ii
iii
ii
n
ijj
iii
i
iij
??
?
??
??
?
?
??
??
??
?
?
?
3.6.3 线性方程组迭代法收敛条件
1)(
}{
),.,,,,(
,
(1.6.3
*)(
T)0()0(
2
)0(
1
)0(
?
?
???
G
xxx
GA
xx
x
fxxbx
k
n
?
的充要条件是收敛到方程组的解
所产生的解向量序列向量
对任意的初始的迭代格式组
线性方程迭代法收敛基本定理）定理
迭代法的收敛条件
不收敛。不能肯定即不是必要条件
收敛。但该条件所以这是因为
。收敛）所产生的序列则由式（若
出一个充分条件。
此我们给是一件很困难的事。因由于求
}{1||||,
}{,1||||)(
}{3.3, 6,1||||
)(
)(
)(
)(
k
k
k
xG
xGG
xG
G
?
??
?
?
?
迭代法的收敛条件
迭代法收敛。；迭代法收敛
迭代法收敛。；迭代法收敛
由此得出
SGG
GSG
G
G
S
S
J
J
???
???
??
??
1||||
1)(
J a c o b i1||||
1)(J a c o b i
?
?
迭代法的误差估计
)14.6.3(||||
||||1
||||
||||
)13.6.3(||||
||||1
1
||||
||||1
||||
||||
,
}{3.3, 6
,1
)0()1(*)(
)1()(
)1()(*)(
*
)(
xxxx
xx
xxxx
x
x
G
G
G
G
G
G
k
k
kk
kkk
k
?
?
??
?
?
?
?
?
??
??
?
?
且有估计到方程组的解
必收敛）产生的向量序列则迭代格式（
有数如果对于任一种矩阵范推论
迭代法的误差估计
||||
||||1
||||
||||
||||||||||||||||
|||| ||||
|||| ||||||||||||
)1()(*)(
*)()()1(
*)()()1(
*)1(*)1(*)(
**)1()(
?
?
?
??
?
?
?
??
????
????
?????
????
kkk
kkk
kkk
kkk
kk
xx
G
G
xx
xxGxxG
xxxxG
xxGGxGxxx
GG fxxfxx
所以
两式相减取范数
，因为证明
迭代法的误差估计
)0()1(
)1()(*)(
)0()1(1
)3()2(2
)2()1()1()(
||||1
||||
||||
||||1
||||
||||
||||||||
.,,,,,
||||||||
|||| ||||||||
xx
xxxx
xx
xx
xxxx
G
G
G
G
G
G
G
k
kkk
k
kk
kkkk
?
?
?
?
?
??
??
??
???
?
?
??
???
所以
因为
收敛的判别条件
理。具有某些特性的判定定常给出系数矩阵
很难求，因此，目前由于迭代矩阵的谱半径
估计迭代次数。）为事前估计，是预先而式（
的停机标准）为事后估计，是计算式（
A
14.3, 6;13.3, 6
收敛的判别条件
。按行严格对角占优矩阵则称成立
弱对角占优。若
按行则称矩阵式成立且至少有一个严格不等
满足设矩阵定义
A
niaa
A
niaa
aA
n
ijj
ijii
n
ijj
ijii
nnij
,
),.,,,2,1(||||
,
),.,,,2,1(||||
)(1.6.3
,1
,1
?
?
??
??
?
??
??
?
收敛的判别条件
迭代法均收敛。迭代法和则
阵，即为按列严格对角占优矩设矩阵定理
迭代法均收敛。迭代法和
为非奇异矩阵；
阵，则为按行严格对角占优矩设矩阵定理
S e id e lG a u ssJc o b i
),.,,,2,1(
3.6.3
S e id e lG a u ssJc o b i)2
)1
2.6.3
1
?
??
?
?
?
?
njaa
A
A
A
n
ji
i
ijjj
收敛的判别条件
为不可约矩阵。可约矩阵，否则称
为，则称（其中，
使如果存在排列矩阵设矩阵定义
迭代法收敛。
为对称正定矩阵，则设定理
A
AnrRARA
A
AA
APP
PRA
A
rnrnrr
T
nn
)11,
0
2.6.3
S e id e lG a u ss4.3, 6
)()(
2211
22
1211
?????
?
?
?
?
?
?
?
?
?
????
?
收敛的判别条件
法均收敛。
迭代迭代法和
为非奇异矩阵；
优矩阵，则
为不可约弱对角占设矩阵定理
S e id e lG a u s sJc o b i)2
)1
5.6.3
?
A
A
例题
ULD
a
a
a
aA
aa
a
aa
a
A
bAx
???
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
000
00
00
00
00
000
100
010
001
:
J a c o b i,,
10
1
01
1
因为解
迭代法收敛？为何值时问为参数其中
的系数矩阵设线性方程组例
例题
||2)(
||2,00)2(
0
0
0
||
00
0
00
)(
J a c o b i
3,21
22
1
aG
aa
a
aa
a
GE
a
aa
a
ULDG
J
J
J
?
?????
???
?
?
?
?
?
?
?
?
?
?
?
??
?
???
?
?
????
?
?
?
?
故
，，解得即
由
迭代矩阵为所以
例题
显然充分条件弱。
若用充分条件
法收敛。时，即当所以
2
1
2
1
2
1
||1||2||||
2
2
2
2
2
2
||
????????
????
?
aaaG
Jaa
J
例题
法收敛。法和故是严格对角占优矩阵，即
，，解：因为
法的收敛性。法和的判断解
的系数矩阵设例
SGJA
a
aa
SGJA
A
A
bx
bx
?
?????
??????????
??
?
?
?
?
?
?
?
?
?
?
??
??
??
?
?
|2||1|15||
|1||2|10|||1||2|10||
521
1102
1210
2
33
2211
