2.2 解线性方程组的迭代法
/* Iterative Methods for Solving Linear Systems */
思路
Ax b?将 改写为 等价形式,
建立迭代 。从初值 出发,
得到序列 。
x B x g
1kkx B x g 0x
{}kx
研究 内容:
如何建立迭代格式?收敛速度?
向量序列的收敛条件? 误差估计?
2.2.1 逐次逼近法 (迭代格式的构造 )
把矩阵 A分裂为则,0,A Q C Q
11
()
()
.
A x b Q C x b
I Q C x Q b
x B x g




将上式写为迭代过程这种迭代过程称为逐次逼近法,B称为迭代矩阵。
1,( 2 )kkx B x g
*lim,
nn xx
收敛性定义,若 称逐次逼近法收敛
,否则,称逐次逼近法不收敛或发散。
0,x
01,,,nx x x
给定初值 就得到向量序列问题,是否是方程组 Ax=b的解?*x
**1l i m l i m ( ),kk
kk x B x g x B x g
定理 2.2.1 任意给定初始向量 x0,如果由逐次逼近法产生的向量序列收敛于向量 x*,那么,
x*是方程组 x=Bx+g的解证明:
逐次逼近法收敛的条件补充定理 当 k时,Bk?0( B ) < 1
定理 2.2.2 设线性方程组 x=Bx+g有惟一解,那么逐次逼近法对任意初始向量 X0 收敛的充分必要条件是迭代矩阵 B的谱半径? ( B ) <1
**
1
* * 1 *
10( ) ( ),
kk
k
kk
x B x g
x B x g
x x B x x B x x




证明:
*1
1l i m ( ) 0 l i m 0 ( ) 1,
k
kkkx x B B?
<
因此要检验一个矩阵的谱半径小于 1比较困难,
所以我们希望用别的办法判断收敛性定理 2.2.3 若逐次逼近法的迭代矩阵满足 ‖ B‖<1,那么逐次逼近法收敛
Remark:因为矩阵范数 都可以直接用矩阵的元素计算,因此,用定理 2.2.3,
容易判别逐次逼近法的收敛性。
1,B FB,B?
定理 2.2.4(充分条件) 若存在一个矩阵范数使得 || B || < 1,
则 迭代收敛,且有下列误差估计:
11
|| |||| * || || ||
1 || ||k k k
Bx x x x
B

① 1
1 1 0
| | | || | * | | | | | |
1 | | | |
k
k
Bx x x x
B

证明,②
1
11
* ( * )
( * )
kk
k k k
x x B x x
B x x x x



1 1 1|| * || || || ( || * || || ||)k k k kx x B x x x x
问题:如何判断可以终止迭代?(误差估计)
11
|| |||| * || || ||
1 || ||k k k
Bx x x x
B

误差表达式及收敛速度 。
停机准则。
1 1 1 0( ),.,( )
k
k k k kx x B x x B x x
1
1 1 1 0
|| || || |||| * || || || || ||
1 || || 1 || ||
k
k k k
BBx x x x x x
BB


1 1 0| | | | | | | | | | | |
k
kkx x B x x




nnnnnn
nn
nn
bxaxaxa
bxaxaxa
bxaxaxa
.,,
.,,.,,.,,.,,
.,,
.,,
2211
22222121
11212111
0?iia 写成 矩阵形式,
A =
-L
-UD
( ( ) )
()
Ax b D L U x b
D x L U x b


11()x D L U x D b
B f?
Jacobi 迭代阵
1
11()
k kx D L U x D b?

§ 2.2.2 Jacobi 法 ( Jacobi Iterative Methods )
11
22
33
nn
a
a
Da
a





21
3 1 3 2
1 2 3
0
0
0
0
n n n
a
L a a
a a a





1 2 1 3 1
2 3 2
3
0
0
0
0
n
n
n
a a a
aa
U a






33
1
1
11 1 2 1 3 1
1
22 21 2 3 2
1
3 1 3 2 3
1
1 2 3
()
0 0
0 0
0 0
0 0
J
n
n
n
n n n
nn
B D L U
a a a a
a a aa
a aa a
a a aa











13 112
11 11 11
23 221
22 22 22
31 32 3
33 33 33
1 2 3
0
0
0
0
n
n
J n
n n n
nn nn nn
aaa
a a a
aaa
a a a
B a a a
a a a
a a a
a a a

















Jacobi 迭代 的分量形式:
( 1 ) ( )
1,2,,
1
n
ijkk i
i j i n
j i i i i
ji
a b
xx
aa

1
( 1 ) ( ) ( )
1,2,,
11
()
in
i j i jk k k i
i j j i n
j j ii i i i i i
aa b
x x x
a a a


1k J k
J a c o b i
x B x g
迭 代 的 矩 阵 形 式
1 ()
JB D L U
其 中
Algorithm,Jacobi Iterative Method
Solve given an initial approximation,
Input,the number of equations and unknowns n; the matrix entries a[ ][ ];
the entries b[ ]; the initial approximation X0[ ]; tolerance TOL;
maximum number of iterations Mmax.
Output,approximate solution X[ ] or a message of failure.
Step 1 Set k = 1;
Step 2 While ( k? Mmax) do steps 3-6
Step 3 For i = 1,…,n
Set ; /* compute xk */
Step 4 If then Output (X[ ]);
STOP; /* successful */
Step 5 For i = 1,…,n Set X 0[ ] = X [ ]; /* update X0 */
Step 6 Set k ++;
Step 7 Output (Maximum number of iterations exceeded);
STOP,/* unsuccessful */
Ax b? 0X
ii
n
j
ij
jiji
i a
Xab
X
1
)0(
T O LXXXX iini < |0|m a x||0|| 1
What if aii = 0?
迭代过程中,A的元素不改变,故可以 事先调整 好 A 使得
aii? 0,否则 A不可逆 。
必须等 X(k)完全计算好了才能计算 X(k+1),因此需要 两组向量 存储。
A bit wasteful,
isn’t it?
111 ( ) ( )kkx D L U x D L b
BG-S g
Gauss-Seidel
迭代阵作 A的另一个分裂:
其迭代格式的矩阵形式为
()A D L U
( ( ) )
()
Ax b D L U x b
D L x U x b


11( ) ( )x D L U x D L b
1k G S k G Sx B x g
2.2.3 Gauss - Seidel 迭代法下面从另一个角度来说明
( 1 ) ( )() kkD L x U x b
( 1 ) 1 ( 1 ) ( ) 1()k k kx D Lx U x D b
写成 分量形式,
1
( 1 ) ( 1 ) ( )
11
1 ()ink k k
i ij j ij j i
j j iii
x a x a x ba



)(1 1)(1)(414)(313)(212
11
)1(
1 bxaxaxaxaax
k
nn
kkkk
)(1 2)(2)(424)(323)1(121
22
)1(
2 bxaxaxaxaax
k
nn
kkkk
)(1 3)(3)(434)1(232)1(131
33
)1(
3 bxaxaxaxaax
k
nn
kkkk
)(1 )1( 11)1(33)1(22)1(11)1( nknnnknknkn
nn
k
n bxaxaxaxaax


… … … …
只存一组向量即可。
注:这 二种方法都存在 收敛性问题 。在讨论收敛性之前我们先来讲一些预备知识和有关的定理
2.2.4 有关基本概念一,严格对角占优矩阵与对角占优矩阵定义 1 设 A是 n阶矩阵,若满足不等式且至少有一个 i,使严格不等号成立,则称
A为对角占优矩阵,
若对所有的 i=1,2,…,n,都有严格不等号成立,
称 A为严格对角占优矩阵
1
| | | |,1,2,...,
n
ij ii
j
ji
a a i n

二,可约矩阵与不可约矩阵定义 2 设 A是 n阶矩阵,如果存在排列阵 P,使其中 A11和 A22分别是 k阶和 n-k阶方阵 (n≥2,k<n),
那么,称 A是可约矩阵,如果不存在这样的排列阵 P,
使上式成立,称 A是不可约矩阵
1 1 1 2
220
T AAP A P
A



定理 2.2.5 设 A是 n阶矩阵,A是不可约的充分必要条件是对有限整数集 W={1,2,…,n}中任意两个非空子集
R,S?W,R∪S=W,R∩S=?,存在 i∈R,j∈S,使 aij≠0.
三,有关性质定理 2.2.6 设 A是 n阶 (按行 ) 严格对角占优矩阵,那么 A是非奇异的定理 2.2.7 设 A是严格对角占优矩阵,那么,
其各阶主子阵也是严格对角占优矩阵,
定理 2.2.8 设 A是严格对角占优矩 阵,记经过一步 Gauss消去后的矩阵为那么,A(2)n-1仍是严格对角占优的,
11 12 1
( 2 )
1
0
0
n
n
a a a
A?




定理 2.2.9 设 A是不可约对角占优矩阵,
那么 A是非奇异矩阵,
定理 2.2.10 n阶矩阵 A是按行 严格 对角占优矩阵的充分必要条件是 Jacobi迭代法的迭代矩阵满足 ‖ BJ‖ ∞ <1.
定理 2.2.10_2 n阶矩阵 A是按列 严格 对角占优矩阵的充分必要条件是 Jacobi迭代法的迭代矩阵满足 ‖ BJ‖ 1<1.
2.2.5 Jacobi迭代法和 Gauss-Seidel
迭代法的收敛性定理 2.2.2 设线性方程组 x=Bx+g有惟一解,那么逐次逼近法对任意初始向量 X0 收敛的充分必要条件是迭代矩阵 B的谱半径? ( B ) <1
定理 2.2.11 设 A是有正对角元的 n阶对称矩阵,
那么 Jacobi迭代法收敛的充分必要条件是
A和 2D-A同为正定矩阵,
证明,如果 A是有正对角元的对称矩阵,aii>0
记 D=diag(a11,a22,…,ann).
对于 BJ=I-D-1A,有
1 1 1 1 1
2 2 2 2()D I D A D D I D A
11
22JB I D A D
(1) 若 Jacobi迭代法收敛,则?( BJ ) <1,即
11
22( ) 1I D AD< 1 1 1
i <? <
02i < <
即 D- 1/2 AD-1/2是正定矩阵,从而 A也是正定矩阵,
现考虑矩阵 2D- A
1 1 1 1
2 2 2 22 ( 2 )D A D I D A D D
11
222 I D A D即 2D- A与的特征值的符号相同
11
222 I D A D
的特征值为 2-?i
因此 2D-A的特征值为正,从而 2D-A为正定矩阵充分性,A为正定矩阵?I- D - 1A 的 特征值全小于 1
2D-A为正定矩阵?I- D - 1A 的 特征值全大于- 1
( I- D - 1A) <1
( BJ) <1
定理( 2.2.12,2.2.13,2.2.14 )如果 A
是按行 (列 )严格对角占优的矩阵,那么
Jacobi和 G- S迭代法都收敛定理 2.2.15 设 A是不可约对角占优矩阵,
那么 Jacobi迭代法与 G- S迭代法都收敛,
定理 2.2.16 设 A是 n阶正定矩阵,那么,
G- S迭代法收敛,
定理 2.2.13 A按行严格对角占优,则
Gauss-Seidel迭代收敛。
证 设 是 任一特征值,x是相应特征向量。设若则
GSB?
| | m a x | |,ijxx?
1
1
11
()
| | | | | | | | | | | | | |,
in
j
ii ij ij j
j j ii
D L U x x D x L x U x
x
a a a x
x





| | 1,
1
11
| | | | | |,
in
ii ij ij
j j i
a a a


注意的问题
( 2) Jacobi迭代法和 Gauss-Seidel迭代法的收敛性没有必然的联系:
即当 Gauss-Seidel法收敛时,Jacobi法可能不收敛;
而 Jacobi法收敛时,Gauss-Seidel法也可能不收敛。
( 1) Jacobi迭代法和 Gauss-Seidel迭代法的迭代矩阵不同:
BJ =D-1(L+U),B G-S = (D-L) -1U
举例 1 2 3
1 2 3
1 2 3
21
1
21
x x x
x x x
x x x



例 如用 Jacobi迭代法求解不收敛,但用 Gauss-
Seidel法收敛。
1 2 3
1 2 3
1 2 3
2 2 1
2
2 2 3
x x x
x x x
x x x



+ -

用 Jacobi迭代法求解收敛,
但用 Gauss-Seidel法不收敛。
0 2 2 0 2 2
1 0 1,0 2 3
2 2 0 0 0 2
J G SBB?





BJ的特征值为 0,0,0,
而 BG- S的特征值为
0,2,2
系数矩阵 A是正定矩阵,因此 用 Gauss-Seidel法收敛
12
1 2 3
23
1
2 2 1
2 5 1
xx
x x x
xx



1 1 0
2 1 0 2
0 2 5
DA





不是正定矩阵,因此用
Jacobi迭代法不收敛利用定理
2.2.11
A是有正对角元的
n阶对称矩阵