第六章 曲线拟合
6.1.2 曲线拟合问题仍然是已知 x1 … xm ; y1 … ym,求一个简单易算的近似函数 f(x) 来拟合这些数据 。
但是 ① m 很大；
② yi 本身是测量值，不准确，即 yi? f (xi)
这时没必要取 f(xi) = yi,而要使?i=f(xi)? yi 总体上尽可能地小。
这种构造近似函数 的方法称为 曲线拟合,f(x)
称为 拟合函数 称为“残差”
常见做法：
使 最小 |)(|m a x
1 iimi yxP
较复杂，
P284
使 最小?
m
i
ii yxP
1
|)(|
不可导，求解困难,P283
使 最小?
m
i
ii yxP
1
2|)(|
“使?i=P(xi)? yi 尽可能地小”有不同的准则
6.2 线性拟合问题
6.2.1 ||.||2 意义下的线性拟合（线性最小二乘问题）
确定拟合函数
，对于一组数据 (xi,yi) (i = 1,2,…,m) 使得达到 极小,这里 n <＝ m。
1 1 2 2( ) ( ) ( ),,,( )nnf x c x c x c x
2 2 2
2
11
|| || [ ( ) ]
mm
i i i
ii
r y f x?
Denote:
1
2
()
()
,1,2,
()
i
i
i
im
x
x
in
x
1 1 2 1 1
1 2 2 2 2
12
12
( ) ( ) ( )
( ) ( ) ( )
[,,,]
( ) ( ) ( )
n
n
n
m m n m
x x x
x x x
A
x x x
1 1 1
2 2 2
,,
m m n
yc
yc
b r x
yc
2 2 2 2
22
11
|| || [ ( ) ] || ||
mm
i i i
ii
r y f x b A x?
称方程组 Ax=b为超定方程组记
E 实际上是 c0,c1,…,cn 的多元函数,在 E 的极值点应有
0,0,...,
j
E jn
c
22
12
11
2
11
(,,.,,,) [ ( ) ]
[ ( ) ]
mm
n i i i
ii
mn
i j j i
ij
E c c c y f x
y c x
11
,
mm
j k j i k i j i i
ii
b g y
记得到关于 c1,c2,…,c n的方程组1 2 1 1111
22 2 2 212
1,1 1,2 1,1 1
1 2
...
...
n
n
n n n n n n
n nnn n n
bb cgb
bb c gb
b b b c g
b cgbb
法方程组 (或 正规方程组 )
例 1 数据
ti 0 20 40 60 80 100
fi 81.4 77.7 74.2 72.4 70.3 68.8
6.3 线性最小二乘问题设 A是 m× n阶矩阵 (m>n),
Ax=b (1)
为 超定方程组 ; 这里 x∈R n,b∈R m,
如果 A的秩 r(A)=n,称 A为 列满秩矩阵,
记残向量 r=b-Ax,考虑确定一个向量 x，
使 ‖ r‖ 2 2＝ ‖b -Ax‖ 2 2,达到最小的问题称为 线性最小二乘问题,这样的 x称为方程组 (1)
的 最小二乘解,
6.3.4 最小二乘解的存在惟一性结论 1,设 A是 m× n阶矩阵,x∈ Rn,b∈ Rm,
Ax=b (24)
r (A)= r (A|b),(25)
定理 6.3.7 (24)有解，令 x是其一个解,那么，方程组 (24)的所有解的集合为
{x}+N(A),方程组 (24)有 惟一解的充分必要条件是 null(A)=0,这里,null (A)表示 A的核子空间的维数,
证明,首先 证明任意的向量 y∈ {x}+N(A)都是方程组
(24)的解,
事实上，将 y记为 y=x+z,
其中 z∈ N(A),即 Az=0,x∈ {x},因此，
Ay=Ax+Az=b,即 y满足方程组 (24).
反过来,若 y满足方程组 (24),有
Ay-Ax =A(y-x)= 0
即 y-x∈ N(A).
记 y=x+(y-x),从而有 y∈ ｛ x｝ +N(A).
惟一性,因为齐次方程组 Ax=0有惟一零解的充 分必要条件是 A为满秩矩阵，即 null (A)=0,
定理 6.3.8 m>n时,超定方程组
(1)的最小二乘解总是存在的,最小
null (A)=0.
证,记 b=b１ ＋ b２,其中 b1∈ R(A),b2∈ N(AＴ ）,
对任意 x∈ Rn,Ax∈ R(A),b1-Ax∈ R(A),因此，
‖ r‖ 22＝ ‖ b-Ax‖ 22＝ ‖ (b１ -Ax)+b２ ‖ 22.
由定理 6.3.3的推论 1和定理 6.3.2
‖ r‖ 22＝ ‖ b１ -Ax‖ 22+‖ b２ ‖ 22
要使 ‖ r‖ 22达到最小等价于确定 x,使 ‖ b１ -
Ax‖ 22
为 0,即求方程组 Ax=b１ 的解 x.
因为 b１,Ax,b１ － Ax都是 R(A)中的向量，因此，
可以把 b１ 看成由 A的列向量线性表示,即 b１ ＝ Ax.
换句话说，方程组 Ax=b１ 的解总是存在的，从而方程组 (1)的最小二乘解也总是存在的,
惟一性的证明可直接由定理 6.3.7得到,
6.3.1 正交性的有关性质在线性代数欧氏空间理论中,将 R3中两个向量
x,y之间的夹角 φ
xTy=‖ x‖ 2‖ y‖ 2cosφ (2)
推广到 Rn,设 x,y∈ Rn,由 Cauchy不等式
-1≤ ≤1
从而得到 Rn中两个向量之间的夹角为
φ= arccos (3)
22
Txy
xy
22
Txy
xy
定理 6.3.1 设 x,y是 Rn中的向量,x与 y正交的充分必要条件为 xＴ y=0.
证：必要性,当 x与 y正交，它们的夹角 φ=π/2，
由 (2)式,有 xＴ y=0.
充分性,当 xＴ y=0,由 (3)式,φ=π/2,
即 x与 y正交,
注,如果 x与 y正交,记为 x⊥ y
定理 6.3.2,设 x,y∈ Rn,且 x⊥ y,那 么：
‖ x+y‖ 22＝ ‖ x‖ 22＋ ‖ y‖ 22
证：由 ‖ x+y‖ 22=(x+y)Ｔ (x+y)
= xＴ x+2yＴ x+yＴ y
而 xＴ y=yＴ x=0,
‖ x+y‖ 22＝ ‖ x‖ 22+‖ y‖ 22
注,推广到 Rn中的向量组 α１,α２,…,αk，
如果 αiＴ αj=0 (i≠j),称 α1,α2,…,αk是正交向量组,
特别地,如果 ‖ αi‖ 2=1(i=1,2,…,k),即
αiTαj=δij,称 α1,α2,…,αk
为 标准正交向量组,
设 U是 Rn中的子空间,x∈ Rn,如果 x与 U中任意向量正交,称 向量 x与子空间 U正交,
记为 x⊥ U,
设 U,V是 Rn中两个子空间,如果任意 x∈ U
和任意 y∈ V是正交的,称 子空间 U与子空间 V正交,记为 U⊥ V,
设 U,V是 Rn中互补的子空间,如果 U⊥ V，
那么称 U,V互为 正交补子空间,记 U=V⊥
或 V=U⊥,可以证明,一个子空间的正交补子空间是惟一的,
定理 6.3.3 设 A是 n× k阶矩阵,x∈ R n,那么下列三种情况是
① x⊥ R(A);
② AＴ x=0;
③ x∈ N(AＴ ).
这里,N(AＴ )={AＴ x=0,x∈ Rn}称为 AＴ 的核子空间,
证：由 N(AＴ )的定义,②与③显然等价,
下面证明①与②等价,
记 A=(α1,α2,…,αk),那么,αi∈ R(A) (i=1,2,…,k).
假设 x⊥ R(A),即 αiＴ x=0 (i=1,2,…,k),从而 AＴ x=0,
另一方面，如果 AＴ x=0,那么有 z∈ Rk,使 Az=y∈ R(A),
这时,yＴ x=zＴ AＴ x=0,即 x⊥ y,
由 z的任意性,得 Az是任意的,因此 x⊥ R(A),
由这个定理，
推论 1 设 A是 n× k阶矩阵,那么 R(A)有惟一的正交补子空间 N(AＴ ),
6.3 线性最小二乘问题设 A是 m× n阶矩阵 (m>n),
Ax=b (1)
为 超定方程组 ; 这里 x∈ Rn,b∈ Rm,
如果 A r (A) =n,称 A为 列满秩矩阵,
记残向量 r=b-Ax,考虑确定一个向量 x，
使 ‖ r‖ 2 2＝ ‖ b-Ax‖ 2 2,达到最小的问题称为 线性最小二乘问题,这样的 x称为方程组
(1)的 最小二乘解,
6.3.1 正交性的有关性质在线性代数欧氏空间理论中,将 R3中两个向量
x,y之间的夹角 φ
xTy=‖ x‖ 2‖ y‖ 2cosφ (2)
推广到 Rn,设 x,y∈ Rn,由 Cauchy不等式
-1≤ ≤1
从而得到 Rn中两个向量之间的夹角为
φ= arccos (3)
22
Txy
xy
22
Txy
xy
定理 6.3.1 设 x,y是 Rn中的向量,x与 y正交的充分必要条件为 xＴ y=0.
证：必要性,当 x与 y正交，它们的夹角 φ= π/2，
由 (2)式,有 xＴ y=0.
充分性,当 xＴ y=0,由 (3)式,φ=π/2,
即 x与 y正交,
注,如果 x与 y正交,记为 x⊥ y
定理 6.3.2,设 x,y∈ Rn,且 x⊥ y,那 么：
‖ x+y‖ 22＝ ‖ x‖ 22＋ ‖ y‖ 22．
证：由 ‖ x+y‖ 22=(x+y)Ｔ (x+y)
= xＴ x+2yＴ x+yＴ y
而 xＴ y=yＴ x=0,
‖ x+y‖ 22＝ ‖ x‖ 22+‖ y‖ 22
注,推广到 Rn中的向量组 α１,α２,…,αk，
如果 αiＴ αj=0 (i≠j),称 α1,α2,…,αk是正交向量组,
特别地,如果 ‖ αi‖ 2=1(i=1,2,…,k),即
αiTαj=δij,称 α1,α2,…,αk
为 标准正交向量组,
设 U是 Rn中的子空间,x∈ Rn,如果 x与 U中任意向量正交,称 向量 x与子空间 U正交,
记为 x⊥ U,
设 U,V是 Rn中两个子空间,如果任意 x∈ U
和任意 y∈ V是正交的,称 子空间 U与子空间 V正交,记为 U⊥ V,
设 U,V是 Rn中互补的子空间,如果 U⊥ V，
那么称 U,V互为 正交补子空间,记 U=V⊥
或 V=U⊥,可以证明,一个子空间的正交补子空间是惟一的,
定理 6.3.3 设 A是 n× k阶矩阵,x∈ R n,那么下列三种情况是
① x⊥ R(A);
② AＴ x=0;
③ x∈ N(AＴ ).
这里,N(AＴ )={AＴ x=0,x∈ Rn}称为 AＴ 的核子空间,
证：由 N(AＴ )的定义,②与③显然等价,
下面证明①与②等价,
记 A=(α1,α2,…,αk),那么,αi∈ R(A) (i=1,2,…,k).
假设 x⊥ R(A),即 αiＴ x=0 (i=1,2,…,k),从而 AＴ x=0,
另一方面，如果 AＴ x=0,那么有 z∈ Rk,使 Az=y∈ R(A),
这时,yＴ x=zＴ AＴ x=0,即 x⊥ y,
由 z的任意性,得 Az是任意的,因此 x⊥ R(A),
由这个定理，
推论 1 设 A是 n× k阶矩阵,那么 R(A)有惟一的正交补子空间 N(AＴ ),
6.3.2 矩阵的 QR分解定理 6.3.4 设 A=(α1,α2,…,αn)是列满秩矩阵,αi∈ Rm (i=1,2,…,
n)且 m≥n,那么,A有惟一的 QR
A=QR,(4)
这里,Q是有 n个标准正交列的 m× n阶矩阵,R是有正对角元的 n阶上三角矩阵,
证,由 A是列满秩矩阵可知,AＴ A是 n阶正定矩阵,因此有
Cholesky
AＴ A=RＴ R,(5)
这里 R是有正对角元的上三角矩阵,R－１ 存在,
Q=AR－１,(6)
那么,QＴ Q=R－ Ｔ AＴ AR－１ ＝ In,
即 Q是有标准正交列的 m× n阶矩阵,
由 (6)式,(4)式成立,且由 (5)式的惟一性,分解式 (4)也是惟一的,
6.3.3 Householder矩阵与矩阵的正交三角化
定义 1 w是欧氏空间 Rn中的单位向量，
H=I-2wwＴ (10)
的 n阶矩阵称为 Householder矩阵,也称为反射 (镜像 )矩阵或称为 Householder变换 (反射变换、镜像变换 ),
定理 6.3.5 设 H是 Rn Householder
矩阵，
① HＴ =H (对称性 )
② H－１ =HＴ (正交性 )；
③ H2=I (对合性 ).
证：直接验证,性质①成立,
由 H=I-2wwＴ,wＴ w=1
H2＝ HＴ H=(I-2wwＴ )Ｔ (I-2wwＴ )
=I-4wwＴ wwＴ +4wwＴ =I,
即 HＴ =H-1,性质②和③成立,
定理 6.3.6 Rn中有非零向量 x≠y
且 ‖ x‖ 2=‖ y‖ 2,那么，存在
Householder矩阵 H,使 Hx=y
证：不妨令 w=(x-y)/ ‖ x-y‖ 2,有 wTw=1.设 H=I-
2wwT,那么 Hx=(I-2wwT)
由已知,xＴ x=yＴ y,所以 (x-y)Ｔ (x-y)=xＴ x-
2yＴ x+yＴ y=2(xＴ x-yＴ x).
从而,Hx=x-(x-y)=y,
证明中如果令 u=x-y,那么 Householder矩阵形为 (11)式，
即 H=I-β－１ uuＴ,β=uＴ u,同样可验证 Hx=y成立,
( ) ( ) ( ) ( )22
( ) ( ) ( ) ( )
T T T T
TT
x y x y x x y x x y x xxx
x y x y x y x y
例 1 设 R3中向量 x=(0,4,3)Ｔ 和向量 σe1,其中
σ2=‖ x‖ ２ ２,即 σ= =± 5,按 (11)式构造一个 3阶 Householder矩阵 H,使 Hx=σe1.
解,令 u=x-σe1.设 σ=-5,于是
u=(-5,4,3)Ｔ
又由 uＴ u=25+16+9=50,所以 β=25.
由 H=I-β-１ uuＴ,得
2243
1 0 0 5
1
0 1 0 4 ( 5,4,3 )
25
0 0 1 3
0 20 15
1
20 9 12
25
15 12 16
H
容易验证 Hx=σe1.
在 Rn中，如果已知非零向量 x=(x1,x2,…,xn)Ｔ 和向量
σe1≠x,其中,σ=± ‖ x‖ 2,
即 ‖ σe1‖ 2=‖ x‖ 2
由定理 6.3.6,存在一个形如 (11)式或 (10)式的
Householder矩阵 H,使 Hx=σe1.
由定理 6.3.6,令 u=x-σe1 (13)
又由 σ2=‖ x‖ 22＝ xＴ x和 (12)
β=1/2× (x-σe1)Ｔ (x-σe1)= 1/2× (xＴ x-2σx１ +σ2)
=σ(σ-x1),(14)
记 H=I-β-１ uuＴ,容易验证 Hx=σe1.
6.1.2 曲线拟合问题仍然是已知 x1 … xm ; y1 … ym,求一个简单易算的近似函数 f(x) 来拟合这些数据 。
但是 ① m 很大；
② yi 本身是测量值，不准确，即 yi? f (xi)
这时没必要取 f(xi) = yi,而要使?i=f(xi)? yi 总体上尽可能地小。
这种构造近似函数 的方法称为 曲线拟合,f(x)
称为 拟合函数 称为“残差”
常见做法：
使 最小 |)(|m a x
1 iimi yxP
较复杂，
P284
使 最小?
m
i
ii yxP
1
|)(|
不可导，求解困难,P283
使 最小?
m
i
ii yxP
1
2|)(|
“使?i=P(xi)? yi 尽可能地小”有不同的准则
6.2 线性拟合问题
6.2.1 ||.||2 意义下的线性拟合（线性最小二乘问题）
确定拟合函数
，对于一组数据 (xi,yi) (i = 1,2,…,m) 使得达到 极小,这里 n <＝ m。
1 1 2 2( ) ( ) ( ),,,( )nnf x c x c x c x
2 2 2
2
11
|| || [ ( ) ]
mm
i i i
ii
r y f x?
Denote:
1
2
()
()
,1,2,
()
i
i
i
im
x
x
in
x
1 1 2 1 1
1 2 2 2 2
12
12
( ) ( ) ( )
( ) ( ) ( )
[,,,]
( ) ( ) ( )
n
n
n
m m n m
x x x
x x x
A
x x x
1 1 1
2 2 2
,,
m m n
yc
yc
b r x
yc
2 2 2 2
22
11
|| || [ ( ) ] || ||
mm
i i i
ii
r y f x b A x?
称方程组 Ax=b为超定方程组记
E 实际上是 c0,c1,…,cn 的多元函数,在 E 的极值点应有
0,0,...,
j
E jn
c
22
12
11
2
11
(,,.,,,) [ ( ) ]
[ ( ) ]
mm
n i i i
ii
mn
i j j i
ij
E c c c y f x
y c x
11
,
mm
j k j i k i j i i
ii
b g y
记得到关于 c1,c2,…,c n的方程组1 2 1 1111
22 2 2 212
1,1 1,2 1,1 1
1 2
...
...
n
n
n n n n n n
n nnn n n
bb cgb
bb c gb
b b b c g
b cgbb
法方程组 (或 正规方程组 )
例 1 数据
ti 0 20 40 60 80 100
fi 81.4 77.7 74.2 72.4 70.3 68.8
6.3 线性最小二乘问题设 A是 m× n阶矩阵 (m>n),
Ax=b (1)
为 超定方程组 ; 这里 x∈R n,b∈R m,
如果 A的秩 r(A)=n,称 A为 列满秩矩阵,
记残向量 r=b-Ax,考虑确定一个向量 x，
使 ‖ r‖ 2 2＝ ‖b -Ax‖ 2 2,达到最小的问题称为 线性最小二乘问题,这样的 x称为方程组 (1)
的 最小二乘解,
6.3.4 最小二乘解的存在惟一性结论 1,设 A是 m× n阶矩阵,x∈ Rn,b∈ Rm,
Ax=b (24)
r (A)= r (A|b),(25)
定理 6.3.7 (24)有解，令 x是其一个解,那么，方程组 (24)的所有解的集合为
{x}+N(A),方程组 (24)有 惟一解的充分必要条件是 null(A)=0,这里,null (A)表示 A的核子空间的维数,
证明,首先 证明任意的向量 y∈ {x}+N(A)都是方程组
(24)的解,
事实上，将 y记为 y=x+z,
其中 z∈ N(A),即 Az=0,x∈ {x},因此，
Ay=Ax+Az=b,即 y满足方程组 (24).
反过来,若 y满足方程组 (24),有
Ay-Ax =A(y-x)= 0
即 y-x∈ N(A).
记 y=x+(y-x),从而有 y∈ ｛ x｝ +N(A).
惟一性,因为齐次方程组 Ax=0有惟一零解的充 分必要条件是 A为满秩矩阵，即 null (A)=0,
定理 6.3.8 m>n时,超定方程组
(1)的最小二乘解总是存在的,最小
null (A)=0.
证,记 b=b１ ＋ b２,其中 b1∈ R(A),b2∈ N(AＴ ）,
对任意 x∈ Rn,Ax∈ R(A),b1-Ax∈ R(A),因此，
‖ r‖ 22＝ ‖ b-Ax‖ 22＝ ‖ (b１ -Ax)+b２ ‖ 22.
由定理 6.3.3的推论 1和定理 6.3.2
‖ r‖ 22＝ ‖ b１ -Ax‖ 22+‖ b２ ‖ 22
要使 ‖ r‖ 22达到最小等价于确定 x,使 ‖ b１ -
Ax‖ 22
为 0,即求方程组 Ax=b１ 的解 x.
因为 b１,Ax,b１ － Ax都是 R(A)中的向量，因此，
可以把 b１ 看成由 A的列向量线性表示,即 b１ ＝ Ax.
换句话说，方程组 Ax=b１ 的解总是存在的，从而方程组 (1)的最小二乘解也总是存在的,
惟一性的证明可直接由定理 6.3.7得到,
6.3.1 正交性的有关性质在线性代数欧氏空间理论中,将 R3中两个向量
x,y之间的夹角 φ
xTy=‖ x‖ 2‖ y‖ 2cosφ (2)
推广到 Rn,设 x,y∈ Rn,由 Cauchy不等式
-1≤ ≤1
从而得到 Rn中两个向量之间的夹角为
φ= arccos (3)
22
Txy
xy
22
Txy
xy
定理 6.3.1 设 x,y是 Rn中的向量,x与 y正交的充分必要条件为 xＴ y=0.
证：必要性,当 x与 y正交，它们的夹角 φ=π/2，
由 (2)式,有 xＴ y=0.
充分性,当 xＴ y=0,由 (3)式,φ=π/2,
即 x与 y正交,
注,如果 x与 y正交,记为 x⊥ y
定理 6.3.2,设 x,y∈ Rn,且 x⊥ y,那 么：
‖ x+y‖ 22＝ ‖ x‖ 22＋ ‖ y‖ 22
证：由 ‖ x+y‖ 22=(x+y)Ｔ (x+y)
= xＴ x+2yＴ x+yＴ y
而 xＴ y=yＴ x=0,
‖ x+y‖ 22＝ ‖ x‖ 22+‖ y‖ 22
注,推广到 Rn中的向量组 α１,α２,…,αk，
如果 αiＴ αj=0 (i≠j),称 α1,α2,…,αk是正交向量组,
特别地,如果 ‖ αi‖ 2=1(i=1,2,…,k),即
αiTαj=δij,称 α1,α2,…,αk
为 标准正交向量组,
设 U是 Rn中的子空间,x∈ Rn,如果 x与 U中任意向量正交,称 向量 x与子空间 U正交,
记为 x⊥ U,
设 U,V是 Rn中两个子空间,如果任意 x∈ U
和任意 y∈ V是正交的,称 子空间 U与子空间 V正交,记为 U⊥ V,
设 U,V是 Rn中互补的子空间,如果 U⊥ V，
那么称 U,V互为 正交补子空间,记 U=V⊥
或 V=U⊥,可以证明,一个子空间的正交补子空间是惟一的,
定理 6.3.3 设 A是 n× k阶矩阵,x∈ R n,那么下列三种情况是
① x⊥ R(A);
② AＴ x=0;
③ x∈ N(AＴ ).
这里,N(AＴ )={AＴ x=0,x∈ Rn}称为 AＴ 的核子空间,
证：由 N(AＴ )的定义,②与③显然等价,
下面证明①与②等价,
记 A=(α1,α2,…,αk),那么,αi∈ R(A) (i=1,2,…,k).
假设 x⊥ R(A),即 αiＴ x=0 (i=1,2,…,k),从而 AＴ x=0,
另一方面，如果 AＴ x=0,那么有 z∈ Rk,使 Az=y∈ R(A),
这时,yＴ x=zＴ AＴ x=0,即 x⊥ y,
由 z的任意性,得 Az是任意的,因此 x⊥ R(A),
由这个定理，
推论 1 设 A是 n× k阶矩阵,那么 R(A)有惟一的正交补子空间 N(AＴ ),
6.3 线性最小二乘问题设 A是 m× n阶矩阵 (m>n),
Ax=b (1)
为 超定方程组 ; 这里 x∈ Rn,b∈ Rm,
如果 A r (A) =n,称 A为 列满秩矩阵,
记残向量 r=b-Ax,考虑确定一个向量 x，
使 ‖ r‖ 2 2＝ ‖ b-Ax‖ 2 2,达到最小的问题称为 线性最小二乘问题,这样的 x称为方程组
(1)的 最小二乘解,
6.3.1 正交性的有关性质在线性代数欧氏空间理论中,将 R3中两个向量
x,y之间的夹角 φ
xTy=‖ x‖ 2‖ y‖ 2cosφ (2)
推广到 Rn,设 x,y∈ Rn,由 Cauchy不等式
-1≤ ≤1
从而得到 Rn中两个向量之间的夹角为
φ= arccos (3)
22
Txy
xy
22
Txy
xy
定理 6.3.1 设 x,y是 Rn中的向量,x与 y正交的充分必要条件为 xＴ y=0.
证：必要性,当 x与 y正交，它们的夹角 φ= π/2，
由 (2)式,有 xＴ y=0.
充分性,当 xＴ y=0,由 (3)式,φ=π/2,
即 x与 y正交,
注,如果 x与 y正交,记为 x⊥ y
定理 6.3.2,设 x,y∈ Rn,且 x⊥ y,那 么：
‖ x+y‖ 22＝ ‖ x‖ 22＋ ‖ y‖ 22．
证：由 ‖ x+y‖ 22=(x+y)Ｔ (x+y)
= xＴ x+2yＴ x+yＴ y
而 xＴ y=yＴ x=0,
‖ x+y‖ 22＝ ‖ x‖ 22+‖ y‖ 22
注,推广到 Rn中的向量组 α１,α２,…,αk，
如果 αiＴ αj=0 (i≠j),称 α1,α2,…,αk是正交向量组,
特别地,如果 ‖ αi‖ 2=1(i=1,2,…,k),即
αiTαj=δij,称 α1,α2,…,αk
为 标准正交向量组,
设 U是 Rn中的子空间,x∈ Rn,如果 x与 U中任意向量正交,称 向量 x与子空间 U正交,
记为 x⊥ U,
设 U,V是 Rn中两个子空间,如果任意 x∈ U
和任意 y∈ V是正交的,称 子空间 U与子空间 V正交,记为 U⊥ V,
设 U,V是 Rn中互补的子空间,如果 U⊥ V，
那么称 U,V互为 正交补子空间,记 U=V⊥
或 V=U⊥,可以证明,一个子空间的正交补子空间是惟一的,
定理 6.3.3 设 A是 n× k阶矩阵,x∈ R n,那么下列三种情况是
① x⊥ R(A);
② AＴ x=0;
③ x∈ N(AＴ ).
这里,N(AＴ )={AＴ x=0,x∈ Rn}称为 AＴ 的核子空间,
证：由 N(AＴ )的定义,②与③显然等价,
下面证明①与②等价,
记 A=(α1,α2,…,αk),那么,αi∈ R(A) (i=1,2,…,k).
假设 x⊥ R(A),即 αiＴ x=0 (i=1,2,…,k),从而 AＴ x=0,
另一方面，如果 AＴ x=0,那么有 z∈ Rk,使 Az=y∈ R(A),
这时,yＴ x=zＴ AＴ x=0,即 x⊥ y,
由 z的任意性,得 Az是任意的,因此 x⊥ R(A),
由这个定理，
推论 1 设 A是 n× k阶矩阵,那么 R(A)有惟一的正交补子空间 N(AＴ ),
6.3.2 矩阵的 QR分解定理 6.3.4 设 A=(α1,α2,…,αn)是列满秩矩阵,αi∈ Rm (i=1,2,…,
n)且 m≥n,那么,A有惟一的 QR
A=QR,(4)
这里,Q是有 n个标准正交列的 m× n阶矩阵,R是有正对角元的 n阶上三角矩阵,
证,由 A是列满秩矩阵可知,AＴ A是 n阶正定矩阵,因此有
Cholesky
AＴ A=RＴ R,(5)
这里 R是有正对角元的上三角矩阵,R－１ 存在,
Q=AR－１,(6)
那么,QＴ Q=R－ Ｔ AＴ AR－１ ＝ In,
即 Q是有标准正交列的 m× n阶矩阵,
由 (6)式,(4)式成立,且由 (5)式的惟一性,分解式 (4)也是惟一的,
6.3.3 Householder矩阵与矩阵的正交三角化
定义 1 w是欧氏空间 Rn中的单位向量，
H=I-2wwＴ (10)
的 n阶矩阵称为 Householder矩阵,也称为反射 (镜像 )矩阵或称为 Householder变换 (反射变换、镜像变换 ),
定理 6.3.5 设 H是 Rn Householder
矩阵，
① HＴ =H (对称性 )
② H－１ =HＴ (正交性 )；
③ H2=I (对合性 ).
证：直接验证,性质①成立,
由 H=I-2wwＴ,wＴ w=1
H2＝ HＴ H=(I-2wwＴ )Ｔ (I-2wwＴ )
=I-4wwＴ wwＴ +4wwＴ =I,
即 HＴ =H-1,性质②和③成立,
定理 6.3.6 Rn中有非零向量 x≠y
且 ‖ x‖ 2=‖ y‖ 2,那么，存在
Householder矩阵 H,使 Hx=y
证：不妨令 w=(x-y)/ ‖ x-y‖ 2,有 wTw=1.设 H=I-
2wwT,那么 Hx=(I-2wwT)
由已知,xＴ x=yＴ y,所以 (x-y)Ｔ (x-y)=xＴ x-
2yＴ x+yＴ y=2(xＴ x-yＴ x).
从而,Hx=x-(x-y)=y,
证明中如果令 u=x-y,那么 Householder矩阵形为 (11)式，
即 H=I-β－１ uuＴ,β=uＴ u,同样可验证 Hx=y成立,
( ) ( ) ( ) ( )22
( ) ( ) ( ) ( )
T T T T
TT
x y x y x x y x x y x xxx
x y x y x y x y
例 1 设 R3中向量 x=(0,4,3)Ｔ 和向量 σe1,其中
σ2=‖ x‖ ２ ２,即 σ= =± 5,按 (11)式构造一个 3阶 Householder矩阵 H,使 Hx=σe1.
解,令 u=x-σe1.设 σ=-5,于是
u=(-5,4,3)Ｔ
又由 uＴ u=25+16+9=50,所以 β=25.
由 H=I-β-１ uuＴ,得
2243
1 0 0 5
1
0 1 0 4 ( 5,4,3 )
25
0 0 1 3
0 20 15
1
20 9 12
25
15 12 16
H
容易验证 Hx=σe1.
在 Rn中，如果已知非零向量 x=(x1,x2,…,xn)Ｔ 和向量
σe1≠x,其中,σ=± ‖ x‖ 2,
即 ‖ σe1‖ 2=‖ x‖ 2
由定理 6.3.6,存在一个形如 (11)式或 (10)式的
Householder矩阵 H,使 Hx=σe1.
由定理 6.3.6,令 u=x-σe1 (13)
又由 σ2=‖ x‖ 22＝ xＴ x和 (12)
β=1/2× (x-σe1)Ｔ (x-σe1)= 1/2× (xＴ x-2σx１ +σ2)
=σ(σ-x1),(14)
记 H=I-β-１ uuＴ,容易验证 Hx=σe1.
