5.4 内积空间中的最佳平方逼近
设 X为 (实 )线性空间，在 X上定义了 内积 是指对
X中每一对元素 x,y,都有一实数，记为 (x,y)与之对应，且这个对应满足,
（ 1） (x,x)≥0,当且仅当 x=0时,(x,x)=0;
（ 2)（ x,y） =（ y,x）,x,y∈ X;
（ 3） （?x,y） =?( x,y）,x,y∈ X；?∈ R;
（ 4）（ x+y,z） =（ x,z） +（ y,z）,x,y,z∈ X
则称 X为内积空间。
一,内积空间两种重要的内积空间
n维欧氏空间 Rn，内积就是两向量的数量积，即
(x,y)=xＴ y=∑x i yi.
连续函数空间 C［ a,b］,内积可以定义为积分的运算
或带权函数的积分运算，即
(f(x),g(x))=∫f(x)g(x) dx,f(x),g(x)∈C
［ a,b］
或 (f(x),g(x))=∫?(x)g(x)f(x)dx,
f(x),g(x)∈C ［ a,b］,其中?(x) 称为权函数，
它满足：
①在［ a,b］ 的任何子区间上积分为正；
②?(x) ≥0,且使?(x) =0的点至多有
③对 f(x)=1,x,x２,…,积分 ∫ f(x)?(x)
dx存在,
几个概念
(2)线性赋范空间中两元素 x,y之间的距离为
（ 1）模（范数）,
2| | x | | = ( x,x )
(3) 正交,若（ x,y）＝ 0,则称 x与 y正交这种距离也称为 2-范数意义下的距离
2(,) (,)d i s x y x y x y x y
连续函数空间 C［ a,b］ 中 f(x)与 g(x)的距离即 为
dis (f(x),g(x))=‖f(x) - g(x)‖ ２
= (∫(f(x) -g(x))２ dx )1/2
因此 Rn中两点 x与 y之间的距离即为
2
2(,) (,) ( )iid i s x y x y x y x y x y
二,内积空间中的最佳平方逼近
设 X为线性内积空间,?０,?1,…,?n
为 X上 n+1个线性无关元，记由 {?j}j=0n张成 X的子空间为?
=span{?０,?1,…,?n}.
对任意的 g∈X,在 X的子空间?中，求对 g的按 2-范数意义下的最佳逼近元 S*,即求 S*∈?，
dis(S*,g)=‖ S * -g‖ 2≤‖S -g‖ ２ (4)
对任意 S∈ 成立,
定义若满足 (4)式的 S* ∈?存在，称 S*为对 g∈X 的 最佳平方逼近元
1.最佳平方逼近元的存在性定理 5.4.1 设 X为线性内积空间，由线性无关组?０,?1,…,?n张成的线性空间
为 X的子空间，任意 g∈X,存在 S*∈?
为对 g的最佳平方逼近元,
Remark,线性内积空间 X的子空间?的线性无关组?０,?1,…,?n的选取不同，在?中求得对 g∈X 的最佳平方逼近元 S*也不同，求解 S*的难易程度也不同
2,最佳平方逼近元的充要条件
定理 5.4.2 S*∈? =span{?０,?1,…,
n}为对 g∈X ( 线性内积空间 )的最佳平方逼近元的 充要条件 是 g- S*与一切
j(j=0,1,…,n)正交,其中?０,
1,…,?n为 X的 n+1个线性无关元
定理 5.4.2中所说的 g-s*与一切?j正交，
是指 g-S*与一切?j的内积等于零，
(g-S*,?j)=0,j=0,1,…,n,(5)
证 必要性,用反证法,设 S*∈?为对 g∈X 的最佳平方逼近元，但 g-S*不与所有的?k(k=0,1,2,…,n)正交,
为方便起见，假定 g-S*与?i (0≤i≤n) 不正交，即
i=(g-S*,?i) ≠0,令这说明 S*不是对 g的最佳平方逼近元，与假设条件矛盾，所以 g- S*必须与一切?k(k=0,1,2,…,n)正交,
*()
(,)
i
i
ii
q x S
显然 q(x) ∈?,且 ‖g -q(x)‖ ２ ２
＝ (g-S*,g-S*)-?i2/(?i,?i)<(g-S*,g-S*)=‖ g-S*‖ ２ ２
充分性,仍记 s*＝ ∑c j?j.
对任意的 s=∑d j?j ∈?，
‖g -s‖ ２ ２ =(g-s,g-s)=(g-s*+s*-s,g-s*+s*-s)
＝ (g-s*,g-s*） +２ (g-s*,s*-s)+(s*-s,s*-s)
而 (g-s*,s*-s） =∑(c j-dj)(g-s*,?j)=0
(s*-s,s*-s)?0.
‖g -s‖ ２ ２?(g-s*,g-s*） = ‖g -s*‖ ２ ２
进而有 ‖g -s*‖ ２ ≤‖g -s‖ ２ 对任意 s∈?成立,
即 s*为 g的最佳平方逼近元
3.最佳平方逼近元的惟一性定理 5.4.3 线性内积空间 X的子空间?中若存在对
g∈X 的最佳平方逼近元，则惟一,
证 用反证法,设 s1*为除 s*外另一个任意的对 g∈X
的最佳平方逼近元,由定理 5.4.2可知
当 p∈?时,(g-s*,p)=0,(g-s1*,p)=0 而
‖s *-s1*‖ ２ ２ =(s*-s1*,s*-s1*)
＝ (s*-g+g-s1*,s*-s1*)
=（ s*-g,s*-s1*)+ (g-s1*,s*-s1*)
由于 s*-s1* ∈?,因此
（ s*-g,s*-s1*) ＝ 0,（ g－ s1*,s*-s1*)＝ 0
1中内积必须满足①的条件可知
s*－ s1*≡ 即 s*=s1*.
4.求解最佳平方逼近元现假定线性内积空间 X上的内积已定义，并且 X
的子空间的一组基底｛?0,?1,…,?n｝ 也确定，
对具体的被逼近元 g∈X,求 s*∈?为对 g的最佳平方逼近元,
由最佳平方逼近元充要条件的 (5)
s*＝ ∑c j*?j，
(g- ∑c j*?j,?i) = 0,i=0,1,…,n.
其中 cj*,j=0,1,…,n为待定系数
(∑c j*?j,?i) =(?i,g),i=0,1,…,n.
用矩阵式表示这个方程组为
此方程组称为 法方程组。
*
0 0 0 1 0 00
*
1 0 1 1 1 11
*
00
(,) (,) (,) (,)
(,) (,) (,) (,)
(,) (,) (,) (,)
n
n
n n n n nn
gc
gc
gc
若选取 一组基底｛?0,?1,…,?n｝ 满足
（?i,?j) =?ij
则称为正交基，此时
* (,),0,1,.,,,
(,)
j
j
jj
g
c j n
三,几种情形的最佳平方逼近
1,C［ a,b］ 中的最佳平方逼近
讨论最佳平方逼近，首先确定逼近类以及内积的定义,
现设逼近类为 Pn［ a,b］,内积用积分或带权的积分
(f(x),g(x))=∫f(x)g(x) dx,(7)
(f(x),g(x))=∫?(x)f(x)g(x)dx,
f(x),g(x)∈C ［ a,b］,?(x) 为权函数,
若取 Pn［ a,b］ 中 n+1个线性无关元为｛ 1,x,…,xn｝,
则对任意的 g(x)∈C ［ a,b］,求 Pn［ a,b］ 中对 g(x)
的最佳平方逼近元 pn(x),就必须通过求解法方程组
(6)得到最佳平方逼近元,
例解法一 这是 C［ 0,1］ 上的最佳平方逼近问题,
取?０ ＝１,?１ ＝ x,P1［ 0,1］＝ span｛ 1,x｝，
记 p1(x)=a０ ＋ a１ x,
(?０,?0)=∫?０,?０ dx=1,(?０,?1)=∫ 1.xdx=1/2
(?1,?1)=∫?1.?1dx=1/3
同样可求得 (?０,g)=2/3,(?1,g)=2/5.
所以，关于 a０,a１ 为未知数的法方程组为解得 a０ =4/15,a１ ＝ 4/5
01
01
12
23
1 1 2
2 3 5
aa
aa
即 p1(x)=4/5x+4/15为
P1［ 0,1］ 中对 g(x)=x的最佳平方逼近元,
求 g(x)=x 在 P1［ 0,1］ 中的最佳平方逼近元，
解法二 (1)作变换 x=(1+t)/2,将 [0,1]变换成 [－ 1,1],则
1( ) 1 ( ),1 1
2f x t h t t
（ 2）利用 Chebyshev多项式 T0(t),T1(t)作为基底，计算
q1(t)=c０ T0(t)＋ c１ T1(t),
1
1
0
0 1
00
1
1
11
( h(t),T ( t ) ) 22
( T ( t ),T ( t ) ) 31
t dt
c
dt
1
1
1
1 1
11
1
1
1
( h(t),T ( t ) ) 62
( T ( t ),T ( t ) ) 15
t t dt
c
t t dt
(3) q1(t)=2/3T0(t)＋ 6/15T1(t)=2/3+6/15t
将 t=2x-1代入 q1(t),得 p1(x)= 2/3+6/15(2x-1)=4/5x+4/15
正交基底
2.Rn中的最佳平方逼近
Rn中的最佳平方逼近称为离散情形的最佳平方逼近，求离散情形最佳平方逼近的方法称为 最小二乘法
设 X为 (实 )线性空间，在 X上定义了 内积 是指对
X中每一对元素 x,y,都有一实数，记为 (x,y)与之对应，且这个对应满足,
（ 1） (x,x)≥0,当且仅当 x=0时,(x,x)=0;
（ 2)（ x,y） =（ y,x）,x,y∈ X;
（ 3） （?x,y） =?( x,y）,x,y∈ X；?∈ R;
（ 4）（ x+y,z） =（ x,z） +（ y,z）,x,y,z∈ X
则称 X为内积空间。
一,内积空间两种重要的内积空间
n维欧氏空间 Rn，内积就是两向量的数量积，即
(x,y)=xＴ y=∑x i yi.
连续函数空间 C［ a,b］,内积可以定义为积分的运算
或带权函数的积分运算，即
(f(x),g(x))=∫f(x)g(x) dx,f(x),g(x)∈C
［ a,b］
或 (f(x),g(x))=∫?(x)g(x)f(x)dx,
f(x),g(x)∈C ［ a,b］,其中?(x) 称为权函数，
它满足：
①在［ a,b］ 的任何子区间上积分为正；
②?(x) ≥0,且使?(x) =0的点至多有
③对 f(x)=1,x,x２,…,积分 ∫ f(x)?(x)
dx存在,
几个概念
(2)线性赋范空间中两元素 x,y之间的距离为
（ 1）模（范数）,
2| | x | | = ( x,x )
(3) 正交,若（ x,y）＝ 0,则称 x与 y正交这种距离也称为 2-范数意义下的距离
2(,) (,)d i s x y x y x y x y
连续函数空间 C［ a,b］ 中 f(x)与 g(x)的距离即 为
dis (f(x),g(x))=‖f(x) - g(x)‖ ２
= (∫(f(x) -g(x))２ dx )1/2
因此 Rn中两点 x与 y之间的距离即为
2
2(,) (,) ( )iid i s x y x y x y x y x y
二,内积空间中的最佳平方逼近
设 X为线性内积空间,?０,?1,…,?n
为 X上 n+1个线性无关元，记由 {?j}j=0n张成 X的子空间为?
=span{?０,?1,…,?n}.
对任意的 g∈X,在 X的子空间?中，求对 g的按 2-范数意义下的最佳逼近元 S*,即求 S*∈?，
dis(S*,g)=‖ S * -g‖ 2≤‖S -g‖ ２ (4)
对任意 S∈ 成立,
定义若满足 (4)式的 S* ∈?存在，称 S*为对 g∈X 的 最佳平方逼近元
1.最佳平方逼近元的存在性定理 5.4.1 设 X为线性内积空间，由线性无关组?０,?1,…,?n张成的线性空间
为 X的子空间，任意 g∈X,存在 S*∈?
为对 g的最佳平方逼近元,
Remark,线性内积空间 X的子空间?的线性无关组?０,?1,…,?n的选取不同，在?中求得对 g∈X 的最佳平方逼近元 S*也不同，求解 S*的难易程度也不同
2,最佳平方逼近元的充要条件
定理 5.4.2 S*∈? =span{?０,?1,…,
n}为对 g∈X ( 线性内积空间 )的最佳平方逼近元的 充要条件 是 g- S*与一切
j(j=0,1,…,n)正交,其中?０,
1,…,?n为 X的 n+1个线性无关元
定理 5.4.2中所说的 g-s*与一切?j正交，
是指 g-S*与一切?j的内积等于零，
(g-S*,?j)=0,j=0,1,…,n,(5)
证 必要性,用反证法,设 S*∈?为对 g∈X 的最佳平方逼近元，但 g-S*不与所有的?k(k=0,1,2,…,n)正交,
为方便起见，假定 g-S*与?i (0≤i≤n) 不正交，即
i=(g-S*,?i) ≠0,令这说明 S*不是对 g的最佳平方逼近元，与假设条件矛盾，所以 g- S*必须与一切?k(k=0,1,2,…,n)正交,
*()
(,)
i
i
ii
q x S
显然 q(x) ∈?,且 ‖g -q(x)‖ ２ ２
＝ (g-S*,g-S*)-?i2/(?i,?i)<(g-S*,g-S*)=‖ g-S*‖ ２ ２
充分性,仍记 s*＝ ∑c j?j.
对任意的 s=∑d j?j ∈?，
‖g -s‖ ２ ２ =(g-s,g-s)=(g-s*+s*-s,g-s*+s*-s)
＝ (g-s*,g-s*） +２ (g-s*,s*-s)+(s*-s,s*-s)
而 (g-s*,s*-s） =∑(c j-dj)(g-s*,?j)=0
(s*-s,s*-s)?0.
‖g -s‖ ２ ２?(g-s*,g-s*） = ‖g -s*‖ ２ ２
进而有 ‖g -s*‖ ２ ≤‖g -s‖ ２ 对任意 s∈?成立,
即 s*为 g的最佳平方逼近元
3.最佳平方逼近元的惟一性定理 5.4.3 线性内积空间 X的子空间?中若存在对
g∈X 的最佳平方逼近元，则惟一,
证 用反证法,设 s1*为除 s*外另一个任意的对 g∈X
的最佳平方逼近元,由定理 5.4.2可知
当 p∈?时,(g-s*,p)=0,(g-s1*,p)=0 而
‖s *-s1*‖ ２ ２ =(s*-s1*,s*-s1*)
＝ (s*-g+g-s1*,s*-s1*)
=（ s*-g,s*-s1*)+ (g-s1*,s*-s1*)
由于 s*-s1* ∈?,因此
（ s*-g,s*-s1*) ＝ 0,（ g－ s1*,s*-s1*)＝ 0
1中内积必须满足①的条件可知
s*－ s1*≡ 即 s*=s1*.
4.求解最佳平方逼近元现假定线性内积空间 X上的内积已定义，并且 X
的子空间的一组基底｛?0,?1,…,?n｝ 也确定，
对具体的被逼近元 g∈X,求 s*∈?为对 g的最佳平方逼近元,
由最佳平方逼近元充要条件的 (5)
s*＝ ∑c j*?j，
(g- ∑c j*?j,?i) = 0,i=0,1,…,n.
其中 cj*,j=0,1,…,n为待定系数
(∑c j*?j,?i) =(?i,g),i=0,1,…,n.
用矩阵式表示这个方程组为
此方程组称为 法方程组。
*
0 0 0 1 0 00
*
1 0 1 1 1 11
*
00
(,) (,) (,) (,)
(,) (,) (,) (,)
(,) (,) (,) (,)
n
n
n n n n nn
gc
gc
gc
若选取 一组基底｛?0,?1,…,?n｝ 满足
（?i,?j) =?ij
则称为正交基，此时
* (,),0,1,.,,,
(,)
j
j
jj
g
c j n
三,几种情形的最佳平方逼近
1,C［ a,b］ 中的最佳平方逼近
讨论最佳平方逼近，首先确定逼近类以及内积的定义,
现设逼近类为 Pn［ a,b］,内积用积分或带权的积分
(f(x),g(x))=∫f(x)g(x) dx,(7)
(f(x),g(x))=∫?(x)f(x)g(x)dx,
f(x),g(x)∈C ［ a,b］,?(x) 为权函数,
若取 Pn［ a,b］ 中 n+1个线性无关元为｛ 1,x,…,xn｝,
则对任意的 g(x)∈C ［ a,b］,求 Pn［ a,b］ 中对 g(x)
的最佳平方逼近元 pn(x),就必须通过求解法方程组
(6)得到最佳平方逼近元,
例解法一 这是 C［ 0,1］ 上的最佳平方逼近问题,
取?０ ＝１,?１ ＝ x,P1［ 0,1］＝ span｛ 1,x｝，
记 p1(x)=a０ ＋ a１ x,
(?０,?0)=∫?０,?０ dx=1,(?０,?1)=∫ 1.xdx=1/2
(?1,?1)=∫?1.?1dx=1/3
同样可求得 (?０,g)=2/3,(?1,g)=2/5.
所以，关于 a０,a１ 为未知数的法方程组为解得 a０ =4/15,a１ ＝ 4/5
01
01
12
23
1 1 2
2 3 5
aa
aa
即 p1(x)=4/5x+4/15为
P1［ 0,1］ 中对 g(x)=x的最佳平方逼近元,
求 g(x)=x 在 P1［ 0,1］ 中的最佳平方逼近元，
解法二 (1)作变换 x=(1+t)/2,将 [0,1]变换成 [－ 1,1],则
1( ) 1 ( ),1 1
2f x t h t t
（ 2）利用 Chebyshev多项式 T0(t),T1(t)作为基底，计算
q1(t)=c０ T0(t)＋ c１ T1(t),
1
1
0
0 1
00
1
1
11
( h(t),T ( t ) ) 22
( T ( t ),T ( t ) ) 31
t dt
c
dt
1
1
1
1 1
11
1
1
1
( h(t),T ( t ) ) 62
( T ( t ),T ( t ) ) 15
t t dt
c
t t dt
(3) q1(t)=2/3T0(t)＋ 6/15T1(t)=2/3+6/15t
将 t=2x-1代入 q1(t),得 p1(x)= 2/3+6/15(2x-1)=4/5x+4/15
正交基底
2.Rn中的最佳平方逼近
Rn中的最佳平方逼近称为离散情形的最佳平方逼近，求离散情形最佳平方逼近的方法称为 最小二乘法
