2004-10-18 1
第三章函数逼近一、问题的提出如果实际问题要求解在[a,b]区间的每一点都“很好地”逼近的话，运用插值函数有时就要失败。
另外，插值所需的数据往往来源于观察测量，本身有一定的误差。要求插值曲线通过这些本身有误差的点，势必使插值结果更加不准确。
)(xf
2004-10-18 2
问题的提出（续）
0
x
为了照顾到远离的点其误差也较小，往往将阶数n取得很大。
),()(
)!1(
)(
)()()(
0
1
0
)1(
xxxx
n
f
xpxfxR
n
n
nn
∈?
+
=?=
+
+
ξ
ξ
设
)(xp
n
的Taylor级数的前n项部分和,
其截断误差为
)(xf
为这样做又费事、又多占存贮单元。因此往往要求在给定精度下，求形式简单的计算公式，使其均匀地逼近f(x)。这就是函数逼近要解决的问题。
2004-10-18 3
二函数逼近问题
Vx ∈)(
*
已知复杂函数f(x)，或仅知道函数f(x)在某些采样点处的函数值，在某函数集合V中，寻找的“最好”
地近似f(x)的函数，就是函数逼近问题。
集合V中的元素应该是计算量小的简单函数,且应该具有近似函数f(x)的重要性质。
函数逼近问题:对函数类中给定的函数，
)(xf
V
要求在另一类较简单的便于计算的函数类Ｖ中，求
VVx?∈)(
*
)(
*
x?
)(xf
函数,使得与之差在某种度量意义下最小.
2004-10-18 4
函数逼近问题（续）
通常为为代数多项式、分式有理函数、
V
[ ]VbaC,,
三角多项式。
)(x?
当线性地依赖于参数时,即{}
n
i
i
c
0=
)()()()(
1100
xcxcxcx
nn
++?+?=? L
其中是线性无关的,函数族
)(,),(),(
10
xxx
n
L
集合V通常是依赖于一组参数的函数族,代表元素有如下形式：
)(x?
),,,;()(
10 n
cccxx L =
1+n
{}
n
V=,,,span
10
L
是一个维的线性空间,
2004-10-18 5
主要内容
null赋范空间、内积空间、正交多项式
null最佳平方逼近
null曲线最小二乘拟合
null最佳一致逼近（工科研究生不要求）
2004-10-18 6
1赋范线性空间与函数逼近问题
null定义：
null设V是实数域R上的线性空间。
null函数（泛函）RV →?,
1
0
(非负性) Vgg ∈?≥,0 ; 当且仅当0=g时有0=g,
2
0
(齐次性) VgRrgrrg ∈∈?=,,.
3
0
(三角不等式) Vgfgfgf ∈?+≤+,,.
则称实值函数?是线性空间V上的范数,并称线性空间V 为赋范线性空间,记为
),(?V
,当关于范数的应用无歧义时,沿用线性空间的符号V表示之.
2004-10-18 7
1.1 n维向量空间举例
null Remark,
对子空间VV?
1
,V上的范数?也是
1
V上的范数.
[]
2/1
22
2
2
1
2
21
n
v
V}{v RV
n
n
vvv
,v,,vv
+++=
∈=?=
L
L例一
{}
i
ni
n
v
,v,,vv
≤≤
∞
=
∈=?=
1
21
n
maxv
V}{v RV L例二
( )
2
,?
n
R赋范线性空间
( )
∞
,
n
R赋范线性空间
2004-10-18 8
1.2 连续函数空间
null定义于[a,b]上连续函数的集合C[a,b]是实数域上的线性空间
null 定义实值函数,
)(max xff
bxa ≤≤
∞
=
,
],[ baCf ∈?
00 =?=
∞
ff],,[,0 baCff ∈?≥
∞
验证三条条件
∞
≤≤≤≤
∞
=== frxfrxrffr
bxabxa
)(max)(max
RrbaCf ∈?∈? ],,[
∞∞
≤≤≤≤
≤≤
∞
+=+≤
+=+
gfxgxf
xgxfgf
bxabxa
bxa
)(max)(max
)()(max
],[,baCgf ∈?
2004-10-18 9
1.3 距离
null定义实值函数],[,)(
2
1
2
2
baCfdxxff
b
a
∈?
=
∫
.
2
也满足范数公理三条?
null两种常用的连续函数赋范线性空间
)],,[(
2
baC)],,[(
∞
baC
null赋范线性空间中距离的定义
),(,?∈? Vgf
gfgfd?=),(
Remark,
)0,(0 fdff =?=
2004-10-18 10
1.4 举例
( )
2
0
,1?
n
R
()
2/1
1
2
2
),(
=?=
∑
=
n
i
ii
vuvuvud
)],,[(3
0
∞
baC
)()(max),( xgxfgfgfd
bxa
=?=
≤≤
∞
( )
∞
,2
0 n
R
ii
ni
vuvuvud?=?=
≤≤1
2
max),(
)],,[(4
2
0
baC
2
1
2
2
))()((),(
=?=
∫
b
a
dxxgxfgfgfd
2004-10-18 11
1.5 函数逼近问题
null 设],[)( baCxf ∈ _____被逼近函数
null Φ为赋范线性空间
()?],,[ baC
的一个子集合
null 范数?可以是
∞
或者
2
等
null 称问题,求Φ∈? )(
*
x,使得
=
Φ∈?
ff min
*
.
为函数
)(xf
在赋范集合Φ上的函数逼近问题.
2004-10-18 12
1.6 逼近问题之一：最佳平方逼近
null Φ为空间()?],,[ baC的有限维子空间
null 假设其维数为1+n
null {}
n
i
i
0=
是该子空间上的一组线性无关基
null {}
n
,,,span
10
L=Φ,
null 范数取为
2
null 求Φ∈?++?+?=?
nn
cccx
*
1
*
10
*
0
*
)( L,使得
2
0
2
*
0
min
ii
n
iRc
ii
n
i
cfcf
i
=∈=
Σ?=Σ?,
2/1
2
0
)()(min
=
∫
∑
=
∈
dxxcxf
b
a
n
i
ii
Rc
i
（
多元函数求极值
）
最佳平方逼近问题
2004-10-18 13
1.7 逼近问题之二：最佳一致逼近
null Φ同上，是],[ baC的一个n+1维的子空间
null 范数取为
∞
null 求Φ∈?++?+?=?
nn
cccx
*
1
*
10
*
0
*
)( L,使得
∞
=∈
∞
=
Σ?=Σ?
ii
n
iRc
ii
n
i
cfcf
i
0
*
0
min,
∑
=
≤≤∈
=
n
i
ii
bxaRc
xcxf
i
0
)()(maxmin?
最佳一致逼近问题（多元函数求极值）
2004-10-18 14
2内积空间
null内积空间定义
null V为实数域R上的线性空间
null 定义于VV ×上的二元实值函数),( (泛函)
null (对称性) ),(),( fggf =
null (线性性) Rrrghrgfrghrfr ∈?+=+
212121
,),,(),(),(
null (非负性) 0),( ≥ff ; 当且仅当
0=f
时有
0),( =ff
Vhgf ∈?,,
则称实值函数),(是线性空间V上的一种内积.
并称线性空间V关于实值函数),(是内积空间.
Remark：若V
1
为内积空间V的子空间，则V
1
关于V的内积也是内积空间。
2004-10-18 15
2.1 连续函数空间的内积
null对于实数域上的线性空间C[a,b]，定义实值函数
],[,)()(),( baCgfdxxgxfgf
b
a
∈?=
∫
null它满足内积的三个条件.
null这样线性空间关于所规定的内积是一个内积空间.
null线性空间C[a,b]上其它形式内积的定义
null权函数定义于],[ ba上的实值函数)(xρ,如果满足
1
0
],[,0)( baxx ∈?≥ρ ;
2
0
0)( >ρ
∫
b
a
dxx ;
3
0
),2,1,0()( L=ρ
∫
kdxxx
b
a
k
存在.
则称)(xρ为区间],[ ba的一个权函数.
2004-10-18 16
(续)
null 给线性空间],[ baC赋带权的内积
ρ
),(：
∫
ρ=
ρ
b
a
dxxxgxfgf )()()(),(
null 上下文中关于内积的理解无歧义时,可简记
ρ
),(为),(
null Remark:
null 在理论证明和公式推导过程中,如没有明确权函数具体形式,则表示对任意权函数均成立.
null 在具体计算过程中,当没有确切指出权函数时,约定权函数1)( ≡ρ x
null 区间端点可以是无穷大，此时为广义积分
2004-10-18 17
2.2 内积诱导范数设f和g是内积空间V中的任意元素，r是任意实数
2
1
),( ff
有定义,且00),(
2
1
=?= fff
Rrffrrfrf ∈?=,),(),(
2
1
2
1
2
1
2
1
2
1
),(),(),( ggffgfgf +≤++
非负性齐次性三角不等式
null 实值函数
2
1
),( ff
可看作内积空间上的范数，
称之为内积诱导范数。
Schwarz
不等式
null内积空间关于其诱导范数是赋范空间.
2004-10-18 18
（续）——Schwarz不等式的论证
2
1
2
1
2
1
),(),(),( ggffgfgf +≤++
2/12/1
),(),(2),(),(),( ggffggffgfgf ++≤++
2/12/1
),(),(),( ggffgf ≤
),)(,(),(
2
ggffgf ≤
Cauchy不等式
0),(),(2),(
),(
2
≥++=
++∈?
ffgftggt
tgftgfRt
0),)(,(4)],(2[
2
≤?=? ffgggf二次函数判别式
2004-10-18 19
Remark：内积空间上的最佳平方逼近
{ }
成立。
求
∫
=
=
=Φ∈
Φ∈
Φ∈
b
a
n
dxf
ffff
tsspan
ρ?
2
10
)(
),(*)*,(
..,,,,*
min
min
L
2004-10-18 20
2.3 函数线性无关的判定定理定理3.1 设
n
,,,
10
L为内积空间Φ中元素,则
n
,,,
10
L
线性无关的充分必要条件是Gram矩阵
=
),(),(),(
),(),(),(
),(),(),(
10
11101
01000
nnnn
n
n
n
G
L
LLLL
L
L
非奇异,即0)det( ≠
n
G
.
惟一线性无关
nnn
ccc +++=? LL
110010
0,,,
00
110010
=====
nnn
cccccc＋＋＋时，才有即当且仅当LL
2004-10-18 21
（续）定理证明（必要性-反证法）
0)det( =
n
G假设有非零解线性方程组0=CG
n
使得即存在0),,,(
10
≠=
T
n
cccC L
0
),(),(),(
),(),(),(
),(),(),(
1
0
10
11101
01000
=
nnnnn
n
n
c
c
c
L
L
LLLL
L
L
0
,
,
,
0
0
1
0
0
=
∑
∑
∑
=
=
=
n
i
iin
n
i
ii
n
i
ii
c
c
c
L
矛盾！0
0
=
∑
=
n
i
ii
c?
0,
00
=?
∑∑
==
n
i
ii
n
k
kk
cc
2004-10-18 22
（续）定理证明（充分性-反证法）
线性相关假设
n
ii 0
}{
=
0
}{
1100
0
=+++
=
nn
n
ii
ccc
c
L
使得存在不全为零的常数有非零解向量线性方程组
0=CG
n
0
,
,
,
0
0
1
0
0
=
∑
∑
∑
=
=
=
n
i
iin
n
i
ii
n
i
ii
c
c
c
L
与题设矛盾！
0)det( =
n
G
2004-10-18 23
（续）Gram矩阵的性质定理3.2由内积空间中线性无关元素确定的Gram
矩阵是实对称正定矩阵.
nnnnn
n
n
T
n
c
c
c
c
c
c
L
L
LLLL
L
L
L
1
0
10
11101
01000
1
0
),(),(),(
),(),(),(
),(),(),(
=
∑∑
==
n
i
ii
n
k
kk
cc
00
,
2004-10-18 24
3正交多项式的性质---正交函数系
null 内积空间V上的两个元素 f和 g,如果有内积 0),( =gf,
则称 f和 g 关于内积),(正交
null 若内积空间上的元素系 { }
∞
=0i
i
f 满足两两正交,
即
>γ=
≠=
0),(
)(0),(
iii
ji
ff
jiff
则称 {}
∞
=0i
i
f 为正交系.
null 若正交系
∞
=0
}{
ii
f 满足 1),( =
ii
ff
),2,1,0( L=i
,
则称{}
∞
=0i
i
f为标准正交系例：三角函数系L,2cos,2sin,cos,sin,1 xxxx在区间
]2,0[ π
上是两两正交
2004-10-18 25
3.1 线性无关性正交多项式系{}
∞
=0i
i
f中任意m个函数)(,),(),(
21
xfxfxf
m
iii
L
线性无关(非负整数
m
iii,,,
21
L互不相同).
)()()(0
21
21
xfcxfcxfc
m
imii
+++= L设证明：
对于其它的正交函数系
，
该结论也正确
。
用
)(xf
k
i
和上式两端作内积
))(),(())(),((0
11
xfxfcxfxfc
kjkj
iij
m
j
iij
m
j ==
Σ=Σ=
))(),(( xfxfc
kk
iik
=
而0),( ≠
kk
ii
ff,故0=
k
c
结合k的任意性，零元素的表示惟一。
2004-10-18 26
3.2 正交性
},,,{
10 nn
fffspan L
=P ◆
对于正交多项式系{}
∞
=0i
i
f
)1(0
n
+≥=∈? nkp,fp
k
）（有◆P
nn
fcfcfcp L++=
1100
对于其它的正交函数系，该结论也正确。
2004-10-18 27
3.3 实根正交多项式系{ }
∞
= 0i
i
f中的)0()( ≠nxf
n
在区间),( ba内有n个互不相同的实单根.
在（a,b）至少有一个实根?在（a,b）的实根是单根
(反证)假设α为重根,
则至少是二重的
)()()(
2
2
xqxxf
nn?
= α
(反证)假设
)(xf
n
在),( ba内无实根
)(xf
n
在
),( ba
内恒正或恒负
0)()( >
∫
b
a
n
dxxxf ρ
0)(
),(
2
2
2
22
>?=
=
∫
∫
dxqx
dxqfqf
b
a
n
b
a
nnnn
ρα
ρ
0)()( <
∫
b
a
n
dxxxf ρ
0),1()()( ==
∫
n
b
a
n
fdxxxf ρ而矛盾！
与正交性矛盾！
2004-10-18 28
（续）
在（a,b）实单根恰好有n个
(反证)假设仅有nm <个实单根,记之为{ }
m
i
i
1=
α,
)()()(
1
i
m
i
mnn
xxqxf α?Π=
=
∫
Π=?Π
=
=
b
a
i
m
i
mni
m
i
n
dxxxxqxxf )())()(())(),((
2
11
ραα
存在),( ba内不为零的mn?次的多项式
)(xq
mn?
和多项式)(xq
mn?
的符号相同这一结论又与正交性矛盾!
2004-10-18 29
3.4 相邻三项间的关系
)()()()(
111
xfcxfbxaxf
kkkkkk+
++= ),2,1( L=k
其中
)1(
)1(
1
k
k
k
A
A
a
+
=
,
=
+
++
)1(
)2(
)1(
1
)2(
1
)1(
)1(
1
k
k
k
k
k
k
k
A
A
A
A
A
A
b
,
1
2)1(
)1(
1
)1(
1
11
1
)(
+
γ
γ
=
γ
γ
=
kk
kkk
kk
kk
k
A
AA
a
a
c,0),( ≠=γ
kkk
ff,
)2()1(
,
mm
AA分别为
)(xf
m
的首项和次项系数)1,,1( +?= kkkm
证明：
取
)1(
)1(
1
k
k
k
A
A
a
+
=
=?
+
)()(
1
xxfaxf
kkk
)()()(
11
2
0
xfdxfdxfd
kkkkii
k
i
++Σ
=
下面逐步确定组合系数
2004-10-18 30
=?
+
)()(
1
xxfaxf
kkk
)()()(
11
2
0
xfdxfdxfd
kkkkii
k
i
++Σ
=
(续1)
2-k
0ii
}{d
=
确定系数◆
0),(),(),(:2
11
=?=≤
++ mkkmkmkkk
xffafffxfafkmfor
),(),(
11
2
0
1 mkkkkii
k
i
mkkk
ffdfdfdfxfaf ++Σ=?
=
+
另一方面
mmmmm
dffd γ== ),(
)2,,1,0(0?== kmd
m
L
=?
+
)()(
1
xxfaxf
kkk
)()(
11
xfdxfd
kkkk
+
2004-10-18 31
)()(
11
xfdxfd
kkkk
+
=?
+
)()(
1
xxfaxf
kkk
(续2)
1-k
d 确定系数◆
111
),(
=?
kkkkk
dfxfa γ
),(
1
1
1?
=
kk
k
k
k
xff
a
d
γ
ii
k
i
k
k
k
k
ff
A
A
xf α
1
0
)1(
)1(
1
1
=
Σ+=而
k
k
k
k
k
k
A
Aa
d γ
γ
)1(
)1(
1
1
1
=
1
11
=?=
k
k
k
k
k
c
a
a
γ
γ
k
d 确定系数◆
)1()2()2(
1 kkkkk
AdAaA =?
+
比较
k
x的系数，
=
=
+
)1(
)2()2(
1
k
kkk
k
A
AaA
d
k
k
k
k
k
k
k
b
A
A
A
A
A
A
=
+
++
)1(
)2(
)1(
1
)2(
1
)1(
)1(
1
#
2004-10-18 32
)()(
11
xfdxfd
kkkk
+
=?
+
)()(
1
xxfaxf
kkk
(续3)
Remark 1 dk 的另一种表示方法作内积，得到上式两端与
k
f
),(),(
kkkkkk
ffdfxfa =?
),(
),(
),(
),(
)1(
)1(
1
kk
kk
k
k
kk
kk
kk
ff
fxf
A
A
ff
fxf
ad
+
=?=
Remark 2由三项递推关系的表达公式得到：
f
k
与f
k-1
并不能惟一确定f
k+1
,在允许相差一个常数倍数的意义下是惟一的。
2004-10-18 33
(续4)
Remark 3规定首项系数是1,得到三项递推关系：
==
=
≡
+
),2,1()(
1
111
01
0
Lkggxg
xg
g
kkkkk
βα
α
),1,0(
),(
),(
L== k
gg
gxg
kk
kk
k
α
),2,1(
),(
),(
11
1
L==
k
gg
gg
kk
kk
k
β
此时g
k+1
完全由g
k
及g
k-1
给定，从而当内积确定，即权函数以及积分区间给定时，首项系数为1的正交多项式是唯一确定的。
2004-10-18 34
4常用的正交多项式
null勒让德（Legendre）多项式系
null切比雪夫（Chebyshev）多项式系
null拉盖尔（Laguerre）多项式系
null埃尔米特（Hermite）多项式系
2004-10-18 35
4.1 Legendre 多项式系
null定义
=?=
=
),2,1()1(
!2
1
)(
1)(
2
0
Lnx
dx
d
n
xP
xP
n
n
n
n
n
nullLegendre多项式系的前六项分别为的首项系数
)(xP
n
2
)1(
)!(2
)!2(
!2
)12()12(2
n
n
n
nnnn
A
nn
n
=
+
=
L
0
)2(
=
n
A
次项系数。
1)(
0
=xP; xxP =)(
1;
2/)13()(
2
2
= xxP ; 2/)35()(
3
3
xxxP?= ;
8/)33035()(
24
4
+?= xxxP ; 8/)157063()(
35
5
xxxxP +?=,
它们在区间[-1,1]上的图形如下图：
2004-10-18 36
图形
2004-10-18 37
Legendre 多项式系性质多项式系
{}
∞
=0
)(
n
n
xP
是区间]1,1[?上关于权函数
1)( ≡ρ x
的正交多项式系,对任意的
)(xP
i
和
)(xP
j
有
=
+
≠
=
∫
ji
j
ji
dxxPxP
ji
12
2
0
)()(
1
1
1）奇偶性
)()1()( xPxP
n
n
n
=?
2）正交性
3）递推性
=
+
+
+
=
==
+
),2,1(,)(
1
)(
1
12
)(
)(;1)(
11
10
LnxP
n
n
xxP
n
n
xP
xxPxP
nnn
2004-10-18 38
4）最佳平方逼近性
null记首项系数为1的n次多项式集合
n
P
~
n
)1(
P
~
/)()(
~
∈=
nnn
AxPxP◆
)()(
~
)(P
~
1
0
n
xPcxPxff
ii
n
i
n
=
Σ+=∈?◆
)
~
,
~
(),(
1
0
1
0
ii
n
i
nii
n
i
n
PcPPcPff
=
=
Σ+Σ+=◆
),()
~
,
~
(
2
1
0
iii
n
i
nn
PPcPP
=
Σ+=
)
~
,
~
(
nn
PP≥
2
2
2
2
~
n
Pf ≥
),(),
~
(2)
~
,
~
(
1
0
1
0
1
0
ii
n
i
ii
n
i
ii
n
i
nnn
PcPcPcPPP
=
=
=
ΣΣ+Σ+=
当且仅当二者相等时等号成立。
2004-10-18 39
应用
()()
∫∫
≤?
1
1
2
1
1
2
0)(0)(
~
dxxfdxxP
n
n
2
2
2
2
P
~
0
~
0 ∈≥? fPf
n
在范数
2
的意义下,首项系数为1的勒让德多项式)(
~
xP
n
是集合
n
P
~
中距离零最近的元素应用举例
).(
]11[13)(
3
234
xp
xxxxf
多项式上的三次最佳平方逼近
，在区间求?+?+=
取得最小值。使得 )(
2
33
pfxp?
范数取得最小值，时当?=? 2
~
43
Ppf
.
~
43
Pfp?=即选择分析：
2004-10-18 40
4.2 Chebyshev多项式系
]1,1[)arccoscos()(?∈= xxnxT
n
null定义
1)(
0
=xT xxT =)(
1
θ= nxT
n
cos)(
xarccos=θ
θθ=θ?+θ+ coscos2)1cos()1cos( nnn
),3,2,1()()(2)(
11
L=?=
+
nxTxxTxT
nnn
{}
=
0
)(
n
n
xT
的多项式函数系
,
1)1(
2
=
n
n
A是首项系数称之为切比雪夫多项式系。它满足奇偶性T )()1()( xTx
n
n
n
=?
和
T。1)( ≤x
n
2004-10-18 41
（续）
1)(
0
=xT ;
xxT =)(
1;
12)(
2
2
= xxT;
xxxT 34)(
3
3
=;
188)(
24
4
+?= xxxT;
xxxxT 52016)(
35
5
+?=
.
2004-10-18 42
图形
2004-10-18 43
正交性
]1,1[],[
1
1
)(
2
=
= ba
x
xρ
∫∫
=
π
θθθρ
0
1
1
coscos)()()( djidxxxTxT
ji
==
≠=
≠
==
∫
0
0
2
0
coscos
2
1
ji
ji
ji
dji
π
π
θθθ
π
π
2004-10-18 44
零点与极值点
)arccoscos()( xnxT
n
=
在区间)1,1(?内的n个零点:
),,2,1(
2
cos nk
nn
k
x
k
L=
==
ππ
α
null零点
null最值点
),,2,1,0(cos nk
n
k
x
k
L=
π
=β=
交错取最大值1、最小值1?,
2004-10-18 45
最佳一致逼近性
n
n
nn
xTxT P
~
2/)()(
~
1
∈=
◆
nn
xfxfxT P
~
)(,0)(0)(
~
∈≤?
∞
∞
◆
)(max)(
~
max
2
1
1111
1
xfxT
x
n
x
n
≤≤?≤≤?
≤=即
(反证法)假若结论不成立,则另存在,使得有
n
xg P
~
)( ∈
1
1111
2
1
)(
~
max)(max
≤≤?≤≤?
=≤
n
n
xx
xTxg
令，知为不超过次的多项式。
)()(
~
)( xgxTx
n
=δ )(xδ
1?n
2004-10-18 46
最佳一致逼近性（续）
由于，
则
1
2
)1(
)(
~
=
n
k
kn
T β nk,,2,1,0 L=
0
2
1
2
1
)(
2
)1(
)()(
~
11
0
1
0
00
=?>?
=?
nnn
n
ggT βββ
1
0
2
1
)(
<
n
g β
0)
2
1
(
2
1
)(
2
)1(
)()(
~
11
1
1
1
11
=
<?
=?
nnn
n
ggT βββ
1
1
2
1
)(
>
n
g β
0
2
1
2
1
)(
2
)1(
)()(
~
11
0
1
2
202
=?>?
=?
nnn
n
ggT βββ
1
2
2
1
)(
<
n
g β
0)
2
1
(
2
1
)(
2
)1(
)()(
~
11
3
1
3
33
=
<?
=?
nnn
n
ggT βββ
1
3
2
1
)(
>
n
g β
……
2004-10-18 47
最佳一致逼近性（续）
即在共个点轮流取正负号。由连续函数的介值定理知：在个区间上至少各有一个零点,但为不超过次的多项式，其零值最多有n－1个.故产生矛盾。
)()(
~
)( xgxTx
n
=δ
1+n
)(xδ
n
),(,),,(),,(
12110 nn
ββββββ
L
)(xδ
1?n
),,2,1,0(cos nk
n
k
k
L=
=
π
β
因此，在首项系数为1的次多项式集合中,最大值满足
n
n
P
~
)(max)(
~
max
2
1
1111
1
xfxT
x
n
x
n
≤≥?≤≥?
≤=
2004-10-18 48
应用
null N次代数插值的截断误差为：
)())((
)!1(
)(
)()(
10
)1(
n
n
n
xxxxxx
n
f
xLxf?…
+
=?
+
ξ
)())((
)!1(
)()(
10
1
n
n
n
xxxxxx
n
M
xLxf?…
+
≤?
+
首项系数为1的n+1次多项式多项式的零点时有次的为选Chebyshevnx
n
ii
1}{
0
+
=
)(
~
)(
11
xTx
nn ++
=ω
误差达到最小。的意义下，在范数此时，
∞
2004-10-18 49
4.3 Laguerre 多项式系
null定义
L,2,1,0,)()( ==
nex
dx
d
exL
xn
n
n
x
n
1)(
0
=xL;
xxL?=1)(
1;
24)(
2
2
+?= xxxL ; 6189)(
23
3
+?+?= xxxxL ;
24967216)(
234
4
+?+?= xxxxxL ;
12060060020025)(
2345
5
+?+?+?= xxxxxxL
前六项为
),0[ ∞
x
ex
=ρ )(
n
n
A )1(
)1(
=
21)2(
)1( nA
n
n
=
是区间上关于权函数的正交多项式系,称之为拉盖尔多项式系,其首项系数,次项系数
2004-10-18 50
性质
=
≠
=
∫
∞+
jij
ji
dxxxLxL
ji
2
0
)!(
0
)()()( ρ
正交性三项递推关系
=+=
==
+
),2,1()()()21()(;1)(;1)(
1
2
1
10
LnxLnxLxnxL
xxLxL
nnn
2004-10-18 51
4.4 Hermite多项式系
null定义
),2,1,0()1()(
22
L=?=
ne
dx
d
exH
x
n
n
xn
n
),( ∞+?∞
2
)(
x
ex
=ρ
n
n
A 2
)1(
=
0
)2(
=
n
A
是区间上关于权函数的正交多项式系,称之为埃尔米特多项式系.其首项系数,
次项系数。
前六项为
1)(
0
=xH;
xxH 2)(
1
=;
24)(
2
2
= xxH;
xxxH 128)(
3
3
=;
124816)(
24
4
+?= xxxH ;
xxxxH 12016032)(
35
5
+?=
.
2004-10-18 52
性质正交性
=
≠
=
∫
∞+
∞?
jij
ji
dxxxHxH
j
ji
π
ρ
!2
0
)()()(
三项递推关系
=?=
==
+
),2,1()(2)(2)(;2)(;1)(
11
10
LnxnHxxHxH
xxHxH
nnn
2004-10-18 53
4.5 常用的正交多项式
)1(
n
A
)2(
n
A
n
γ
]1,1[?
n
n
n
n
n
x
dx
d
n
xP )1(
!2
1
)(
2
=
2
)!(2
)!2(
n
n
n
0
12
2
+n
]1,1[?
2
1
1
x?
)arccoscos()( xnxT
n
=
1
2
n
0
π
2
π
),0[ ∞ x
e
)()(
xn
n
n
x
n
ex
dx
d
exL
=
n
)1(?
21
)1( n
n?
2
)!(n
),( ∞+?∞
2
x
e
22
)1()(
x
n
n
xn
n
e
dx
d
exH?=
n
2
0
π!2 n
n
埃尔米特拉盖尔切比雪夫
1
勒让德记号与表达式权函数区间名称或
2004-10-18 54
5最佳平方逼近问题
定理3.3 设
nnij
aA
×
= )(为实对称正定矩阵,维列向量是和nxb
r
r
,则
二次函数 bxxAxx
TT
r
rrrr
2)(?=Π 取最小值
x
r
为线性方程组bxA
r
r
=的解,
对称正定A
≠ 0)det(A α
r
r
r
记之为有惟一解向量，bxA =
xbbxxAxx
TTT
r
rr
rrrr
=Π )( xAAxxAx
TTT
rrrrrr
αα=
αααααα
rrrrrrrrr
AAxAxAx
TTTT
+= )(
ααααα
rrrrrrrr
AxAxAx
TTT
= )()(
αααα
rrrrrr
AxAx
TT
= )()(
2004-10-18 55
最佳平方逼近问题描述
null ),,,(
10 n
span L=Φ
内积空间],[ baC的n+1维子空间
null范数取为内积诱导范数
null最佳平方逼近问题求Φ∈?++?+?=?
nn
cccx
*
1
*
10
*
0
*
)( L,使得
Σ?Σ?=
Σ?Σ?
==∈==
ii
n
i
ii
n
iRc
ii
n
i
ii
n
i
cfcfcfcf
i
00
*
0
*
0
,min,,
2004-10-18 56
矩阵表述
Σ?Σ?
==
ii
n
i
ii
n
i
cfcf
00
,
+?
=
∑∑∑
===
n
i
ii
n
i
ii
n
i
ii
cccfff
000
,,2),(
+?=
∑∑∑
===
n
i
ii
n
i
ii
n
i
ii
ccfcff
000
,),(2),(
CGCFCff
n
T
n
T
rrrr
+?= 2),(
T
nn
fffF )),(,),,(),,((
10
L
r
=
矩阵是GramG
n
2004-10-18 57
法方程组（正规方程组）
nn
FCG
rr
=
=
),(
),(
),(
),(),(),(
),(),(),(
),(),(),(
1
0
1
0
10
11101
01000
nnnnnn
n
n
f
f
f
c
c
c
MM
L
LLLL
L
L
T
n
cccC ),,,(
**
1
*
0
*
…=
r
惟一解向量记为
最佳平方逼近的解函数：
ii
n
i
c?Σ=?
=
*
0
*
2004-10-18 58
法方程组的等价表示形式
=
),(
),(
),(
),(),(),(
),(),(),(
),(),(),(
1
0
*
*
1
*
0
10
11101
01000
n
n
nnnn
n
n
f
f
f
c
c
c
M
M
L
LLLL
L
L
=
=
=
0),(
0),(
0),(
*
*
1
*
0
f
f
f
n
LLLL
=
=
=
),(),(
),(),(
),(),(
*
1
*
1
0
*
0
f
f
f
nn
LLLL
2004-10-18 59
几何意义平方逼近误差
),(
**
2
2
*
fff=
),(),(2),(
***
fff +?=
),(),(
**
= ff
=
=
=
),(),(
),(),(
),(),(
*
1
*
1
0
*
0
f
f
f
nn
LLLL
),(),(
***
f?=
2
2
*
2
2
= f
),(),(
*
fff?=
*
),( CFff
T
n
rr
=
2004-10-18 60
举例
[a,b]=[0,1];
},,,,1{
2 n
xxxspan L=
nn
H
nnn
n
n
G
=
+++
+
+
=
12
1
2
1
1
1
2
1
3
1
2
1
1
1
2
1
1
L
LLLL
L
L
Φρ(x)≡1;
null
系数矩阵希尔伯特
(Hilbert)矩阵
Tn
n
dxxfxdxxxfdxxfF ))(,,)(,)((
1
0
1
0
1
0
∫∫∫
= L
r
右端项：
nn
FCH
rr
=
法方程组
2004-10-18 61
基于正交基的最佳平方逼近目的：减少计算量，减小舍入误差的影响
（Hilbert矩阵为病态矩阵）
=
),(
),(
),(
),(00
0),(0
00),(
1
0
1
0
11
00
nnnn
f
f
f
c
c
c
MM
L
LLLL
L
L
的一组正交基。是线性空间即Φ
=
}{
0
n
ii
T
nn
n
fff
C
=
),(
),(
,,
),(
),(
,
),(
),(
11
1
00
0*
L
r
2004-10-18 62
基于正交基的最佳平方逼近（续）
最佳平方逼近函数：
n
nn
n
fff
++?
+?
=?
),(
),(
),(
),(
),(
),(
1
11
1
0
00
0*
L
平方逼近误差：
2
2
*
f
*
),( CFff
T
n
rr
=
),(
),(
),(
2
0
ii
i
n
i
f
ff
=
Σ?=
2004-10-18 63
利用已知的正交基
},,1{
2
xxspan=Φ例如
},,{,1)(],1,1[],[:1
210
PPPspanxbacase =Φ≡?= ρ
},,{,
1
1
)(],1,1[],[:2
210
2
TTTspan
x
xbacase =Φ
=?= ρ
},,{,)(),,0[),[:3
210
LLLspanexbacase
x
=Φ=+∞=
ρ
},,{,)(),,(),(:4
210
2
HHHspanexbacase
x
=Φ=+∞?∞=
ρ
2004-10-18 64
（续1）
Remark 1 注意函数f(x)的意义
[ ] dx
x
cxbxax
Rcba
∫
∈
++?
1
1 2
2
2
,,
1
1
)(sinmin例
},,{,
1
1
)(],1,1[],[
210
2
TTTspan
x
xba =Φ
=?= ρ
xxf sin)( =
[ ] dx
x
TcTbTax
Rcba
∫
∈
++?
1
1 2
2
210
,,
1
1
)
(sinmin
cbacba,,
,
,
然后计算出由
2004-10-18 65
（续2）
Remark 2 注意正交函数系必须的的确确是
Φ的基。
[ ] dx
x
bxaxx
Rba
∫
∈
+?
1
1 2
4
,
1
1
)(sinmin例
},{},{
41
4
TTspanxxspan ≠=Φ
2004-10-18 66
构造正交基
__对于不超过n次的多项式空间，即
},,,,1{
2 n
xxxspan L=Φ
利用公式：
==
=
≡
+
),2,1()(
1
111
01
0
Lkggxg
xg
g
kkkkk
βα
α
),1,0(
),(
),(
L== k
gg
gxg
kk
kk
k
α
),2,1(
),(
),(
11
1
L==
k
gg
gg
kk
kk
k
β
2004-10-18 67
(续）
__不完整的多项式空间或非多项式空间可用斯密特正交化方法：
},,{
53
xxxspan=Φ
}ln,
1
,1{ x
x
span=Φ
2004-10-18 68
转化问题
[ ] dxxcxccx
b
a
Rccc
∫
++?
∈
2
2
210
,,
)(sinmin
210
例若想用Legendre正交多项式求解，作变换
)11(
22
≤≤?
+
+
= t
ab
t
ba
x
2
)()
22
sin(min
1
1
2
2
)(
2
ab
dtt
ab
t
ba
t
+
+
∫
},,1{
2
2
ttspan∈?其中
2004-10-18 69
（续）
问题求解过程
)}(),(),({)
22
sin(1
210
0
tPtPtPspan
ab
t
ba
=Φ
+
+
在空间求解
）（上的最佳平方逼近t
*
2
做逆变换
0
2
)
2
(
*
2
ab
bax
平方误差计算
0
3
dx
ab
bax
x
b
a
∫
2
*
2
)
2
(sin?直接计算：
2
)()
22
sin(
2
1
1
*
2
ab
dtt
ab
t
ba?
+
+
∫
间接计算：
2004-10-18 70
6曲线拟合的最小二乘法一、曲线拟合模型及其求解定义：依据某种标准选择一条“最好”的简单曲线作为一组离散数据的连续模型。
{ }
m
i
ii
yx
0
),(
=
1、造型确定曲线的类型，即确定函数类Φ。
一般选取简单的低次多项式。
2004-10-18 71
2、建立拟合模型函数类Φ中的代表元素?（拟合模型）通常包含若干个参数{ } )(
0
mnc
n
i
i
<<
=
一般有
),,,;()(
10 n
cccxx L =
当?线性地依赖于所有参数时，即?可以表示为
{ }
n
i
i
c
0=
∑
=
=
n
i
ii
cx
0
)(
式中是线性无关的已知函数，这时称?是线性拟合模型。否则，当?关于某些参数是非线性的，则称之为非线性拟合模型。如。
{ }
n
i
i
0=
bx
aex =)(?
2004-10-18 72
建立拟合模型（续）
合理规定“最好”的曲线的意义，即依据何种标准确定拟合曲线中的参数。如可以选择参数，使得
{ }
n
i
i
c
0=
||
max
0
jj
mj
rr ω
≤≤
∞
=
2
1
0
2
2
=
∑
=
m
j
jj
rr ω
{}
n
i
i
c
0=
最小，式中正常数是第j个采样点x
j
处的权，是第j个采样点处的拟合残差，它依赖于拟合参数。并将向量记为或r(?)表示它对参数的依赖性，称该向量为拟合残差向量。
),,1,0( mj
j
L=ω
jnjj
ycccxr?= ),,,;(
10
L?
T
m
rrrr ),,,(
10
L= ),,,(
10 n
cccr L
或者
2004-10-18 73
建立拟合模型（续）
在切比雪夫意义下的曲线拟合模型
{ }
∞
Φ∈
∞
=
≤≤∈Φ∈
)(*)(
0,:),,,;()(*
min
10
rr
niRccccxx
in
使得＝求L
在最小二乘意义下的曲线拟合模型
{ }
22
10
)(*)(
0,:),,,;()(*
min
rr
niRccccxx
in
Φ∈
=
≤≤∈Φ∈使得＝求L
2004-10-18 74
3、最小二乘法拟合模型的求解求解如下问题：
{}
2
1
0
2
0
0
2
1
0
2
22
10
0
*
)(
)()(*)(
),,,)()(*
min
minmin
=
==
Φ∈=
∑∑
∑
∑
==
≤≤
∈
=
Φ∈Φ∈
=
m
j
n
i
jjiij
ni
Rc
m
j
jj
n
n
i
ii
yxc
rrr
spanxcx
i
ω
ω
使得＝求L
2004-10-18 75
最小二乘法拟合模型的求解（续）
{ }
m
j
j
x
0=
关于采样点引入离散形式的内积
∑
=
=
m
j
jjj
xgxfgf
0
)()(),( ω
则最小二乘问题等价于
),,,(),,,(
,)()(*
10
0
**
1
*
0
0
*
min
n
ni
Rc
n
n
i
ii
cccIcccI
xcx
i
LL
≤≤
∈
=
=
Φ∈=
∑
使得求
其中
==
∑∑
==
n
i
ii
n
i
iin
ycycyycccI
00
10
,),(),,,(L
2004-10-18 76
最小二乘法拟合模型的求解（续）
利用内积性质，有
)(),(2
),(),(2),(
),(),(2),(),,,(
000
10
CIyyYCCGC
yyyccc
yyycccI
T
n
T
n
i
ii
n
i
n
k
kiki
n
=
∑∑∑
===
+?=
+?=
+?=
L
其中
T
n
T
n
yyyY
cccC
)),(,),,(),,((
),,,(
10
10
L
L
=
=
2004-10-18 77
最小二乘法拟合模型的求解（续）
=
),(),(),(
),(),(),(
),(),(),(
10
11101
01000
nnnn
n
n
n
G
L
LLLL
L
L
为离散的Gram矩阵。
定理3.6如果离散Gram矩阵是实正定对称矩阵,则向量使得前面定义的正定二次型取得最小值的充分必要条件是向量是线性方程组G
n
C=Y的解向量.
T
n
cccC ),,,(
**
1
*
0
*
L=
*
C
2004-10-18 78
最小二乘法拟合模型的求解（续）
当G
n
是实对称正定矩阵时,det(G
n
)≠0,定理3.6中的线性方程组的解向量是存在惟一的,这也就是说,此时的最小二乘曲线拟合问题有惟一的解函数,称定理3.6中的方程组为线性空间上最小二乘问题的法方程组.
类似于前面的分析,用解函数来近似采样数据的平方误差可表示为
),(),(2),(),(
*****2
yyyyy +==δ
),(),(
**
= yy
**
),(),(),( CYyyyyy
T
rr
==
2004-10-18 79
二、关于离散Gram矩阵的进一步讨论
)()(),(
0
jkjij
m
j
ki
xxωΣ=
=
ω
ω
ω
=
)(
)(
)(
))(,),(),((
11
00
10
mkm
k
k
miii
x
x
x
xxx
LL
L
= )),(,),,(),,((
10 niii
L
ω
ω
ω
ω
ω
ω
ω
ω
ω
)(
)(
)(
)(
)(
)(
)(
)(
)(
))(,),(),((
11
00
1
111
010
0
101
000
10
mnm
n
n
mmmm
miii
x
x
x
x
x
x
x
x
x
xxx
LL
L
L
L
L
LLLL
L
由于行向量
2004-10-18 80
关于离散Gram矩阵的进一步讨论（续）
WAxxx
miii
))(,),(),((
10
= L
其中
),,,(diag
10 m
W ωωω= L
=
)(
)(
)(
)(
)(
)(
)(
)(
)(
1
0
1
11
01
0
10
00
mn
n
n
mm
x
x
x
x
x
x
x
x
x
A
LL
L
L
L
L
LLLL
依据上式进而得到离散Gram矩阵的另一表达形式：
n
G
WAAG
T
n
=
2004-10-18 81
关于离散Gram矩阵的进一步讨论（续）
设α是任意维非零列向量,考虑到对角矩阵W的对角线元素均为正,得到
0)()( ≥αα=αα AWAG
T
n
T
0)()( >αα=αα AWAG
T
n
T
即离散Gram矩阵至少是半正定矩阵,特别地,当A是列满秩矩阵时,即矩阵的各列是线性无关的,则对任意维非零列向量α有Aα是维非零列向量,进而由上式得到
1+n
1+m
此时离散Gram矩阵正定,定理3.6的条件得到满足,不严格地说,由于矩阵的行数远远大于列数,矩阵一般都是列满秩的.
2004-10-18 82
关于离散Gram矩阵的进一步讨论（续）
类似于上面的讨论,我们有其中
yWAY
T
v
=
T
m
yyyy ),,,(
10
L
v
=
yWACWAA
TT
r
r
=
故法方程组有如下表达形式：
该式可以看作是给(超定)线性方程组,即yCA
r
r
=
=
nnmn
n
n
mm
y
y
y
c
c
c
x
x
x
x
x
x
x
x
x
MMLL
L
L
L
L
LLLL
1
0
1
0
1
0
1
11
01
0
10
00
)(
)(
)(
)(
)(
)(
)(
)(
)(
v
2004-10-18 83
关于离散Gram矩阵的进一步讨论（续）
的两端同乘一矩阵得到的。上面的线性方程组可以理解为在维的线性空间上求过节点的插值函数所列出的线性方程组。
由于插值条件的个数远大于待定参数的个数,
故一般说来该线性方程组是一个矛盾方程组,无解。
反回来,法方程组的解又可以看作是上述矛盾方程在最小二乘意义下的最优解。
1+n ),,,(span
10 n
=Φ L
1+m
{}
m
j
jj
yx
0
),(
=
1+n
WA
T
2004-10-18 84
关于离散Gram矩阵的进一步讨论（续）
当取权矩阵为单位矩阵时,法方程组简化为W
yACAA
TT
r
r
=
A
AA
T
yAAAC
TT
r
r
1
)(
=
TT
AAA
1
)(
A
=
+
A
TT
AAA
1
)(
yAC
r
r
+
=
设是列满秩的矩阵,则是实对称正定矩阵,非奇异,由上式得到的矛盾方程组在最小二乘意义下的最优解可表示为。在矩阵论中称为列满秩矩阵的广义逆,记为。进而是矛盾方程组在最小二乘意义下的最优解。
2004-10-18 85
关于离散Gram矩阵的进一步讨论（续）
例确定经验公式中的参数,使之与如下数据拟合。
2
1
)(
bxax
cx
xf
++
=
1.5791.0000.6900.4840.3230.172f(x
i
)
0.60.50.40.30.20.1x
i
解经验公式关于参数非线性,构造一个新函数
xcc
x
cx
c
b
c
a
cxxf
xg
210
11
)(
1
)( ++=++==
记为此时有,并有如下函数值表:
∈ x
x
xg,1,
1
span)(
2004-10-18 86
关于离散Gram矩阵的进一步讨论（续）
0.633311.000001.449282.066123.095985.81395g(x
i
)
0.60.50.40.30.20.1x
i
=
6.05.04.03.02.01.0
111111
3/522/53/1510
T
A
取
T
g
v
=[5.81395 3.09598 2.06612 1.44928 1.00000 0.63331]
最小二乘曲线拟合的法方程组为,即gACAA
TT
r
r
=
2004-10-18 87
关于离散Gram矩阵的进一步讨论（续）
=
280123.3
058632.14
185172.87
91.01.26
1.265.24
65.24139.149
2
1
0
c
c
c
解方程组得
= 0.503375,
= 0.976071,
= -1.966900,
0
c
1
c
2
c
进而有参数
= 1.98659
= 1.93905,
= -3.907422 。
0
/1 cc =
cca
1
=
ccb
2
=
0098340.0*)(),(*),*(),(
2
2
=?=?= cgAyyyy
TT
rr
δ
其平方误差为
2004-10-18 88
拟合效果示意图
2004-10-18 89
三、用关于点集的正交函数系作最小二乘曲线拟合定义于有限维空间上的最小二乘曲线拟合问题的解函数是通过求解法方程组得到的。通常选定的基函数产生的法方程组系数矩阵是病态的,在求解法方程组时系数矩阵或右端项的微小扰动可能导致解函数有很大的误差。为避免求解病态法方程组,
我们希望选择一类特殊的基函数,使法方程组系数矩阵是对角阵。为此,引入如下概念:
Φ
n
G
n
G
2004-10-18 90
最小二乘曲线拟合（续）
=>?
≠
=ωΣ=
=
ji
ji
xx
i
kjkik
m
k
ji
0
0
)()(),(
2
2
0
定义：如果定义于区间上的函数族关于点集以及一组权值所定义的离散内积满足关系
],[ ba
{} ],[
0
bax
m
i
i
=
),,1,0,0( mi
i
L=>ω
{ }
n
i
i
0=
{ }
m
i
i
0=
ω
{}
n
i
i
0=
{ }
m
i
i
0=
ω
{ }
m
i
i
x
0=
则称函数族是关于点集以及权值的正交函数族。
2004-10-18 91
最小二乘曲线拟合（续）
当函数族是线性空间的一组线性无关基时,
定义于该线性空间上的最小二乘曲线拟合问题的法方程组系数矩阵为对角阵
{}
n
i
i
0=
Φ
=
),(
),(
),(
11
00
nn
n
G
O
2004-10-18 92
最小二乘曲线拟合（续）
)(
),(
),(
)(
0
*
x
y
x
i
ii
i
n
i
Σ=?
=
r
拟合曲线为：
综合平方误差估计式得到
),(
),(
),(),(
2
0
**
2
2
ii
i
n
i
y
yyyy
Σ?==δ
=
r
rrrr
2004-10-18 93
最小二乘曲线拟合（续）
当有限维线性空间为不超过次的多项式时,类似于前面关于正交多项式系的讨论,我们有关于点集及权值的首项系数为1正交多项式递推公式
Φ
n
{ }
m
i
i
x
0=
{}
m
i
i
0=
ω
=?βα?=?
α?=?
≡?
+
)1,,2,1()()()()(
)(
1)(
111
01
0
nkxxxx
xx
x
kkkkk
L
其中
2004-10-18 94
最小二乘曲线拟合（续）
)1,,1,0(
)(
)(
),(
),(
2
0
2
0
=
ωΣ
ωΣ
=
=α
=
=
nk
x
xx
x
jkj
m
j
jkjj
m
j
kk
kk
k
L
)1,,2,1(
)(
)(
),(
),(
2
1
0
2
0
11
1
=
ωΣ
ωΣ
=
=β
=
=
nk
x
x
jkj
m
j
jkj
m
j
kk
kk
k
L
第三章函数逼近一、问题的提出如果实际问题要求解在[a,b]区间的每一点都“很好地”逼近的话，运用插值函数有时就要失败。
另外，插值所需的数据往往来源于观察测量，本身有一定的误差。要求插值曲线通过这些本身有误差的点，势必使插值结果更加不准确。
)(xf
2004-10-18 2
问题的提出（续）
0
x
为了照顾到远离的点其误差也较小，往往将阶数n取得很大。
),()(
)!1(
)(
)()()(
0
1
0
)1(
xxxx
n
f
xpxfxR
n
n
nn
∈?
+
=?=
+
+
ξ
ξ
设
)(xp
n
的Taylor级数的前n项部分和,
其截断误差为
)(xf
为这样做又费事、又多占存贮单元。因此往往要求在给定精度下，求形式简单的计算公式，使其均匀地逼近f(x)。这就是函数逼近要解决的问题。
2004-10-18 3
二函数逼近问题
Vx ∈)(
*
已知复杂函数f(x)，或仅知道函数f(x)在某些采样点处的函数值，在某函数集合V中，寻找的“最好”
地近似f(x)的函数，就是函数逼近问题。
集合V中的元素应该是计算量小的简单函数,且应该具有近似函数f(x)的重要性质。
函数逼近问题:对函数类中给定的函数，
)(xf
V
要求在另一类较简单的便于计算的函数类Ｖ中，求
VVx?∈)(
*
)(
*
x?
)(xf
函数,使得与之差在某种度量意义下最小.
2004-10-18 4
函数逼近问题（续）
通常为为代数多项式、分式有理函数、
V
[ ]VbaC,,
三角多项式。
)(x?
当线性地依赖于参数时,即{}
n
i
i
c
0=
)()()()(
1100
xcxcxcx
nn
++?+?=? L
其中是线性无关的,函数族
)(,),(),(
10
xxx
n
L
集合V通常是依赖于一组参数的函数族,代表元素有如下形式：
)(x?
),,,;()(
10 n
cccxx L =
1+n
{}
n
V=,,,span
10
L
是一个维的线性空间,
2004-10-18 5
主要内容
null赋范空间、内积空间、正交多项式
null最佳平方逼近
null曲线最小二乘拟合
null最佳一致逼近（工科研究生不要求）
2004-10-18 6
1赋范线性空间与函数逼近问题
null定义：
null设V是实数域R上的线性空间。
null函数（泛函）RV →?,
1
0
(非负性) Vgg ∈?≥,0 ; 当且仅当0=g时有0=g,
2
0
(齐次性) VgRrgrrg ∈∈?=,,.
3
0
(三角不等式) Vgfgfgf ∈?+≤+,,.
则称实值函数?是线性空间V上的范数,并称线性空间V 为赋范线性空间,记为
),(?V
,当关于范数的应用无歧义时,沿用线性空间的符号V表示之.
2004-10-18 7
1.1 n维向量空间举例
null Remark,
对子空间VV?
1
,V上的范数?也是
1
V上的范数.
[]
2/1
22
2
2
1
2
21
n
v
V}{v RV
n
n
vvv
,v,,vv
+++=
∈=?=
L
L例一
{}
i
ni
n
v
,v,,vv
≤≤
∞
=
∈=?=
1
21
n
maxv
V}{v RV L例二
( )
2
,?
n
R赋范线性空间
( )
∞
,
n
R赋范线性空间
2004-10-18 8
1.2 连续函数空间
null定义于[a,b]上连续函数的集合C[a,b]是实数域上的线性空间
null 定义实值函数,
)(max xff
bxa ≤≤
∞
=
,
],[ baCf ∈?
00 =?=
∞
ff],,[,0 baCff ∈?≥
∞
验证三条条件
∞
≤≤≤≤
∞
=== frxfrxrffr
bxabxa
)(max)(max
RrbaCf ∈?∈? ],,[
∞∞
≤≤≤≤
≤≤
∞
+=+≤
+=+
gfxgxf
xgxfgf
bxabxa
bxa
)(max)(max
)()(max
],[,baCgf ∈?
2004-10-18 9
1.3 距离
null定义实值函数],[,)(
2
1
2
2
baCfdxxff
b
a
∈?
=
∫
.
2
也满足范数公理三条?
null两种常用的连续函数赋范线性空间
)],,[(
2
baC)],,[(
∞
baC
null赋范线性空间中距离的定义
),(,?∈? Vgf
gfgfd?=),(
Remark,
)0,(0 fdff =?=
2004-10-18 10
1.4 举例
( )
2
0
,1?
n
R
()
2/1
1
2
2
),(
=?=
∑
=
n
i
ii
vuvuvud
)],,[(3
0
∞
baC
)()(max),( xgxfgfgfd
bxa
=?=
≤≤
∞
( )
∞
,2
0 n
R
ii
ni
vuvuvud?=?=
≤≤1
2
max),(
)],,[(4
2
0
baC
2
1
2
2
))()((),(
=?=
∫
b
a
dxxgxfgfgfd
2004-10-18 11
1.5 函数逼近问题
null 设],[)( baCxf ∈ _____被逼近函数
null Φ为赋范线性空间
()?],,[ baC
的一个子集合
null 范数?可以是
∞
或者
2
等
null 称问题,求Φ∈? )(
*
x,使得
=
Φ∈?
ff min
*
.
为函数
)(xf
在赋范集合Φ上的函数逼近问题.
2004-10-18 12
1.6 逼近问题之一：最佳平方逼近
null Φ为空间()?],,[ baC的有限维子空间
null 假设其维数为1+n
null {}
n
i
i
0=
是该子空间上的一组线性无关基
null {}
n
,,,span
10
L=Φ,
null 范数取为
2
null 求Φ∈?++?+?=?
nn
cccx
*
1
*
10
*
0
*
)( L,使得
2
0
2
*
0
min
ii
n
iRc
ii
n
i
cfcf
i
=∈=
Σ?=Σ?,
2/1
2
0
)()(min
=
∫
∑
=
∈
dxxcxf
b
a
n
i
ii
Rc
i
（
多元函数求极值
）
最佳平方逼近问题
2004-10-18 13
1.7 逼近问题之二：最佳一致逼近
null Φ同上，是],[ baC的一个n+1维的子空间
null 范数取为
∞
null 求Φ∈?++?+?=?
nn
cccx
*
1
*
10
*
0
*
)( L,使得
∞
=∈
∞
=
Σ?=Σ?
ii
n
iRc
ii
n
i
cfcf
i
0
*
0
min,
∑
=
≤≤∈
=
n
i
ii
bxaRc
xcxf
i
0
)()(maxmin?
最佳一致逼近问题（多元函数求极值）
2004-10-18 14
2内积空间
null内积空间定义
null V为实数域R上的线性空间
null 定义于VV ×上的二元实值函数),( (泛函)
null (对称性) ),(),( fggf =
null (线性性) Rrrghrgfrghrfr ∈?+=+
212121
,),,(),(),(
null (非负性) 0),( ≥ff ; 当且仅当
0=f
时有
0),( =ff
Vhgf ∈?,,
则称实值函数),(是线性空间V上的一种内积.
并称线性空间V关于实值函数),(是内积空间.
Remark：若V
1
为内积空间V的子空间，则V
1
关于V的内积也是内积空间。
2004-10-18 15
2.1 连续函数空间的内积
null对于实数域上的线性空间C[a,b]，定义实值函数
],[,)()(),( baCgfdxxgxfgf
b
a
∈?=
∫
null它满足内积的三个条件.
null这样线性空间关于所规定的内积是一个内积空间.
null线性空间C[a,b]上其它形式内积的定义
null权函数定义于],[ ba上的实值函数)(xρ,如果满足
1
0
],[,0)( baxx ∈?≥ρ ;
2
0
0)( >ρ
∫
b
a
dxx ;
3
0
),2,1,0()( L=ρ
∫
kdxxx
b
a
k
存在.
则称)(xρ为区间],[ ba的一个权函数.
2004-10-18 16
(续)
null 给线性空间],[ baC赋带权的内积
ρ
),(：
∫
ρ=
ρ
b
a
dxxxgxfgf )()()(),(
null 上下文中关于内积的理解无歧义时,可简记
ρ
),(为),(
null Remark:
null 在理论证明和公式推导过程中,如没有明确权函数具体形式,则表示对任意权函数均成立.
null 在具体计算过程中,当没有确切指出权函数时,约定权函数1)( ≡ρ x
null 区间端点可以是无穷大，此时为广义积分
2004-10-18 17
2.2 内积诱导范数设f和g是内积空间V中的任意元素，r是任意实数
2
1
),( ff
有定义,且00),(
2
1
=?= fff
Rrffrrfrf ∈?=,),(),(
2
1
2
1
2
1
2
1
2
1
),(),(),( ggffgfgf +≤++
非负性齐次性三角不等式
null 实值函数
2
1
),( ff
可看作内积空间上的范数，
称之为内积诱导范数。
Schwarz
不等式
null内积空间关于其诱导范数是赋范空间.
2004-10-18 18
（续）——Schwarz不等式的论证
2
1
2
1
2
1
),(),(),( ggffgfgf +≤++
2/12/1
),(),(2),(),(),( ggffggffgfgf ++≤++
2/12/1
),(),(),( ggffgf ≤
),)(,(),(
2
ggffgf ≤
Cauchy不等式
0),(),(2),(
),(
2
≥++=
++∈?
ffgftggt
tgftgfRt
0),)(,(4)],(2[
2
≤?=? ffgggf二次函数判别式
2004-10-18 19
Remark：内积空间上的最佳平方逼近
{ }
成立。
求
∫
=
=
=Φ∈
Φ∈
Φ∈
b
a
n
dxf
ffff
tsspan
ρ?
2
10
)(
),(*)*,(
..,,,,*
min
min
L
2004-10-18 20
2.3 函数线性无关的判定定理定理3.1 设
n
,,,
10
L为内积空间Φ中元素,则
n
,,,
10
L
线性无关的充分必要条件是Gram矩阵
=
),(),(),(
),(),(),(
),(),(),(
10
11101
01000
nnnn
n
n
n
G
L
LLLL
L
L
非奇异,即0)det( ≠
n
G
.
惟一线性无关
nnn
ccc +++=? LL
110010
0,,,
00
110010
=====
nnn
cccccc＋＋＋时，才有即当且仅当LL
2004-10-18 21
（续）定理证明（必要性-反证法）
0)det( =
n
G假设有非零解线性方程组0=CG
n
使得即存在0),,,(
10
≠=
T
n
cccC L
0
),(),(),(
),(),(),(
),(),(),(
1
0
10
11101
01000
=
nnnnn
n
n
c
c
c
L
L
LLLL
L
L
0
,
,
,
0
0
1
0
0
=
∑
∑
∑
=
=
=
n
i
iin
n
i
ii
n
i
ii
c
c
c
L
矛盾！0
0
=
∑
=
n
i
ii
c?
0,
00
=?
∑∑
==
n
i
ii
n
k
kk
cc
2004-10-18 22
（续）定理证明（充分性-反证法）
线性相关假设
n
ii 0
}{
=
0
}{
1100
0
=+++
=
nn
n
ii
ccc
c
L
使得存在不全为零的常数有非零解向量线性方程组
0=CG
n
0
,
,
,
0
0
1
0
0
=
∑
∑
∑
=
=
=
n
i
iin
n
i
ii
n
i
ii
c
c
c
L
与题设矛盾！
0)det( =
n
G
2004-10-18 23
（续）Gram矩阵的性质定理3.2由内积空间中线性无关元素确定的Gram
矩阵是实对称正定矩阵.
nnnnn
n
n
T
n
c
c
c
c
c
c
L
L
LLLL
L
L
L
1
0
10
11101
01000
1
0
),(),(),(
),(),(),(
),(),(),(
=
∑∑
==
n
i
ii
n
k
kk
cc
00
,
2004-10-18 24
3正交多项式的性质---正交函数系
null 内积空间V上的两个元素 f和 g,如果有内积 0),( =gf,
则称 f和 g 关于内积),(正交
null 若内积空间上的元素系 { }
∞
=0i
i
f 满足两两正交,
即
>γ=
≠=
0),(
)(0),(
iii
ji
ff
jiff
则称 {}
∞
=0i
i
f 为正交系.
null 若正交系
∞
=0
}{
ii
f 满足 1),( =
ii
ff
),2,1,0( L=i
,
则称{}
∞
=0i
i
f为标准正交系例：三角函数系L,2cos,2sin,cos,sin,1 xxxx在区间
]2,0[ π
上是两两正交
2004-10-18 25
3.1 线性无关性正交多项式系{}
∞
=0i
i
f中任意m个函数)(,),(),(
21
xfxfxf
m
iii
L
线性无关(非负整数
m
iii,,,
21
L互不相同).
)()()(0
21
21
xfcxfcxfc
m
imii
+++= L设证明：
对于其它的正交函数系
，
该结论也正确
。
用
)(xf
k
i
和上式两端作内积
))(),(())(),((0
11
xfxfcxfxfc
kjkj
iij
m
j
iij
m
j ==
Σ=Σ=
))(),(( xfxfc
kk
iik
=
而0),( ≠
kk
ii
ff,故0=
k
c
结合k的任意性，零元素的表示惟一。
2004-10-18 26
3.2 正交性
},,,{
10 nn
fffspan L
=P ◆
对于正交多项式系{}
∞
=0i
i
f
)1(0
n
+≥=∈? nkp,fp
k
）（有◆P
nn
fcfcfcp L++=
1100
对于其它的正交函数系，该结论也正确。
2004-10-18 27
3.3 实根正交多项式系{ }
∞
= 0i
i
f中的)0()( ≠nxf
n
在区间),( ba内有n个互不相同的实单根.
在（a,b）至少有一个实根?在（a,b）的实根是单根
(反证)假设α为重根,
则至少是二重的
)()()(
2
2
xqxxf
nn?
= α
(反证)假设
)(xf
n
在),( ba内无实根
)(xf
n
在
),( ba
内恒正或恒负
0)()( >
∫
b
a
n
dxxxf ρ
0)(
),(
2
2
2
22
>?=
=
∫
∫
dxqx
dxqfqf
b
a
n
b
a
nnnn
ρα
ρ
0)()( <
∫
b
a
n
dxxxf ρ
0),1()()( ==
∫
n
b
a
n
fdxxxf ρ而矛盾！
与正交性矛盾！
2004-10-18 28
（续）
在（a,b）实单根恰好有n个
(反证)假设仅有nm <个实单根,记之为{ }
m
i
i
1=
α,
)()()(
1
i
m
i
mnn
xxqxf α?Π=
=
∫
Π=?Π
=
=
b
a
i
m
i
mni
m
i
n
dxxxxqxxf )())()(())(),((
2
11
ραα
存在),( ba内不为零的mn?次的多项式
)(xq
mn?
和多项式)(xq
mn?
的符号相同这一结论又与正交性矛盾!
2004-10-18 29
3.4 相邻三项间的关系
)()()()(
111
xfcxfbxaxf
kkkkkk+
++= ),2,1( L=k
其中
)1(
)1(
1
k
k
k
A
A
a
+
=
,
=
+
++
)1(
)2(
)1(
1
)2(
1
)1(
)1(
1
k
k
k
k
k
k
k
A
A
A
A
A
A
b
,
1
2)1(
)1(
1
)1(
1
11
1
)(
+
γ
γ
=
γ
γ
=
kk
kkk
kk
kk
k
A
AA
a
a
c,0),( ≠=γ
kkk
ff,
)2()1(
,
mm
AA分别为
)(xf
m
的首项和次项系数)1,,1( +?= kkkm
证明：
取
)1(
)1(
1
k
k
k
A
A
a
+
=
=?
+
)()(
1
xxfaxf
kkk
)()()(
11
2
0
xfdxfdxfd
kkkkii
k
i
++Σ
=
下面逐步确定组合系数
2004-10-18 30
=?
+
)()(
1
xxfaxf
kkk
)()()(
11
2
0
xfdxfdxfd
kkkkii
k
i
++Σ
=
(续1)
2-k
0ii
}{d
=
确定系数◆
0),(),(),(:2
11
=?=≤
++ mkkmkmkkk
xffafffxfafkmfor
),(),(
11
2
0
1 mkkkkii
k
i
mkkk
ffdfdfdfxfaf ++Σ=?
=
+
另一方面
mmmmm
dffd γ== ),(
)2,,1,0(0?== kmd
m
L
=?
+
)()(
1
xxfaxf
kkk
)()(
11
xfdxfd
kkkk
+
2004-10-18 31
)()(
11
xfdxfd
kkkk
+
=?
+
)()(
1
xxfaxf
kkk
(续2)
1-k
d 确定系数◆
111
),(
=?
kkkkk
dfxfa γ
),(
1
1
1?
=
kk
k
k
k
xff
a
d
γ
ii
k
i
k
k
k
k
ff
A
A
xf α
1
0
)1(
)1(
1
1
=
Σ+=而
k
k
k
k
k
k
A
Aa
d γ
γ
)1(
)1(
1
1
1
=
1
11
=?=
k
k
k
k
k
c
a
a
γ
γ
k
d 确定系数◆
)1()2()2(
1 kkkkk
AdAaA =?
+
比较
k
x的系数，
=
=
+
)1(
)2()2(
1
k
kkk
k
A
AaA
d
k
k
k
k
k
k
k
b
A
A
A
A
A
A
=
+
++
)1(
)2(
)1(
1
)2(
1
)1(
)1(
1
#
2004-10-18 32
)()(
11
xfdxfd
kkkk
+
=?
+
)()(
1
xxfaxf
kkk
(续3)
Remark 1 dk 的另一种表示方法作内积，得到上式两端与
k
f
),(),(
kkkkkk
ffdfxfa =?
),(
),(
),(
),(
)1(
)1(
1
kk
kk
k
k
kk
kk
kk
ff
fxf
A
A
ff
fxf
ad
+
=?=
Remark 2由三项递推关系的表达公式得到：
f
k
与f
k-1
并不能惟一确定f
k+1
,在允许相差一个常数倍数的意义下是惟一的。
2004-10-18 33
(续4)
Remark 3规定首项系数是1,得到三项递推关系：
==
=
≡
+
),2,1()(
1
111
01
0
Lkggxg
xg
g
kkkkk
βα
α
),1,0(
),(
),(
L== k
gg
gxg
kk
kk
k
α
),2,1(
),(
),(
11
1
L==
k
gg
gg
kk
kk
k
β
此时g
k+1
完全由g
k
及g
k-1
给定，从而当内积确定，即权函数以及积分区间给定时，首项系数为1的正交多项式是唯一确定的。
2004-10-18 34
4常用的正交多项式
null勒让德（Legendre）多项式系
null切比雪夫（Chebyshev）多项式系
null拉盖尔（Laguerre）多项式系
null埃尔米特（Hermite）多项式系
2004-10-18 35
4.1 Legendre 多项式系
null定义
=?=
=
),2,1()1(
!2
1
)(
1)(
2
0
Lnx
dx
d
n
xP
xP
n
n
n
n
n
nullLegendre多项式系的前六项分别为的首项系数
)(xP
n
2
)1(
)!(2
)!2(
!2
)12()12(2
n
n
n
nnnn
A
nn
n
=
+
=
L
0
)2(
=
n
A
次项系数。
1)(
0
=xP; xxP =)(
1;
2/)13()(
2
2
= xxP ; 2/)35()(
3
3
xxxP?= ;
8/)33035()(
24
4
+?= xxxP ; 8/)157063()(
35
5
xxxxP +?=,
它们在区间[-1,1]上的图形如下图：
2004-10-18 36
图形
2004-10-18 37
Legendre 多项式系性质多项式系
{}
∞
=0
)(
n
n
xP
是区间]1,1[?上关于权函数
1)( ≡ρ x
的正交多项式系,对任意的
)(xP
i
和
)(xP
j
有
=
+
≠
=
∫
ji
j
ji
dxxPxP
ji
12
2
0
)()(
1
1
1）奇偶性
)()1()( xPxP
n
n
n
=?
2）正交性
3）递推性
=
+
+
+
=
==
+
),2,1(,)(
1
)(
1
12
)(
)(;1)(
11
10
LnxP
n
n
xxP
n
n
xP
xxPxP
nnn
2004-10-18 38
4）最佳平方逼近性
null记首项系数为1的n次多项式集合
n
P
~
n
)1(
P
~
/)()(
~
∈=
nnn
AxPxP◆
)()(
~
)(P
~
1
0
n
xPcxPxff
ii
n
i
n
=
Σ+=∈?◆
)
~
,
~
(),(
1
0
1
0
ii
n
i
nii
n
i
n
PcPPcPff
=
=
Σ+Σ+=◆
),()
~
,
~
(
2
1
0
iii
n
i
nn
PPcPP
=
Σ+=
)
~
,
~
(
nn
PP≥
2
2
2
2
~
n
Pf ≥
),(),
~
(2)
~
,
~
(
1
0
1
0
1
0
ii
n
i
ii
n
i
ii
n
i
nnn
PcPcPcPPP
=
=
=
ΣΣ+Σ+=
当且仅当二者相等时等号成立。
2004-10-18 39
应用
()()
∫∫
≤?
1
1
2
1
1
2
0)(0)(
~
dxxfdxxP
n
n
2
2
2
2
P
~
0
~
0 ∈≥? fPf
n
在范数
2
的意义下,首项系数为1的勒让德多项式)(
~
xP
n
是集合
n
P
~
中距离零最近的元素应用举例
).(
]11[13)(
3
234
xp
xxxxf
多项式上的三次最佳平方逼近
，在区间求?+?+=
取得最小值。使得 )(
2
33
pfxp?
范数取得最小值，时当?=? 2
~
43
Ppf
.
~
43
Pfp?=即选择分析：
2004-10-18 40
4.2 Chebyshev多项式系
]1,1[)arccoscos()(?∈= xxnxT
n
null定义
1)(
0
=xT xxT =)(
1
θ= nxT
n
cos)(
xarccos=θ
θθ=θ?+θ+ coscos2)1cos()1cos( nnn
),3,2,1()()(2)(
11
L=?=
+
nxTxxTxT
nnn
{}
=
0
)(
n
n
xT
的多项式函数系
,
1)1(
2
=
n
n
A是首项系数称之为切比雪夫多项式系。它满足奇偶性T )()1()( xTx
n
n
n
=?
和
T。1)( ≤x
n
2004-10-18 41
（续）
1)(
0
=xT ;
xxT =)(
1;
12)(
2
2
= xxT;
xxxT 34)(
3
3
=;
188)(
24
4
+?= xxxT;
xxxxT 52016)(
35
5
+?=
.
2004-10-18 42
图形
2004-10-18 43
正交性
]1,1[],[
1
1
)(
2
=
= ba
x
xρ
∫∫
=
π
θθθρ
0
1
1
coscos)()()( djidxxxTxT
ji
==
≠=
≠
==
∫
0
0
2
0
coscos
2
1
ji
ji
ji
dji
π
π
θθθ
π
π
2004-10-18 44
零点与极值点
)arccoscos()( xnxT
n
=
在区间)1,1(?内的n个零点:
),,2,1(
2
cos nk
nn
k
x
k
L=
==
ππ
α
null零点
null最值点
),,2,1,0(cos nk
n
k
x
k
L=
π
=β=
交错取最大值1、最小值1?,
2004-10-18 45
最佳一致逼近性
n
n
nn
xTxT P
~
2/)()(
~
1
∈=
◆
nn
xfxfxT P
~
)(,0)(0)(
~
∈≤?
∞
∞
◆
)(max)(
~
max
2
1
1111
1
xfxT
x
n
x
n
≤≤?≤≤?
≤=即
(反证法)假若结论不成立,则另存在,使得有
n
xg P
~
)( ∈
1
1111
2
1
)(
~
max)(max
≤≤?≤≤?
=≤
n
n
xx
xTxg
令，知为不超过次的多项式。
)()(
~
)( xgxTx
n
=δ )(xδ
1?n
2004-10-18 46
最佳一致逼近性（续）
由于，
则
1
2
)1(
)(
~
=
n
k
kn
T β nk,,2,1,0 L=
0
2
1
2
1
)(
2
)1(
)()(
~
11
0
1
0
00
=?>?
=?
nnn
n
ggT βββ
1
0
2
1
)(
<
n
g β
0)
2
1
(
2
1
)(
2
)1(
)()(
~
11
1
1
1
11
=
<?
=?
nnn
n
ggT βββ
1
1
2
1
)(
>
n
g β
0
2
1
2
1
)(
2
)1(
)()(
~
11
0
1
2
202
=?>?
=?
nnn
n
ggT βββ
1
2
2
1
)(
<
n
g β
0)
2
1
(
2
1
)(
2
)1(
)()(
~
11
3
1
3
33
=
<?
=?
nnn
n
ggT βββ
1
3
2
1
)(
>
n
g β
……
2004-10-18 47
最佳一致逼近性（续）
即在共个点轮流取正负号。由连续函数的介值定理知：在个区间上至少各有一个零点,但为不超过次的多项式，其零值最多有n－1个.故产生矛盾。
)()(
~
)( xgxTx
n
=δ
1+n
)(xδ
n
),(,),,(),,(
12110 nn
ββββββ
L
)(xδ
1?n
),,2,1,0(cos nk
n
k
k
L=
=
π
β
因此，在首项系数为1的次多项式集合中,最大值满足
n
n
P
~
)(max)(
~
max
2
1
1111
1
xfxT
x
n
x
n
≤≥?≤≥?
≤=
2004-10-18 48
应用
null N次代数插值的截断误差为：
)())((
)!1(
)(
)()(
10
)1(
n
n
n
xxxxxx
n
f
xLxf?…
+
=?
+
ξ
)())((
)!1(
)()(
10
1
n
n
n
xxxxxx
n
M
xLxf?…
+
≤?
+
首项系数为1的n+1次多项式多项式的零点时有次的为选Chebyshevnx
n
ii
1}{
0
+
=
)(
~
)(
11
xTx
nn ++
=ω
误差达到最小。的意义下，在范数此时，
∞
2004-10-18 49
4.3 Laguerre 多项式系
null定义
L,2,1,0,)()( ==
nex
dx
d
exL
xn
n
n
x
n
1)(
0
=xL;
xxL?=1)(
1;
24)(
2
2
+?= xxxL ; 6189)(
23
3
+?+?= xxxxL ;
24967216)(
234
4
+?+?= xxxxxL ;
12060060020025)(
2345
5
+?+?+?= xxxxxxL
前六项为
),0[ ∞
x
ex
=ρ )(
n
n
A )1(
)1(
=
21)2(
)1( nA
n
n
=
是区间上关于权函数的正交多项式系,称之为拉盖尔多项式系,其首项系数,次项系数
2004-10-18 50
性质
=
≠
=
∫
∞+
jij
ji
dxxxLxL
ji
2
0
)!(
0
)()()( ρ
正交性三项递推关系
=+=
==
+
),2,1()()()21()(;1)(;1)(
1
2
1
10
LnxLnxLxnxL
xxLxL
nnn
2004-10-18 51
4.4 Hermite多项式系
null定义
),2,1,0()1()(
22
L=?=
ne
dx
d
exH
x
n
n
xn
n
),( ∞+?∞
2
)(
x
ex
=ρ
n
n
A 2
)1(
=
0
)2(
=
n
A
是区间上关于权函数的正交多项式系,称之为埃尔米特多项式系.其首项系数,
次项系数。
前六项为
1)(
0
=xH;
xxH 2)(
1
=;
24)(
2
2
= xxH;
xxxH 128)(
3
3
=;
124816)(
24
4
+?= xxxH ;
xxxxH 12016032)(
35
5
+?=
.
2004-10-18 52
性质正交性
=
≠
=
∫
∞+
∞?
jij
ji
dxxxHxH
j
ji
π
ρ
!2
0
)()()(
三项递推关系
=?=
==
+
),2,1()(2)(2)(;2)(;1)(
11
10
LnxnHxxHxH
xxHxH
nnn
2004-10-18 53
4.5 常用的正交多项式
)1(
n
A
)2(
n
A
n
γ
]1,1[?
n
n
n
n
n
x
dx
d
n
xP )1(
!2
1
)(
2
=
2
)!(2
)!2(
n
n
n
0
12
2
+n
]1,1[?
2
1
1
x?
)arccoscos()( xnxT
n
=
1
2
n
0
π
2
π
),0[ ∞ x
e
)()(
xn
n
n
x
n
ex
dx
d
exL
=
n
)1(?
21
)1( n
n?
2
)!(n
),( ∞+?∞
2
x
e
22
)1()(
x
n
n
xn
n
e
dx
d
exH?=
n
2
0
π!2 n
n
埃尔米特拉盖尔切比雪夫
1
勒让德记号与表达式权函数区间名称或
2004-10-18 54
5最佳平方逼近问题
定理3.3 设
nnij
aA
×
= )(为实对称正定矩阵,维列向量是和nxb
r
r
,则
二次函数 bxxAxx
TT
r
rrrr
2)(?=Π 取最小值
x
r
为线性方程组bxA
r
r
=的解,
对称正定A
≠ 0)det(A α
r
r
r
记之为有惟一解向量，bxA =
xbbxxAxx
TTT
r
rr
rrrr
=Π )( xAAxxAx
TTT
rrrrrr
αα=
αααααα
rrrrrrrrr
AAxAxAx
TTTT
+= )(
ααααα
rrrrrrrr
AxAxAx
TTT
= )()(
αααα
rrrrrr
AxAx
TT
= )()(
2004-10-18 55
最佳平方逼近问题描述
null ),,,(
10 n
span L=Φ
内积空间],[ baC的n+1维子空间
null范数取为内积诱导范数
null最佳平方逼近问题求Φ∈?++?+?=?
nn
cccx
*
1
*
10
*
0
*
)( L,使得
Σ?Σ?=
Σ?Σ?
==∈==
ii
n
i
ii
n
iRc
ii
n
i
ii
n
i
cfcfcfcf
i
00
*
0
*
0
,min,,
2004-10-18 56
矩阵表述
Σ?Σ?
==
ii
n
i
ii
n
i
cfcf
00
,
+?
=
∑∑∑
===
n
i
ii
n
i
ii
n
i
ii
cccfff
000
,,2),(
+?=
∑∑∑
===
n
i
ii
n
i
ii
n
i
ii
ccfcff
000
,),(2),(
CGCFCff
n
T
n
T
rrrr
+?= 2),(
T
nn
fffF )),(,),,(),,((
10
L
r
=
矩阵是GramG
n
2004-10-18 57
法方程组（正规方程组）
nn
FCG
rr
=
=
),(
),(
),(
),(),(),(
),(),(),(
),(),(),(
1
0
1
0
10
11101
01000
nnnnnn
n
n
f
f
f
c
c
c
MM
L
LLLL
L
L
T
n
cccC ),,,(
**
1
*
0
*
…=
r
惟一解向量记为
最佳平方逼近的解函数：
ii
n
i
c?Σ=?
=
*
0
*
2004-10-18 58
法方程组的等价表示形式
=
),(
),(
),(
),(),(),(
),(),(),(
),(),(),(
1
0
*
*
1
*
0
10
11101
01000
n
n
nnnn
n
n
f
f
f
c
c
c
M
M
L
LLLL
L
L
=
=
=
0),(
0),(
0),(
*
*
1
*
0
f
f
f
n
LLLL
=
=
=
),(),(
),(),(
),(),(
*
1
*
1
0
*
0
f
f
f
nn
LLLL
2004-10-18 59
几何意义平方逼近误差
),(
**
2
2
*
fff=
),(),(2),(
***
fff +?=
),(),(
**
= ff
=
=
=
),(),(
),(),(
),(),(
*
1
*
1
0
*
0
f
f
f
nn
LLLL
),(),(
***
f?=
2
2
*
2
2
= f
),(),(
*
fff?=
*
),( CFff
T
n
rr
=
2004-10-18 60
举例
[a,b]=[0,1];
},,,,1{
2 n
xxxspan L=
nn
H
nnn
n
n
G
=
+++
+
+
=
12
1
2
1
1
1
2
1
3
1
2
1
1
1
2
1
1
L
LLLL
L
L
Φρ(x)≡1;
null
系数矩阵希尔伯特
(Hilbert)矩阵
Tn
n
dxxfxdxxxfdxxfF ))(,,)(,)((
1
0
1
0
1
0
∫∫∫
= L
r
右端项：
nn
FCH
rr
=
法方程组
2004-10-18 61
基于正交基的最佳平方逼近目的：减少计算量，减小舍入误差的影响
（Hilbert矩阵为病态矩阵）
=
),(
),(
),(
),(00
0),(0
00),(
1
0
1
0
11
00
nnnn
f
f
f
c
c
c
MM
L
LLLL
L
L
的一组正交基。是线性空间即Φ
=
}{
0
n
ii
T
nn
n
fff
C
=
),(
),(
,,
),(
),(
,
),(
),(
11
1
00
0*
L
r
2004-10-18 62
基于正交基的最佳平方逼近（续）
最佳平方逼近函数：
n
nn
n
fff
++?
+?
=?
),(
),(
),(
),(
),(
),(
1
11
1
0
00
0*
L
平方逼近误差：
2
2
*
f
*
),( CFff
T
n
rr
=
),(
),(
),(
2
0
ii
i
n
i
f
ff
=
Σ?=
2004-10-18 63
利用已知的正交基
},,1{
2
xxspan=Φ例如
},,{,1)(],1,1[],[:1
210
PPPspanxbacase =Φ≡?= ρ
},,{,
1
1
)(],1,1[],[:2
210
2
TTTspan
x
xbacase =Φ
=?= ρ
},,{,)(),,0[),[:3
210
LLLspanexbacase
x
=Φ=+∞=
ρ
},,{,)(),,(),(:4
210
2
HHHspanexbacase
x
=Φ=+∞?∞=
ρ
2004-10-18 64
（续1）
Remark 1 注意函数f(x)的意义
[ ] dx
x
cxbxax
Rcba
∫
∈
++?
1
1 2
2
2
,,
1
1
)(sinmin例
},,{,
1
1
)(],1,1[],[
210
2
TTTspan
x
xba =Φ
=?= ρ
xxf sin)( =
[ ] dx
x
TcTbTax
Rcba
∫
∈
++?
1
1 2
2
210
,,
1
1
)
(sinmin
cbacba,,
,
,
然后计算出由
2004-10-18 65
（续2）
Remark 2 注意正交函数系必须的的确确是
Φ的基。
[ ] dx
x
bxaxx
Rba
∫
∈
+?
1
1 2
4
,
1
1
)(sinmin例
},{},{
41
4
TTspanxxspan ≠=Φ
2004-10-18 66
构造正交基
__对于不超过n次的多项式空间，即
},,,,1{
2 n
xxxspan L=Φ
利用公式：
==
=
≡
+
),2,1()(
1
111
01
0
Lkggxg
xg
g
kkkkk
βα
α
),1,0(
),(
),(
L== k
gg
gxg
kk
kk
k
α
),2,1(
),(
),(
11
1
L==
k
gg
gg
kk
kk
k
β
2004-10-18 67
(续）
__不完整的多项式空间或非多项式空间可用斯密特正交化方法：
},,{
53
xxxspan=Φ
}ln,
1
,1{ x
x
span=Φ
2004-10-18 68
转化问题
[ ] dxxcxccx
b
a
Rccc
∫
++?
∈
2
2
210
,,
)(sinmin
210
例若想用Legendre正交多项式求解，作变换
)11(
22
≤≤?
+
+
= t
ab
t
ba
x
2
)()
22
sin(min
1
1
2
2
)(
2
ab
dtt
ab
t
ba
t
+
+
∫
},,1{
2
2
ttspan∈?其中
2004-10-18 69
（续）
问题求解过程
)}(),(),({)
22
sin(1
210
0
tPtPtPspan
ab
t
ba
=Φ
+
+
在空间求解
）（上的最佳平方逼近t
*
2
做逆变换
0
2
)
2
(
*
2
ab
bax
平方误差计算
0
3
dx
ab
bax
x
b
a
∫
2
*
2
)
2
(sin?直接计算：
2
)()
22
sin(
2
1
1
*
2
ab
dtt
ab
t
ba?
+
+
∫
间接计算：
2004-10-18 70
6曲线拟合的最小二乘法一、曲线拟合模型及其求解定义：依据某种标准选择一条“最好”的简单曲线作为一组离散数据的连续模型。
{ }
m
i
ii
yx
0
),(
=
1、造型确定曲线的类型，即确定函数类Φ。
一般选取简单的低次多项式。
2004-10-18 71
2、建立拟合模型函数类Φ中的代表元素?（拟合模型）通常包含若干个参数{ } )(
0
mnc
n
i
i
<<
=
一般有
),,,;()(
10 n
cccxx L =
当?线性地依赖于所有参数时，即?可以表示为
{ }
n
i
i
c
0=
∑
=
=
n
i
ii
cx
0
)(
式中是线性无关的已知函数，这时称?是线性拟合模型。否则，当?关于某些参数是非线性的，则称之为非线性拟合模型。如。
{ }
n
i
i
0=
bx
aex =)(?
2004-10-18 72
建立拟合模型（续）
合理规定“最好”的曲线的意义，即依据何种标准确定拟合曲线中的参数。如可以选择参数，使得
{ }
n
i
i
c
0=
||
max
0
jj
mj
rr ω
≤≤
∞
=
2
1
0
2
2
=
∑
=
m
j
jj
rr ω
{}
n
i
i
c
0=
最小，式中正常数是第j个采样点x
j
处的权，是第j个采样点处的拟合残差，它依赖于拟合参数。并将向量记为或r(?)表示它对参数的依赖性，称该向量为拟合残差向量。
),,1,0( mj
j
L=ω
jnjj
ycccxr?= ),,,;(
10
L?
T
m
rrrr ),,,(
10
L= ),,,(
10 n
cccr L
或者
2004-10-18 73
建立拟合模型（续）
在切比雪夫意义下的曲线拟合模型
{ }
∞
Φ∈
∞
=
≤≤∈Φ∈
)(*)(
0,:),,,;()(*
min
10
rr
niRccccxx
in
使得＝求L
在最小二乘意义下的曲线拟合模型
{ }
22
10
)(*)(
0,:),,,;()(*
min
rr
niRccccxx
in
Φ∈
=
≤≤∈Φ∈使得＝求L
2004-10-18 74
3、最小二乘法拟合模型的求解求解如下问题：
{}
2
1
0
2
0
0
2
1
0
2
22
10
0
*
)(
)()(*)(
),,,)()(*
min
minmin
=
==
Φ∈=
∑∑
∑
∑
==
≤≤
∈
=
Φ∈Φ∈
=
m
j
n
i
jjiij
ni
Rc
m
j
jj
n
n
i
ii
yxc
rrr
spanxcx
i
ω
ω
使得＝求L
2004-10-18 75
最小二乘法拟合模型的求解（续）
{ }
m
j
j
x
0=
关于采样点引入离散形式的内积
∑
=
=
m
j
jjj
xgxfgf
0
)()(),( ω
则最小二乘问题等价于
),,,(),,,(
,)()(*
10
0
**
1
*
0
0
*
min
n
ni
Rc
n
n
i
ii
cccIcccI
xcx
i
LL
≤≤
∈
=
=
Φ∈=
∑
使得求
其中
==
∑∑
==
n
i
ii
n
i
iin
ycycyycccI
00
10
,),(),,,(L
2004-10-18 76
最小二乘法拟合模型的求解（续）
利用内积性质，有
)(),(2
),(),(2),(
),(),(2),(),,,(
000
10
CIyyYCCGC
yyyccc
yyycccI
T
n
T
n
i
ii
n
i
n
k
kiki
n
=
∑∑∑
===
+?=
+?=
+?=
L
其中
T
n
T
n
yyyY
cccC
)),(,),,(),,((
),,,(
10
10
L
L
=
=
2004-10-18 77
最小二乘法拟合模型的求解（续）
=
),(),(),(
),(),(),(
),(),(),(
10
11101
01000
nnnn
n
n
n
G
L
LLLL
L
L
为离散的Gram矩阵。
定理3.6如果离散Gram矩阵是实正定对称矩阵,则向量使得前面定义的正定二次型取得最小值的充分必要条件是向量是线性方程组G
n
C=Y的解向量.
T
n
cccC ),,,(
**
1
*
0
*
L=
*
C
2004-10-18 78
最小二乘法拟合模型的求解（续）
当G
n
是实对称正定矩阵时,det(G
n
)≠0,定理3.6中的线性方程组的解向量是存在惟一的,这也就是说,此时的最小二乘曲线拟合问题有惟一的解函数,称定理3.6中的方程组为线性空间上最小二乘问题的法方程组.
类似于前面的分析,用解函数来近似采样数据的平方误差可表示为
),(),(2),(),(
*****2
yyyyy +==δ
),(),(
**
= yy
**
),(),(),( CYyyyyy
T
rr
==
2004-10-18 79
二、关于离散Gram矩阵的进一步讨论
)()(),(
0
jkjij
m
j
ki
xxωΣ=
=
ω
ω
ω
=
)(
)(
)(
))(,),(),((
11
00
10
mkm
k
k
miii
x
x
x
xxx
LL
L
= )),(,),,(),,((
10 niii
L
ω
ω
ω
ω
ω
ω
ω
ω
ω
)(
)(
)(
)(
)(
)(
)(
)(
)(
))(,),(),((
11
00
1
111
010
0
101
000
10
mnm
n
n
mmmm
miii
x
x
x
x
x
x
x
x
x
xxx
LL
L
L
L
L
LLLL
L
由于行向量
2004-10-18 80
关于离散Gram矩阵的进一步讨论（续）
WAxxx
miii
))(,),(),((
10
= L
其中
),,,(diag
10 m
W ωωω= L
=
)(
)(
)(
)(
)(
)(
)(
)(
)(
1
0
1
11
01
0
10
00
mn
n
n
mm
x
x
x
x
x
x
x
x
x
A
LL
L
L
L
L
LLLL
依据上式进而得到离散Gram矩阵的另一表达形式：
n
G
WAAG
T
n
=
2004-10-18 81
关于离散Gram矩阵的进一步讨论（续）
设α是任意维非零列向量,考虑到对角矩阵W的对角线元素均为正,得到
0)()( ≥αα=αα AWAG
T
n
T
0)()( >αα=αα AWAG
T
n
T
即离散Gram矩阵至少是半正定矩阵,特别地,当A是列满秩矩阵时,即矩阵的各列是线性无关的,则对任意维非零列向量α有Aα是维非零列向量,进而由上式得到
1+n
1+m
此时离散Gram矩阵正定,定理3.6的条件得到满足,不严格地说,由于矩阵的行数远远大于列数,矩阵一般都是列满秩的.
2004-10-18 82
关于离散Gram矩阵的进一步讨论（续）
类似于上面的讨论,我们有其中
yWAY
T
v
=
T
m
yyyy ),,,(
10
L
v
=
yWACWAA
TT
r
r
=
故法方程组有如下表达形式：
该式可以看作是给(超定)线性方程组,即yCA
r
r
=
=
nnmn
n
n
mm
y
y
y
c
c
c
x
x
x
x
x
x
x
x
x
MMLL
L
L
L
L
LLLL
1
0
1
0
1
0
1
11
01
0
10
00
)(
)(
)(
)(
)(
)(
)(
)(
)(
v
2004-10-18 83
关于离散Gram矩阵的进一步讨论（续）
的两端同乘一矩阵得到的。上面的线性方程组可以理解为在维的线性空间上求过节点的插值函数所列出的线性方程组。
由于插值条件的个数远大于待定参数的个数,
故一般说来该线性方程组是一个矛盾方程组,无解。
反回来,法方程组的解又可以看作是上述矛盾方程在最小二乘意义下的最优解。
1+n ),,,(span
10 n
=Φ L
1+m
{}
m
j
jj
yx
0
),(
=
1+n
WA
T
2004-10-18 84
关于离散Gram矩阵的进一步讨论（续）
当取权矩阵为单位矩阵时,法方程组简化为W
yACAA
TT
r
r
=
A
AA
T
yAAAC
TT
r
r
1
)(
=
TT
AAA
1
)(
A
=
+
A
TT
AAA
1
)(
yAC
r
r
+
=
设是列满秩的矩阵,则是实对称正定矩阵,非奇异,由上式得到的矛盾方程组在最小二乘意义下的最优解可表示为。在矩阵论中称为列满秩矩阵的广义逆,记为。进而是矛盾方程组在最小二乘意义下的最优解。
2004-10-18 85
关于离散Gram矩阵的进一步讨论（续）
例确定经验公式中的参数,使之与如下数据拟合。
2
1
)(
bxax
cx
xf
++
=
1.5791.0000.6900.4840.3230.172f(x
i
)
0.60.50.40.30.20.1x
i
解经验公式关于参数非线性,构造一个新函数
xcc
x
cx
c
b
c
a
cxxf
xg
210
11
)(
1
)( ++=++==
记为此时有,并有如下函数值表:
∈ x
x
xg,1,
1
span)(
2004-10-18 86
关于离散Gram矩阵的进一步讨论（续）
0.633311.000001.449282.066123.095985.81395g(x
i
)
0.60.50.40.30.20.1x
i
=
6.05.04.03.02.01.0
111111
3/522/53/1510
T
A
取
T
g
v
=[5.81395 3.09598 2.06612 1.44928 1.00000 0.63331]
最小二乘曲线拟合的法方程组为,即gACAA
TT
r
r
=
2004-10-18 87
关于离散Gram矩阵的进一步讨论（续）
=
280123.3
058632.14
185172.87
91.01.26
1.265.24
65.24139.149
2
1
0
c
c
c
解方程组得
= 0.503375,
= 0.976071,
= -1.966900,
0
c
1
c
2
c
进而有参数
= 1.98659
= 1.93905,
= -3.907422 。
0
/1 cc =
cca
1
=
ccb
2
=
0098340.0*)(),(*),*(),(
2
2
=?=?= cgAyyyy
TT
rr
δ
其平方误差为
2004-10-18 88
拟合效果示意图
2004-10-18 89
三、用关于点集的正交函数系作最小二乘曲线拟合定义于有限维空间上的最小二乘曲线拟合问题的解函数是通过求解法方程组得到的。通常选定的基函数产生的法方程组系数矩阵是病态的,在求解法方程组时系数矩阵或右端项的微小扰动可能导致解函数有很大的误差。为避免求解病态法方程组,
我们希望选择一类特殊的基函数,使法方程组系数矩阵是对角阵。为此,引入如下概念:
Φ
n
G
n
G
2004-10-18 90
最小二乘曲线拟合（续）
=>?
≠
=ωΣ=
=
ji
ji
xx
i
kjkik
m
k
ji
0
0
)()(),(
2
2
0
定义：如果定义于区间上的函数族关于点集以及一组权值所定义的离散内积满足关系
],[ ba
{} ],[
0
bax
m
i
i
=
),,1,0,0( mi
i
L=>ω
{ }
n
i
i
0=
{ }
m
i
i
0=
ω
{}
n
i
i
0=
{ }
m
i
i
0=
ω
{ }
m
i
i
x
0=
则称函数族是关于点集以及权值的正交函数族。
2004-10-18 91
最小二乘曲线拟合（续）
当函数族是线性空间的一组线性无关基时,
定义于该线性空间上的最小二乘曲线拟合问题的法方程组系数矩阵为对角阵
{}
n
i
i
0=
Φ
=
),(
),(
),(
11
00
nn
n
G
O
2004-10-18 92
最小二乘曲线拟合（续）
)(
),(
),(
)(
0
*
x
y
x
i
ii
i
n
i
Σ=?
=
r
拟合曲线为：
综合平方误差估计式得到
),(
),(
),(),(
2
0
**
2
2
ii
i
n
i
y
yyyy
Σ?==δ
=
r
rrrr
2004-10-18 93
最小二乘曲线拟合（续）
当有限维线性空间为不超过次的多项式时,类似于前面关于正交多项式系的讨论,我们有关于点集及权值的首项系数为1正交多项式递推公式
Φ
n
{ }
m
i
i
x
0=
{}
m
i
i
0=
ω
=?βα?=?
α?=?
≡?
+
)1,,2,1()()()()(
)(
1)(
111
01
0
nkxxxx
xx
x
kkkkk
L
其中
2004-10-18 94
最小二乘曲线拟合（续）
)1,,1,0(
)(
)(
),(
),(
2
0
2
0
=
ωΣ
ωΣ
=
=α
=
=
nk
x
xx
x
jkj
m
j
jkjj
m
j
kk
kk
k
L
)1,,2,1(
)(
)(
),(
),(
2
1
0
2
0
11
1
=
ωΣ
ωΣ
=
=β
=
=
nk
x
x
jkj
m
j
jkj
m
j
kk
kk
k
L
