第 3章 曲线拟合的最小二乘法
给出一组离散点，确定一个函数逼近原函数，插值是这样的一种手段。
在实际中，数据不可避免的会有误差，插值函数会将这些误差也包括在内。
因此，我们需要一种新的逼近原函数的手段：
①不要求过所有的点（可以消除误差影响）；
②尽可能表现数据的趋势，靠近这些点。
有时候，问题本身不要求构造的函数过所有的点。如,5个风景点，要修一条公
路 S使得 S为直线，且到所有风景点的距离和最小。
先讲些预备知识
对如上 2类问题，有一个共同的数学提法：找函数空间上的函数 g，
使得 g到 f的距离最小。
定义 1,向量范数
映射,满足,}0{,???? RR n
① 非负性 00,0 ???? XXX 且
② 齐次性 XaaXRa ????,
③ 三角不等式 YXYX ???
称该映射为向量的一种 范数
预备知识
我们定义两点的 距离 为,YX?
常见的范数有：
? ?nn
i
i xxxXxX,,,,)( 21
1
2
2 ??? ?
?
? ?ni xxxXxX,,,},m a x { 21 ????
? ?nn
i
i xxxXxX,,,,21
1
1 ??? ?
?
定义 2：函数 f,g的关于离散点列 ? ?n
iix 0?
的 离散内积 为：
?
?
?
n
i
iiD xgxfgf
0
)()(),(
定义 3：函数 f的 离散范数 为
?
?
?
n
i
iiD xfxff
0
)()(
提示：该种内积，范数的定义与向量的 2－范数一致
我们还可以定义函数的离散范数为：
? ? ? ?
? ?
0 1 0 1
01 1
0
( ),( ),,( ) m a x ( ),( ),,( )
( ),( ),,( ) ( )
nnD
n
niD
i
f f x f x f x f x f x f x
f f x f x f x f x
?
?
??
?
f(x)为定义在区间 [a,b]上的函数,为区间上 n+1个互不相同
的点,为给定的某一函数类。求 上的函数 g(x)满足
f(x)和 g(x)的距离最小
? ? 0ni ix ?
? ?
如果这种距离取为 2－范数的话，称为 最小二乘问题
曲线拟合的最小二乘问题
定义
下面我们来看看最小二乘问题：
求 使得 最小??)(xg ? ??
?
??
n
i
ii xfxgR
0
2
2 )()(
设
},,{ 10 ns p a n ??? ???
)()()( 00 xaxaxg nn ?? ??? ?
? ? Dnn xaxaxf )()()( 00 ?? ??? ?
DD xfxxfxg )()(m i n)()( ??? ?? ??
最小
则
即
关于系数 },,{
10 naaa ?
? ?
? ? ? ?
2
00
2
00
2
00
2
0,0
01
( ) ( ) ( )
2(,( ) ( ) )
( ) ( )
2,,
(,,,)
nn
D
n n DD
nn D
nn
k k i k i kD
k i k
n
f x a x a x
f f a x a x
a x a x
f a f a a
Q a a a
??
??
??
? ? ?
??
? ? ?
? ? ? ?
? ? ?
? ? ?
?
??
由于它关于系数 },,{
10 naaa ?
最小，因此有：
niaQ
i
,,0,0 ?????
即
nifa i
n
k
kik,,0),,(),(
0
????
?
???
写成矩阵形式有：
? ? ? ?
? ? ? ?
? ?
? ? ?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
Dn
D
nDnnDn
DnD
f
f
a
a
?
?
????
????
,
,
,,
,,00
0
000
??
?
???
?
法方程
由 },,{
10 n??? ?
的线性无关性，知道该方程存在唯一解
① bxay ??
? ? ? ?
? ? ? ?
? ?
? ? ?
?
?
?
??
?
?
???
?
?
??
?
?
??
?
?
??
?
?
D
D
DD
DD
xf
f
b
a
xxx
x
,
1,
,1,
,11,1
第一步：函数空间的基 ? ?x,1,然后列出法方程
② baxy ?? 2
? ? ? ?
? ? ? ?
? ?
? ? ?
?
?
?
??
?
?
???
?
?
??
?
?
??
?
?
??
?
?
D
D
DD
DD
f
xf
b
a
x
xxx
1,
,
1,1,1
,1,2
2
222
第一步：函数空间的基 ? ?1,2x,然后列出法方程
例：
baxy ?? 2
3 7 0 3 4 5 6 3
3 4 5 5 8, 3
a
b
? ? ? ? ? ??? ? ? ? ? ?
? ? ? ? ? ?
3 2 1 2 4
1 4,3 8,3 4,7 8,3 2 2,7
x
y
? ? ?
第一步：函数空间的基 ? ?1,2x,然后列出法方程
? ? ? ?
? ? ? ?
? ?
? ? ???
?
???
??
???
?
???
?
???
?
???
?
D
D
DD
DD
f
xf
b
a
x
xxx
1,
,
1,1,1
,1,2
2
222
0, 8 3 2 7 1 6
7, 4 9 6 9 1
a
b
? ? ? ???? ? ? ?
? ? ? ?
bxaey ?
由 bxay ?? lnln,可以先做 bxay ?? ** bxay eeey ** ??
3 2 1 2 4
1 4, 3 8, 3 4, 7 8, 3 2 2, 7
l n 2, 6 6 0 2 6 2, 1 1 6 2 6 1, 5 4 7 5 6 2, 1 1 6 2 6 3, 1 2 2 3 6
x
y
y
???
? ? ? ?
? ? ? ?
? ?
? ?
1,1 1,,1
1,,,
D D D
D D D
xf a
x x x f xb
? ? ? ??? ?
? ? ? ???? ? ? ?
??? ? ? ?
5 0 1 1, 5 6 2 7
0 3 4 2, 9 6 1 1
a
b
? ? ? ? ? ??
? ? ? ? ? ?? ? ? ? ? ?
2, 3 1 2 5 4
0, 0 8 7 0 9 1 2
a
b
? ? ? ???
? ? ? ?? ? ? ?
求解一个矛盾方程组，计算的是在均方误差 2
2m in bAX ?
极小意义下的解
也就是最小二乘问题。
我们有：
矛盾方程组恒有解，且
2
2
2
2 m i n bAYbAXbAAXA nRY
TT ?????
?
矛盾方程组的求解
给出一组离散点，确定一个函数逼近原函数，插值是这样的一种手段。
在实际中，数据不可避免的会有误差，插值函数会将这些误差也包括在内。
因此，我们需要一种新的逼近原函数的手段：
①不要求过所有的点（可以消除误差影响）；
②尽可能表现数据的趋势，靠近这些点。
有时候，问题本身不要求构造的函数过所有的点。如,5个风景点，要修一条公
路 S使得 S为直线，且到所有风景点的距离和最小。
先讲些预备知识
对如上 2类问题，有一个共同的数学提法：找函数空间上的函数 g，
使得 g到 f的距离最小。
定义 1,向量范数
映射,满足,}0{,???? RR n
① 非负性 00,0 ???? XXX 且
② 齐次性 XaaXRa ????,
③ 三角不等式 YXYX ???
称该映射为向量的一种 范数
预备知识
我们定义两点的 距离 为,YX?
常见的范数有：
? ?nn
i
i xxxXxX,,,,)( 21
1
2
2 ??? ?
?
? ?ni xxxXxX,,,},m a x { 21 ????
? ?nn
i
i xxxXxX,,,,21
1
1 ??? ?
?
定义 2：函数 f,g的关于离散点列 ? ?n
iix 0?
的 离散内积 为：
?
?
?
n
i
iiD xgxfgf
0
)()(),(
定义 3：函数 f的 离散范数 为
?
?
?
n
i
iiD xfxff
0
)()(
提示：该种内积，范数的定义与向量的 2－范数一致
我们还可以定义函数的离散范数为：
? ? ? ?
? ?
0 1 0 1
01 1
0
( ),( ),,( ) m a x ( ),( ),,( )
( ),( ),,( ) ( )
nnD
n
niD
i
f f x f x f x f x f x f x
f f x f x f x f x
?
?
??
?
f(x)为定义在区间 [a,b]上的函数,为区间上 n+1个互不相同
的点,为给定的某一函数类。求 上的函数 g(x)满足
f(x)和 g(x)的距离最小
? ? 0ni ix ?
? ?
如果这种距离取为 2－范数的话，称为 最小二乘问题
曲线拟合的最小二乘问题
定义
下面我们来看看最小二乘问题：
求 使得 最小??)(xg ? ??
?
??
n
i
ii xfxgR
0
2
2 )()(
设
},,{ 10 ns p a n ??? ???
)()()( 00 xaxaxg nn ?? ??? ?
? ? Dnn xaxaxf )()()( 00 ?? ??? ?
DD xfxxfxg )()(m i n)()( ??? ?? ??
最小
则
即
关于系数 },,{
10 naaa ?
? ?
? ? ? ?
2
00
2
00
2
00
2
0,0
01
( ) ( ) ( )
2(,( ) ( ) )
( ) ( )
2,,
(,,,)
nn
D
n n DD
nn D
nn
k k i k i kD
k i k
n
f x a x a x
f f a x a x
a x a x
f a f a a
Q a a a
??
??
??
? ? ?
??
? ? ?
? ? ? ?
? ? ?
? ? ?
?
??
由于它关于系数 },,{
10 naaa ?
最小，因此有：
niaQ
i
,,0,0 ?????
即
nifa i
n
k
kik,,0),,(),(
0
????
?
???
写成矩阵形式有：
? ? ? ?
? ? ? ?
? ?
? ? ?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
Dn
D
nDnnDn
DnD
f
f
a
a
?
?
????
????
,
,
,,
,,00
0
000
??
?
???
?
法方程
由 },,{
10 n??? ?
的线性无关性，知道该方程存在唯一解
① bxay ??
? ? ? ?
? ? ? ?
? ?
? ? ?
?
?
?
??
?
?
???
?
?
??
?
?
??
?
?
??
?
?
D
D
DD
DD
xf
f
b
a
xxx
x
,
1,
,1,
,11,1
第一步：函数空间的基 ? ?x,1,然后列出法方程
② baxy ?? 2
? ? ? ?
? ? ? ?
? ?
? ? ?
?
?
?
??
?
?
???
?
?
??
?
?
??
?
?
??
?
?
D
D
DD
DD
f
xf
b
a
x
xxx
1,
,
1,1,1
,1,2
2
222
第一步：函数空间的基 ? ?1,2x,然后列出法方程
例：
baxy ?? 2
3 7 0 3 4 5 6 3
3 4 5 5 8, 3
a
b
? ? ? ? ? ??? ? ? ? ? ?
? ? ? ? ? ?
3 2 1 2 4
1 4,3 8,3 4,7 8,3 2 2,7
x
y
? ? ?
第一步：函数空间的基 ? ?1,2x,然后列出法方程
? ? ? ?
? ? ? ?
? ?
? ? ???
?
???
??
???
?
???
?
???
?
???
?
D
D
DD
DD
f
xf
b
a
x
xxx
1,
,
1,1,1
,1,2
2
222
0, 8 3 2 7 1 6
7, 4 9 6 9 1
a
b
? ? ? ???? ? ? ?
? ? ? ?
bxaey ?
由 bxay ?? lnln,可以先做 bxay ?? ** bxay eeey ** ??
3 2 1 2 4
1 4, 3 8, 3 4, 7 8, 3 2 2, 7
l n 2, 6 6 0 2 6 2, 1 1 6 2 6 1, 5 4 7 5 6 2, 1 1 6 2 6 3, 1 2 2 3 6
x
y
y
???
? ? ? ?
? ? ? ?
? ?
? ?
1,1 1,,1
1,,,
D D D
D D D
xf a
x x x f xb
? ? ? ??? ?
? ? ? ???? ? ? ?
??? ? ? ?
5 0 1 1, 5 6 2 7
0 3 4 2, 9 6 1 1
a
b
? ? ? ? ? ??
? ? ? ? ? ?? ? ? ? ? ?
2, 3 1 2 5 4
0, 0 8 7 0 9 1 2
a
b
? ? ? ???
? ? ? ?? ? ? ?
求解一个矛盾方程组，计算的是在均方误差 2
2m in bAX ?
极小意义下的解
也就是最小二乘问题。
我们有：
矛盾方程组恒有解，且
2
2
2
2 m i n bAYbAXbAAXA nRY
TT ?????
?
矛盾方程组的求解
