Matlab Math
Cleve Morler著
陈文斌（ wbchen@fudan.edu.cn)
复旦大学 2002
最小二乘
模型和曲线拟和
给定一组测量或观测值 mityy
ii,.,,,1),( ??
假设 y是 n个函数的线性组合
),(.,,),()( 11 ?????? ttty nn???
设 m× n矩阵 X定义为
),( ?? ijij tx ?
?? )(Xy ?所以
如果 无关与 ?? XX ?)( yX ??
Beta=X\y 注意这里的维数
Models
直线：
21)( ?? ?? tty
多项式,njtt
jnj,.,,,1,)( ?? ??
nnn ttty ??? ???? ?? 111,..)(
polyfit
有理函数：
nn
n
jn
j tt
tt
???? ???? ??
?
1
1
1,..
)(
nn
n
n
n
tt
ttty
???
???
???
????
?
?
?
?
1
1
1
1
1
1
.,,
.,,)(
指数：
tj jet ?? ??)(
tnt neety ?? ?? ?? ???,..)( 11
Models
tKety ??)(
Log-linear:
21)(l o g ?? ?? tty
Gaussians:
2
)(
?
?
?
?
?
?
?
? ?
?
? j
jt
j et
?
?
?
22
1
1
...)( 1
???
?
???
? ??
???
?
???
? ??
??? n
nt
n
t
eety ?
?
?
?
??
Censusgui
t y
1900 75.995
1910 91.972
1920 105.711
1930 123.203
1940 131.669
1950 150.697
1960 179.323
1970 203.212
1980 226.505
1990 249.633
2000 281.422
432231)( ???? ???? tttty
50/)1 9 5 0( ?? ts
11 ??? s
432231)( ???? ???? sssty
预测 2010年的人口
Censusgui.m fitdemo
Norms
Residuals:（ 残量）是观测值和模型的差
?? )(Xyr ??
mityr
n
ijjii,.,,,1,),(
1
??? ? ???
Least squars,
??
m
irr
1
22
Weighed least squars,
??
m
ii rwr
1
22
X=diag(w)*X
y=diag(w)*y
不加权的算法可以用
来解决加权的问题
Norms
1-norm,
??
m
irr
1
1
Infinity-norm:
ii rr m a x??
也称为 Chebyshev fit
Linear Least Squares
我们希望解 yX ?? 但这个系统是超定的
实际上我们解
yX ???m i n
m>n
理论上：我们解法方程就可以求出最小二乘解
yXXX TT ?? n*n维系统
yXXX TT 1)( ???
数值上：
1、求逆的过程是费时的和不精确的
2,2))(co n d()(co n d XXX T ?
用有限精度计算，法方程可能变的奇异
Linear Least Squares
Matlab中避免用法方程求解
yX \??
QRX ?QR分解：
Q正交阵 (orthogonal) IQQ T ?
R上三角阵
yQR T??求解：
3221)( ??? ??? sssy
看一下模型的演示，用 census数据
qrdemo1.m
s=((1950:10:2000)'-1950)/50;
y=[150.6970 179.3230 203.2120 226.5050
249.6330 281.4220]';
X=[s.*s s ones(size(s))]
[R,c]=qrsteps(X,y)
beta=R(1:3,1:3)\c(1:3) %beta=R\c
p2010=polyval(beta,1.2)
Linear Least Squares
想一下,c(4:6)有什么用处？
Separable Least Squares
?? )(Xy ?非线性最小二乘
JA Nelder,R,Mead,``A Simplex Method for Function
Minimization'',Computer Journal,vol,7,pp,308-313,1965
Lagarias,J.C.,J,A,Reeds,M,H,Wright,and P,E,Wright,
"Convergence Properties of the Nelder-Mead Simplex Method
in Low Dimensions," SIAM Journal of Optimization,Vol,9
Number 1,pp,112-147,1998,
优化函数,fminsearch(fmins),fmincon,fminunc,
lsqnonlin,lsqcurvefit
fitdemo.m
Cleve Morler著
陈文斌（ wbchen@fudan.edu.cn)
复旦大学 2002
最小二乘
模型和曲线拟和
给定一组测量或观测值 mityy
ii,.,,,1),( ??
假设 y是 n个函数的线性组合
),(.,,),()( 11 ?????? ttty nn???
设 m× n矩阵 X定义为
),( ?? ijij tx ?
?? )(Xy ?所以
如果 无关与 ?? XX ?)( yX ??
Beta=X\y 注意这里的维数
Models
直线：
21)( ?? ?? tty
多项式,njtt
jnj,.,,,1,)( ?? ??
nnn ttty ??? ???? ?? 111,..)(
polyfit
有理函数：
nn
n
jn
j tt
tt
???? ???? ??
?
1
1
1,..
)(
nn
n
n
n
tt
ttty
???
???
???
????
?
?
?
?
1
1
1
1
1
1
.,,
.,,)(
指数：
tj jet ?? ??)(
tnt neety ?? ?? ?? ???,..)( 11
Models
tKety ??)(
Log-linear:
21)(l o g ?? ?? tty
Gaussians:
2
)(
?
?
?
?
?
?
?
? ?
?
? j
jt
j et
?
?
?
22
1
1
...)( 1
???
?
???
? ??
???
?
???
? ??
??? n
nt
n
t
eety ?
?
?
?
??
Censusgui
t y
1900 75.995
1910 91.972
1920 105.711
1930 123.203
1940 131.669
1950 150.697
1960 179.323
1970 203.212
1980 226.505
1990 249.633
2000 281.422
432231)( ???? ???? tttty
50/)1 9 5 0( ?? ts
11 ??? s
432231)( ???? ???? sssty
预测 2010年的人口
Censusgui.m fitdemo
Norms
Residuals:（ 残量）是观测值和模型的差
?? )(Xyr ??
mityr
n
ijjii,.,,,1,),(
1
??? ? ???
Least squars,
??
m
irr
1
22
Weighed least squars,
??
m
ii rwr
1
22
X=diag(w)*X
y=diag(w)*y
不加权的算法可以用
来解决加权的问题
Norms
1-norm,
??
m
irr
1
1
Infinity-norm:
ii rr m a x??
也称为 Chebyshev fit
Linear Least Squares
我们希望解 yX ?? 但这个系统是超定的
实际上我们解
yX ???m i n
m>n
理论上：我们解法方程就可以求出最小二乘解
yXXX TT ?? n*n维系统
yXXX TT 1)( ???
数值上：
1、求逆的过程是费时的和不精确的
2,2))(co n d()(co n d XXX T ?
用有限精度计算，法方程可能变的奇异
Linear Least Squares
Matlab中避免用法方程求解
yX \??
QRX ?QR分解：
Q正交阵 (orthogonal) IQQ T ?
R上三角阵
yQR T??求解：
3221)( ??? ??? sssy
看一下模型的演示，用 census数据
qrdemo1.m
s=((1950:10:2000)'-1950)/50;
y=[150.6970 179.3230 203.2120 226.5050
249.6330 281.4220]';
X=[s.*s s ones(size(s))]
[R,c]=qrsteps(X,y)
beta=R(1:3,1:3)\c(1:3) %beta=R\c
p2010=polyval(beta,1.2)
Linear Least Squares
想一下,c(4:6)有什么用处？
Separable Least Squares
?? )(Xy ?非线性最小二乘
JA Nelder,R,Mead,``A Simplex Method for Function
Minimization'',Computer Journal,vol,7,pp,308-313,1965
Lagarias,J.C.,J,A,Reeds,M,H,Wright,and P,E,Wright,
"Convergence Properties of the Nelder-Mead Simplex Method
in Low Dimensions," SIAM Journal of Optimization,Vol,9
Number 1,pp,112-147,1998,
优化函数,fminsearch(fmins),fmincon,fminunc,
lsqnonlin,lsqcurvefit
fitdemo.m
