第二章 实时参数估计
（ real-time parameter estimation）
2.1 介绍
▽ 模型结构的选择
系统辨识的基本内容
（ system identification）
▽ 验证
▽ 试验设计：输入信号的选取
▽ 参数估计
传递函数模型
持续激励（ persistent excitation）
最小二乘法
（ least-squares method）
2.2 最小二乘法和回归模型
（ regression model）
Gauss 18世纪末 原理 确定行星轨道
the sum of squares of the differences between the actually observed and the computed values,
multiplied by numbers that measure the degree
of precision,is a minimum,
? ?)()()()( 21 iυiυiυiυ nT ??
0
00
22
0
11
)(
)()()()(
θiυ
θiυθiυθiυiy
T
nn
?
???? ?
? ? Tnθθθθ 002010 ??
回归变量（ regression variable）
（ 2.1）
? ? TtyyytY )()2()1()( ??
?
?
??
t
i
T θiυiytθY
1
2])()([
2
1
),(
? ? TtεεεtE )()2()1()( ??
损失函数（ loss function）
代价函数（ cost function）
（ 2.2）
? ? ? ? 1 11 )()()()()( ??? ????? ti TT iυiυtttP
?
?
?
?
?
?
?
?
?
?
??
)(
)1(
)(
tυ
υ
t
T
T
?
θiυiyiyiyiε T )()()(?)()( ????
（ 2.3）
残差（ residuals）
θYYYE ????? ?
2
1
2
2
1
2
1)(
2
1),( EEEiεtθV Tt
i
??? ?
?
（ 2.4）
Yθ TT ????
? ? Yθ TT ???? ? 1
（ 2.5）
定理 2.1 最小二乘估计
使损失函数（ 2.2）最小的参数应满足
如果矩阵 非奇异（ nonsingular），则
最小值唯一，并且由下式给出
（ 2.6）
??T
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??
?
?
?
?
t
i
t
i
t
i
T
iyiυtP
iyiυiυiυtθ
1
1
1
1
)()()(
)()()()()(
?
注 1：方程（ 2.5）称为正规方程（ normal equation）
（ 2.9）
式（ 2.6）可写为
? ? WYWθ TT ???? ? 1 ?
注 2：矩阵 可逆的条件称为 激励条件
（ excitation condition ）。
注 3：最小二乘判据对所有的 误差加权 是相同的，
这对应于假设所有的测量结果有相同的精度。
??T
对误差不同的加权可以通过改变损失函数（ 2.2）为
0}{,21 ??? iT wd ia gWWEEV
此时最小二乘估计为
例 2.1 静态系统的最小二乘估计
最小二乘的 几何解释 （ geometric interpretation）
n
n
n
n
θ
tυ
υ
υ
θ
tυ
υ
υ
ty
y
y
tε
ε
ε
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
)(
)2(
)1(
)(
)2(
)1(
)(
)2(
)1(
)(
)2(
)1(
1
1
1
1
?
?
???
n
n θυθυθυYE ???? ?
2
2
1
1
tiθυθυθυYυ nnTi ??,1,0)()( 2211 ?????
)()()( 0 ieθiυiy T ??
EθY ??? 0
EθθY TTTT ????????? ?? 101 )(?)(
最小二乘的 统计解释（ statistical interpretation）
（ 2.12）
（ 2.13）
0)}(?{ θtθE ?
2σ
定理 2.2 最小二乘估计的统计性质
考虑（ 2.6）的估计，假设数据由式（ 2.12）生
成，其中 {e(i),i=1,2,…} 是均值为零，方差为
的独立随机变量序列，令 E{}表示数学期望,cov
表示随机变量的协方差，如果 是非奇异的，
则
（ 1）
??T
12 )()}(?{ ???? TσtθC o v
θ?
（ 2）
（ 3） )/(),?(2)(? 2 nttθVtσ ?? 是 的无偏估计
0θ
2σ
其中 n是 和 的参数数目,t是数据的数目。
)1(? ?tθ
递推计算（ recursive computations）
令 代表基于 t-1次测量的最小二乘估计
（ 2.14）
)()()1(
)()()()(
)()()()()(
1
1
1
1
1
tυtυtP
tυtυiυiυ
iυiυtttP
T
T
t
i
T
t
i
TT
???
??
????
?
?
?
?
?
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
?
?
?
?
1
1
1
)()()()()(
)()()()(
?
t
i
t
i
tytυiyiυtP
iyiυtPtθ
)1(?)()()1(?)(
)1(?)1()()(
1
1
1
1
????
???
?
?
?
?
?
tθtυtυtθtP
tθtPiyiυ
T
t
i
? ?
)()()1(?
)1(?)()()()()1(?
)()()()1(?)()()()1(?)(?
tεtKtθ
tθtυtytυtPtθ
tytυtPtθtυtυtPtθtθ
T
T
???
?????
?????
? ?)1(?)()()( ),()()( ???? tθtυtytεtυtPtK T
BDACCA 11,,?? ?
矩阵逆引理（ matrix inversion lemma）
令 为非奇异矩阵，则
可逆，且
111111
1
)(
)(
??????
?
???
?
DABDACBAA
B C DA
BCDA ?
? ?
? ?
? ?
? ? )1()()()1()(
)()1()1(
)()()1(
)()()1()1(
)()()(
1
1
1
1
1
???
?????
???
??????
???
?
?
?
?
?
tPtυtυtPtυI
tυtPtP
tυtυtP
tυtυtt
tttP
TT
T
TT
T
? ? 1)()1()()()1(
)()()(
?
????
?
tυtPtυItυtP
tυtPtK
T
)(? tθ? ? 10000 )()()(),(? ???? tttPtθ T
定理 2.3 递推最小二乘估计
假设对于所有的 t≥t0,矩阵
（ 2.15）
)()( ttT ??
? ?)1(?)()()()1(?)(? ????? tθtυtytKtθtθ T
（ 2.16）
（ 2.17）
? ? 1)()1()()()1()()()( ?????? tυtPtυItυtPtυtPtK T
? ? )1()()(
)1()()()1()(
???
????
tPtυtKI
tPtυtKtPtP
T
T
给定 最小二乘估计
满足下列递推公式
非奇异,
0)( ?
??
tP
t
注 1：校正项 加权因子
)()()()(
)()1(
tetθtυty
tθtθ
T ??
??
)1()( ?? tPtP
注 2：最小二乘估计可解释为下面过程的 Kalman滤波
注 3：递推方程也可由式（ 2.2）的损失函数导出；
注 4：如果,则最终有
新的采样数据对参数估计的改进不再起作用,
这种现象称为 数据饱和 。
? ? 2
1
)()(
2
1
),( θiυiyλtθV T
t
i
it ?? ?
?
?
10 ?? λ
时变参数情形
（ 2.20）
遗忘因子（折扣因子）
forgetting（ discounting） factor
1、参数突变但不频繁
2、参数连续变换但很缓慢
重置（ resetting）
)(? tθ
定理 2.4 具有指数遗忘的递推最小二乘
假设对于所有的 t≥t0,矩阵 )()( ttT ??
? ?)1(?)()()()1(?)(? ????? tθtυtytKtθtθ T
（ 2.21）
? ? 1)()1()()()1()()()( ?????? tυtPtυIλtυtPtυtPtK T
? ? λtPtυtKItP T /)1()()()( ???
最小化（ 2.20）的参数 可由下列递推公式
非奇异,
给出
θtυty T )()( ?
? ? ? ?
? ?)(?)()(
)1(?)(?)1(?)(?
2
1
tθtυtyα
tθtθtθtθV
T
T
??
?????
简化算法
（ 2.22）
Kaczmarz’s 投影算法（ projection algorithm）
Lagrangian乘子 )1(?)(? ?? tθtθ
（ 2.23）
? ?)1(?)()()()( )()1(?)(? ????? tθtυtytυtυ tυtθtθ TT
Kaczmarz算法
? ?)1(?)()()()( )()1(?)(? ????? tθtυtytυtυ tγυtθtθ TT
算法 2.1 投影算法
（ 2.24）
20,0 ??? γα
? ?)1(?)()()()( )()1(?)(? ?????? tθtυtytυtυα tγυtθtθ TT
注 1、（ 2.24）称为正规化投影算法。
注 2、参数 γ 的具体界限可由分析得到。
（ 2.25）
1
1
)()()(
?
?
?
?
??
?
?? ?t
i
T iυiυtP
? ?)1(?)()()()()1(?)(? ????? tθtυtytυtPtθtθ T
投影算法假设数据由无误差的（ 2.22）式生成。当
数据由附加随机误差（ 2.12）产生时的简化算法为
随机逼近（ stochastic approximation）算法
（ 2.26）
? ?)1(?)()()()1(?)(? ????? tθtυtytγυtθtθ T
最小均方（ least mean square）算法
连续时间模型
（ 2.27）
τdτyτυetθτdτυτυe
t τtαt Tτtα ?? ????
???????
0
)(
0
)( )()()(?)()(
? ? τdθτυτyeθV Tt τtα 2
0
)( )()( )( ?? ? ??
（ 2.28）
??????? ? ?? τdτυτυetR t Tτtα0 )( )()( )(
定理 2.4 连续时间最小二乘
假设对于所有的 t≥t0,矩阵 )(tR
)()()(
?
tetυtP
dt
θd ?
（ 2.30）
)(?)()()( tθtυtyte T??
)()()()()()( tPtυtυtPtPαdt tdP T??
最小化（ 2.27）的估计满足
非奇异,
（ 2.31）
（ 2.32）
2.3 动力学系统的参数估计
有限脉冲响应（ finite-impulse response）,FIR
)()2()1()( 21 ntubtubtubty n ??????? ?（ 2.33）
θtυty T )1()( ??
)]()1([)1( ],[ 1 ntututυbbθ TnT ????? ??
横截滤波器（ transversal filter）
)(?)2(?)1(?)(? 21 ntubtubtubty n ??????? ?
传递函数模型（ transfer function model）
)()()()( tuqBtyqA ?
（ 2.34）
nnn aqaqqA ???? ? ?11)(
mmm bqbqbqB ???? ?? ?2211)(
)()1(
)()2()1()(
1
21
ntubnmtub
ntyatyatyaty
m
n
???????
??????
?
] [ 11 mnT bbaaθ ???
)]()1(
)()1([)1(
ntunmtu
ntytytυ T
????
??????
?
?
θtυty T )1()( ??
?
?
?
?
?
?
?
?
?
?
?
??
)1(
)(
tυ
nυ
T
T
?
自回归模型（ autoregressive model）
最小二乘估计的统计解释
)()()()()( ntetuqBtyqA ???
方程误差法（ equation error method）
)()(
)(
)()( tetu
qA
qBty ??
输出误差法（ output error method）
)()1(
)(?)1(?)(?
1
1
ntubnmtub
ntyatyaty
m
n
???????
?????
?
?
)(
)(
)()(? tu
qA
qBty ?
?
?
?
t
k
kyky
1
2)](?)([m in
)()1()()1(?)(? tεtυtPtθtθ ????
)]()1(
)(?)1(?[)1(
ntunmtu
ntytytυ T
????
??????
?
?
)1(?)1()()( ???? tθtυtytε T
连续时间传递函数模型
)()()()( tupBtypA ?
（ 2.36）
ub
dt
udbya
dt
yda
dt
yd
mm
m
nn
n
n
n
?????? ?
?
?
?
?? 1
1
11
1
1
)()()()( tupBtypA ff ?
)()()( ),()()( tupHtutypHty ffff ??
（ 2.37）
极点盈数不小于 n的稳定传函
)( pH f
θυtypHptyp Tfnfn ?? )()()(
] [ 11 mnT bbaaθ ???
])(,,)(
,)(,,)([
],,,,[)(
1
1
11
upHupHp
ypHypHp
uupyyptυ
ff
m
ff
n
ff
m
ff
nT
?
?
??
?
?
??
???
???
非线性模型
? ?21 bbaθ T ?
))1(s i n ()1()1()( 21 ?????? tubtubtayty
? ?))(s i n ()()()( tututytυ T ??
θtυty T )1()( ??
随机模型
0)}()({ ?ieiυE T
)()()( 0 ieθiυiy T ??
)()()()()()( teqCtuqBtyqA ??
)1(?)1()()( ???? tθtυtytε T
如果 e(i)是相关的，则
（ 2.38）
)()1()( teθtυty T ???
] [ 111 nnnT ccbbaaθ ????
)](,),1( ),(
,),1(),(,),1([)1(
ntεtεntu
tuntytytυ T
????
???????
?
??
增广最小二乘（ extended least squares）
（ 2.39）
)1()1()1()( 11 ????? ?? tυtυtPtP T
)()1()()1(?)(? tεtυtPtθtθ ????
（ 2.41）
（ 2.40） )()(?)()(?)()(? tuqBtyqAtεqC ??
)()()(? tυtυqC f ?
递推极大似然法（ recursive maximum likelihood）
)1(?)1()()( ???? tθtυtytε Tf
后验残差（ posterior residual）
)(?)1()()( tθtυtytε p ???
)(
)(
)()(
)(
)()( te
qD
qCtu
qA
qBty ??
统一化（ unification）
)()1()()1(?)(? tεtυtPtθtθ ????
??
?
?
??
?
?
????
???????
)1()1()1(
)1()1()1()1()1(1)(
tυtPtυλ
tPtυtυtPtP
λ
tP T
T
试验条件（ experimental conditions）
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
????
??
????
?????
???
?
??
???
?
??
???
t
n
t
n
t
n
t
n
t
n
t
n
T
nku
nkukuku
nkukukukuku
1
2
11
2
111
2
)(
)()2()2(
)()1()2()1()1(
??
?
?
（ 2.42）
持续激励（ persistent excitation）
?
?
?
?
?
?
?
?
?
?
?
?
???
??
??
?
????
??
)0(
)2()0(
)1()1()0(
1
lim
c
ncc
nccc
t
C
T
t
n
??
?
?
（ 2.43）
c(k)是输入的经验协方差
?
?
??
??
t
i
t
kiuiu
t
kc
1
)()(
1
li m)(
（ 2.44）
定义 2.1 持续激励（ PE）
信号 u称为是 n阶持续激励的，如果（ 2.44）的极
限存在且使（ 2.43）给出的矩阵 Cn是正定的。
?
?
?
??
mt
tk
T IρkυkυIρ
21 )()(
? ?)()2()1()( ntutututυ ???? ?
信号 u称为是 n阶持续激励的，如果对于所有的 t都
存在整数 m，使得
定理 2.6 FIR模型的一致性（ consistency）
考虑具有 n个参数 FIR模型的最小二乘估计。
如果输入信号是 n阶持续激励的，则这个估
计是一致的，且估计的方差以 1/t的速度趋向
于零。
定理 2.7 持续激励信号（ persistently
exciting signals）
具有性质（ 2.44）的信号 u是 n阶持续激励
的，当且仅当对于所有小于或等于 n-1阶的
非零多项式 A，有
? ??
???
??
t
kt
kuqAU
1
2 0)()(lim
（ 2.45）
☆ 脉冲信号（ pulse）
☆ 阶跃信号（ step）
☆ 正弦信号（ sinusoid）
☆ 周期信号（ periodic）
☆ 随机信号（ random）
定理 2.8 Parseval定理
令
??
?
?? ?
0
1 )(
k
k
k qhqH ?
?
?
?? ?
0
1 )(
k
k
k qgqG
2σ
ωdeGeH
π
σghσ ωiπ
π
ωi
k
kk )()(2
2
0
2 ??
?
?
?
?
则
是两个稳定的传递函数。令白噪声 e(t) 均值
为零，方差为
例 2.9 频域特性
考虑频谱为 )(ω
u?
ωdωeA
π
kuqA
t
π
π u
ωi
t
kt
)(|)(|
2
1))()((1lim 2
1
2 ??
????
??
的拟平稳信号 u(t)。
由 Parseval定理可得
定理 2.9 滤波信号的持续激励
令信号 u是 n阶持续激励的，假设 A(q)是次数
为 m<n的多项式，那么信号 v定义为
)()()( tuqAtv ?
)()(1)( tuqAtw ?
定义的信号是 n阶持续激励的。
则是 l阶持续激励的（ n-m≤l ≤n）。假设 A
是稳定的，则由
闭环辨识
)()()()( tuqBtyqA ?
?
?
?
?
?
?
?
?
?
?
?
?
??????
????
??
??
)()1()()1(
)2()1()2()1(
)1()()1()(
ntutuntyty
unuyny
unuyny
??
??????
??
??
)1()()( 21 ???? tyktyktu
)()()( tytktu ??
（ real-time parameter estimation）
2.1 介绍
▽ 模型结构的选择
系统辨识的基本内容
（ system identification）
▽ 验证
▽ 试验设计：输入信号的选取
▽ 参数估计
传递函数模型
持续激励（ persistent excitation）
最小二乘法
（ least-squares method）
2.2 最小二乘法和回归模型
（ regression model）
Gauss 18世纪末 原理 确定行星轨道
the sum of squares of the differences between the actually observed and the computed values,
multiplied by numbers that measure the degree
of precision,is a minimum,
? ?)()()()( 21 iυiυiυiυ nT ??
0
00
22
0
11
)(
)()()()(
θiυ
θiυθiυθiυiy
T
nn
?
???? ?
? ? Tnθθθθ 002010 ??
回归变量（ regression variable）
（ 2.1）
? ? TtyyytY )()2()1()( ??
?
?
??
t
i
T θiυiytθY
1
2])()([
2
1
),(
? ? TtεεεtE )()2()1()( ??
损失函数（ loss function）
代价函数（ cost function）
（ 2.2）
? ? ? ? 1 11 )()()()()( ??? ????? ti TT iυiυtttP
?
?
?
?
?
?
?
?
?
?
??
)(
)1(
)(
tυ
υ
t
T
T
?
θiυiyiyiyiε T )()()(?)()( ????
（ 2.3）
残差（ residuals）
θYYYE ????? ?
2
1
2
2
1
2
1)(
2
1),( EEEiεtθV Tt
i
??? ?
?
（ 2.4）
Yθ TT ????
? ? Yθ TT ???? ? 1
（ 2.5）
定理 2.1 最小二乘估计
使损失函数（ 2.2）最小的参数应满足
如果矩阵 非奇异（ nonsingular），则
最小值唯一，并且由下式给出
（ 2.6）
??T
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??
?
?
?
?
t
i
t
i
t
i
T
iyiυtP
iyiυiυiυtθ
1
1
1
1
)()()(
)()()()()(
?
注 1：方程（ 2.5）称为正规方程（ normal equation）
（ 2.9）
式（ 2.6）可写为
? ? WYWθ TT ???? ? 1 ?
注 2：矩阵 可逆的条件称为 激励条件
（ excitation condition ）。
注 3：最小二乘判据对所有的 误差加权 是相同的，
这对应于假设所有的测量结果有相同的精度。
??T
对误差不同的加权可以通过改变损失函数（ 2.2）为
0}{,21 ??? iT wd ia gWWEEV
此时最小二乘估计为
例 2.1 静态系统的最小二乘估计
最小二乘的 几何解释 （ geometric interpretation）
n
n
n
n
θ
tυ
υ
υ
θ
tυ
υ
υ
ty
y
y
tε
ε
ε
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
)(
)2(
)1(
)(
)2(
)1(
)(
)2(
)1(
)(
)2(
)1(
1
1
1
1
?
?
???
n
n θυθυθυYE ???? ?
2
2
1
1
tiθυθυθυYυ nnTi ??,1,0)()( 2211 ?????
)()()( 0 ieθiυiy T ??
EθY ??? 0
EθθY TTTT ????????? ?? 101 )(?)(
最小二乘的 统计解释（ statistical interpretation）
（ 2.12）
（ 2.13）
0)}(?{ θtθE ?
2σ
定理 2.2 最小二乘估计的统计性质
考虑（ 2.6）的估计，假设数据由式（ 2.12）生
成，其中 {e(i),i=1,2,…} 是均值为零，方差为
的独立随机变量序列，令 E{}表示数学期望,cov
表示随机变量的协方差，如果 是非奇异的，
则
（ 1）
??T
12 )()}(?{ ???? TσtθC o v
θ?
（ 2）
（ 3） )/(),?(2)(? 2 nttθVtσ ?? 是 的无偏估计
0θ
2σ
其中 n是 和 的参数数目,t是数据的数目。
)1(? ?tθ
递推计算（ recursive computations）
令 代表基于 t-1次测量的最小二乘估计
（ 2.14）
)()()1(
)()()()(
)()()()()(
1
1
1
1
1
tυtυtP
tυtυiυiυ
iυiυtttP
T
T
t
i
T
t
i
TT
???
??
????
?
?
?
?
?
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
?
?
?
?
1
1
1
)()()()()(
)()()()(
?
t
i
t
i
tytυiyiυtP
iyiυtPtθ
)1(?)()()1(?)(
)1(?)1()()(
1
1
1
1
????
???
?
?
?
?
?
tθtυtυtθtP
tθtPiyiυ
T
t
i
? ?
)()()1(?
)1(?)()()()()1(?
)()()()1(?)()()()1(?)(?
tεtKtθ
tθtυtytυtPtθ
tytυtPtθtυtυtPtθtθ
T
T
???
?????
?????
? ?)1(?)()()( ),()()( ???? tθtυtytεtυtPtK T
BDACCA 11,,?? ?
矩阵逆引理（ matrix inversion lemma）
令 为非奇异矩阵，则
可逆，且
111111
1
)(
)(
??????
?
???
?
DABDACBAA
B C DA
BCDA ?
? ?
? ?
? ?
? ? )1()()()1()(
)()1()1(
)()()1(
)()()1()1(
)()()(
1
1
1
1
1
???
?????
???
??????
???
?
?
?
?
?
tPtυtυtPtυI
tυtPtP
tυtυtP
tυtυtt
tttP
TT
T
TT
T
? ? 1)()1()()()1(
)()()(
?
????
?
tυtPtυItυtP
tυtPtK
T
)(? tθ? ? 10000 )()()(),(? ???? tttPtθ T
定理 2.3 递推最小二乘估计
假设对于所有的 t≥t0,矩阵
（ 2.15）
)()( ttT ??
? ?)1(?)()()()1(?)(? ????? tθtυtytKtθtθ T
（ 2.16）
（ 2.17）
? ? 1)()1()()()1()()()( ?????? tυtPtυItυtPtυtPtK T
? ? )1()()(
)1()()()1()(
???
????
tPtυtKI
tPtυtKtPtP
T
T
给定 最小二乘估计
满足下列递推公式
非奇异,
0)( ?
??
tP
t
注 1：校正项 加权因子
)()()()(
)()1(
tetθtυty
tθtθ
T ??
??
)1()( ?? tPtP
注 2：最小二乘估计可解释为下面过程的 Kalman滤波
注 3：递推方程也可由式（ 2.2）的损失函数导出；
注 4：如果,则最终有
新的采样数据对参数估计的改进不再起作用,
这种现象称为 数据饱和 。
? ? 2
1
)()(
2
1
),( θiυiyλtθV T
t
i
it ?? ?
?
?
10 ?? λ
时变参数情形
（ 2.20）
遗忘因子（折扣因子）
forgetting（ discounting） factor
1、参数突变但不频繁
2、参数连续变换但很缓慢
重置（ resetting）
)(? tθ
定理 2.4 具有指数遗忘的递推最小二乘
假设对于所有的 t≥t0,矩阵 )()( ttT ??
? ?)1(?)()()()1(?)(? ????? tθtυtytKtθtθ T
（ 2.21）
? ? 1)()1()()()1()()()( ?????? tυtPtυIλtυtPtυtPtK T
? ? λtPtυtKItP T /)1()()()( ???
最小化（ 2.20）的参数 可由下列递推公式
非奇异,
给出
θtυty T )()( ?
? ? ? ?
? ?)(?)()(
)1(?)(?)1(?)(?
2
1
tθtυtyα
tθtθtθtθV
T
T
??
?????
简化算法
（ 2.22）
Kaczmarz’s 投影算法（ projection algorithm）
Lagrangian乘子 )1(?)(? ?? tθtθ
（ 2.23）
? ?)1(?)()()()( )()1(?)(? ????? tθtυtytυtυ tυtθtθ TT
Kaczmarz算法
? ?)1(?)()()()( )()1(?)(? ????? tθtυtytυtυ tγυtθtθ TT
算法 2.1 投影算法
（ 2.24）
20,0 ??? γα
? ?)1(?)()()()( )()1(?)(? ?????? tθtυtytυtυα tγυtθtθ TT
注 1、（ 2.24）称为正规化投影算法。
注 2、参数 γ 的具体界限可由分析得到。
（ 2.25）
1
1
)()()(
?
?
?
?
??
?
?? ?t
i
T iυiυtP
? ?)1(?)()()()()1(?)(? ????? tθtυtytυtPtθtθ T
投影算法假设数据由无误差的（ 2.22）式生成。当
数据由附加随机误差（ 2.12）产生时的简化算法为
随机逼近（ stochastic approximation）算法
（ 2.26）
? ?)1(?)()()()1(?)(? ????? tθtυtytγυtθtθ T
最小均方（ least mean square）算法
连续时间模型
（ 2.27）
τdτyτυetθτdτυτυe
t τtαt Tτtα ?? ????
???????
0
)(
0
)( )()()(?)()(
? ? τdθτυτyeθV Tt τtα 2
0
)( )()( )( ?? ? ??
（ 2.28）
??????? ? ?? τdτυτυetR t Tτtα0 )( )()( )(
定理 2.4 连续时间最小二乘
假设对于所有的 t≥t0,矩阵 )(tR
)()()(
?
tetυtP
dt
θd ?
（ 2.30）
)(?)()()( tθtυtyte T??
)()()()()()( tPtυtυtPtPαdt tdP T??
最小化（ 2.27）的估计满足
非奇异,
（ 2.31）
（ 2.32）
2.3 动力学系统的参数估计
有限脉冲响应（ finite-impulse response）,FIR
)()2()1()( 21 ntubtubtubty n ??????? ?（ 2.33）
θtυty T )1()( ??
)]()1([)1( ],[ 1 ntututυbbθ TnT ????? ??
横截滤波器（ transversal filter）
)(?)2(?)1(?)(? 21 ntubtubtubty n ??????? ?
传递函数模型（ transfer function model）
)()()()( tuqBtyqA ?
（ 2.34）
nnn aqaqqA ???? ? ?11)(
mmm bqbqbqB ???? ?? ?2211)(
)()1(
)()2()1()(
1
21
ntubnmtub
ntyatyatyaty
m
n
???????
??????
?
] [ 11 mnT bbaaθ ???
)]()1(
)()1([)1(
ntunmtu
ntytytυ T
????
??????
?
?
θtυty T )1()( ??
?
?
?
?
?
?
?
?
?
?
?
??
)1(
)(
tυ
nυ
T
T
?
自回归模型（ autoregressive model）
最小二乘估计的统计解释
)()()()()( ntetuqBtyqA ???
方程误差法（ equation error method）
)()(
)(
)()( tetu
qA
qBty ??
输出误差法（ output error method）
)()1(
)(?)1(?)(?
1
1
ntubnmtub
ntyatyaty
m
n
???????
?????
?
?
)(
)(
)()(? tu
qA
qBty ?
?
?
?
t
k
kyky
1
2)](?)([m in
)()1()()1(?)(? tεtυtPtθtθ ????
)]()1(
)(?)1(?[)1(
ntunmtu
ntytytυ T
????
??????
?
?
)1(?)1()()( ???? tθtυtytε T
连续时间传递函数模型
)()()()( tupBtypA ?
（ 2.36）
ub
dt
udbya
dt
yda
dt
yd
mm
m
nn
n
n
n
?????? ?
?
?
?
?? 1
1
11
1
1
)()()()( tupBtypA ff ?
)()()( ),()()( tupHtutypHty ffff ??
（ 2.37）
极点盈数不小于 n的稳定传函
)( pH f
θυtypHptyp Tfnfn ?? )()()(
] [ 11 mnT bbaaθ ???
])(,,)(
,)(,,)([
],,,,[)(
1
1
11
upHupHp
ypHypHp
uupyyptυ
ff
m
ff
n
ff
m
ff
nT
?
?
??
?
?
??
???
???
非线性模型
? ?21 bbaθ T ?
))1(s i n ()1()1()( 21 ?????? tubtubtayty
? ?))(s i n ()()()( tututytυ T ??
θtυty T )1()( ??
随机模型
0)}()({ ?ieiυE T
)()()( 0 ieθiυiy T ??
)()()()()()( teqCtuqBtyqA ??
)1(?)1()()( ???? tθtυtytε T
如果 e(i)是相关的，则
（ 2.38）
)()1()( teθtυty T ???
] [ 111 nnnT ccbbaaθ ????
)](,),1( ),(
,),1(),(,),1([)1(
ntεtεntu
tuntytytυ T
????
???????
?
??
增广最小二乘（ extended least squares）
（ 2.39）
)1()1()1()( 11 ????? ?? tυtυtPtP T
)()1()()1(?)(? tεtυtPtθtθ ????
（ 2.41）
（ 2.40） )()(?)()(?)()(? tuqBtyqAtεqC ??
)()()(? tυtυqC f ?
递推极大似然法（ recursive maximum likelihood）
)1(?)1()()( ???? tθtυtytε Tf
后验残差（ posterior residual）
)(?)1()()( tθtυtytε p ???
)(
)(
)()(
)(
)()( te
qD
qCtu
qA
qBty ??
统一化（ unification）
)()1()()1(?)(? tεtυtPtθtθ ????
??
?
?
??
?
?
????
???????
)1()1()1(
)1()1()1()1()1(1)(
tυtPtυλ
tPtυtυtPtP
λ
tP T
T
试验条件（ experimental conditions）
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
????
??
????
?????
???
?
??
???
?
??
???
t
n
t
n
t
n
t
n
t
n
t
n
T
nku
nkukuku
nkukukukuku
1
2
11
2
111
2
)(
)()2()2(
)()1()2()1()1(
??
?
?
（ 2.42）
持续激励（ persistent excitation）
?
?
?
?
?
?
?
?
?
?
?
?
???
??
??
?
????
??
)0(
)2()0(
)1()1()0(
1
lim
c
ncc
nccc
t
C
T
t
n
??
?
?
（ 2.43）
c(k)是输入的经验协方差
?
?
??
??
t
i
t
kiuiu
t
kc
1
)()(
1
li m)(
（ 2.44）
定义 2.1 持续激励（ PE）
信号 u称为是 n阶持续激励的，如果（ 2.44）的极
限存在且使（ 2.43）给出的矩阵 Cn是正定的。
?
?
?
??
mt
tk
T IρkυkυIρ
21 )()(
? ?)()2()1()( ntutututυ ???? ?
信号 u称为是 n阶持续激励的，如果对于所有的 t都
存在整数 m，使得
定理 2.6 FIR模型的一致性（ consistency）
考虑具有 n个参数 FIR模型的最小二乘估计。
如果输入信号是 n阶持续激励的，则这个估
计是一致的，且估计的方差以 1/t的速度趋向
于零。
定理 2.7 持续激励信号（ persistently
exciting signals）
具有性质（ 2.44）的信号 u是 n阶持续激励
的，当且仅当对于所有小于或等于 n-1阶的
非零多项式 A，有
? ??
???
??
t
kt
kuqAU
1
2 0)()(lim
（ 2.45）
☆ 脉冲信号（ pulse）
☆ 阶跃信号（ step）
☆ 正弦信号（ sinusoid）
☆ 周期信号（ periodic）
☆ 随机信号（ random）
定理 2.8 Parseval定理
令
??
?
?? ?
0
1 )(
k
k
k qhqH ?
?
?
?? ?
0
1 )(
k
k
k qgqG
2σ
ωdeGeH
π
σghσ ωiπ
π
ωi
k
kk )()(2
2
0
2 ??
?
?
?
?
则
是两个稳定的传递函数。令白噪声 e(t) 均值
为零，方差为
例 2.9 频域特性
考虑频谱为 )(ω
u?
ωdωeA
π
kuqA
t
π
π u
ωi
t
kt
)(|)(|
2
1))()((1lim 2
1
2 ??
????
??
的拟平稳信号 u(t)。
由 Parseval定理可得
定理 2.9 滤波信号的持续激励
令信号 u是 n阶持续激励的，假设 A(q)是次数
为 m<n的多项式，那么信号 v定义为
)()()( tuqAtv ?
)()(1)( tuqAtw ?
定义的信号是 n阶持续激励的。
则是 l阶持续激励的（ n-m≤l ≤n）。假设 A
是稳定的，则由
闭环辨识
)()()()( tuqBtyqA ?
?
?
?
?
?
?
?
?
?
?
?
?
??????
????
??
??
)()1()()1(
)2()1()2()1(
)1()()1()(
ntutuntyty
unuyny
unuyny
??
??????
??
??
)1()()( 21 ???? tyktyktu
)()()( tytktu ??
