284
龚光鲁,钱敏平著 应用随机过程教程 – 与在算法和智能计算中的应用
清华大学出版社,2003
第 11 章 Gauss 系,二阶矩过程,时间序列
1,全体方差有限的随机变量构成的 Hilbert空间
1,1 实值情形
期望为 0且方差有限的随机变量 全体 构成的集合,记为 L 2,它是一个无穷 维的 线性空间,
在 L 2 上 可以 仿照欧氏空间定义内积,
)(),( xhhx E
=,( ∈? hx,L2 ),
于是 L 2 在此内积下成为 ( 无穷维 ) 欧氏空间,再仿照欧氏空间定义模 ( 相当于长度,也称为均方距离 )
2
1
),(|||| xxx
=,
它有以下的重要性质,
（ １ ） Cauchy 不等式,|||||||||),(| hxhx?≤,
（ ２ ） 三角形不等式,|||||||||||| hxhx +≤+,
这样 ||||),( hxhx?=
d 就是定义在 L2 上的一个距离,从而有了收敛性,即若 0|||| →?xxn,
则称 xx →n ( 它的含义恰是均方收敛 0|| 2 →? xx nE ),作为线性空间 L 2 除了 不 再 是有限维以外,它与普通的有限维欧氏空间一样,作为距离空间都是完备的,即,随机序列 }{ nx 在
L 2 中收敛的充要条件为它是一个 Cauchy 列 ( 见第 9 章 ),也就是
exxe <?>?>? ||||,,,,0 mnNmnN 就有只要,
定义 １１,１ 完备的 无穷维 欧氏空间常称为 Hilbert 空间,
1,2 复值情形
在通信等领域,人们常用复值的量,记 i为虚数单位,若 hx,都 是 随机变量,则
hxV i+= 称为复值随机变量,它具有复的数学期望 hxV iEEE +=,非负的方差
22}(var hxVVV EEE +==?,
用一点技术处理可以证明 ( 本书从略 ),对于任意复常数 a,恒有 VaaV EE =)(,两个期望为 0 的复随机变量 21,VV 的内积定义为 )(),( 2121 VVVV E
=,于是,实值情形的结论对于复值情形也是适用的,
2 随机变量族的均方信息空间与滤波
2,1 均方信息空间
记号 １ １,２ 由 随机变量族 }:{ I∈axa 中任意有限个元素的任意有界连续函数全体组成 L 2 的一个线性子空间 ( 但对极限并不封闭 ),记为 Φ )(x,
再记 Φ )(x 为,包含 Φ )(x 且对 L 2 中收敛性封闭的最小集合,那么 Φ )(x 是 L 2 的
H ilbert 子空间,我们称它为 }:{ I∈axa 的 均方信息空间,这里,均方 信息,的含义是指只要,方差有限,的信息,
285
2,2 滤波问题
滤波问题的 一般提法 为,假定 随机变量 族 }:{ I∈axa 是可以实际测量 的,且期望为 0,
而 另一个随机变量 h 的期望为 0,方差有限,但 是 不能 实际 测量得到,我们需要从测得的
}:{ I∈axa 对 随机变量 h 给出一个估计
^
h,这样的问题 称为 滤波问题,
解 滤波问题的 思路的 一般模式
我们知道在欧氏空间中,对 于一个 子空间外一个点,求此点 在 该 子空间上的投影,就是 在该 子空间中 寻找一个 与 它 距离 最近的点,这个事实在 Hilbert 空间仍然正 确 ( 由于
Hilbert 空间是无限维的,欧氏空间情形的证明当然不再适用,我们略去 Hilbert 空间中的这个基本事实的证明 ),于是滤波问题的解
∨
h 就是 h在 L 2? Hilbert子空间 Φ )(x 上的投影,即下面的命题
命题 １１,３ 在 随机变量 族 }:{ I∈axa 的 均方 信息空间 Φ )(x 中 的元素
∨
h 与随机变量 h
最近,即 ||||min|||| )( Vhhh xV?=? Φ∈
∨
,的充要条件是
∨
h ∈ Φ )(x,且 ⊥?
∨
hh Φ )(x,
即 对 任意 n 及任意 n元 （ Borel） 函数 )(ng,恒有
0)],,()[(
1
)( =? ∨
n
ngE
aa xxhh L,(11.1)
定义 １１,４ 将
∨
h 记为 hx )(Pr Φoj,称为 h 关于 }:{ I∈axa 的 ( 非线性 ) 滤波,
按条件期望的定义,(11,1)说明 了
hx )(Pr Φoj ):|( IE ∈= axh a,(11,2)
即 h关于 }:{ I∈axa 的条件期望,于是 在 特殊情形,即 }:{ I∈axa 只有一个随机变量 x 的情形,我们有
(1) 若 ),( hx 是离散的随机变量,ijji pyxP == )),(),(( hx 时,∑ ∑=
∨
i
i
i
i
i p
px
h
hh,
(2) 若 ),( hx 有密度 ),( yxp 时,dx
duup
xpx ]
),(
),([∫
∫=
∨
h
hh,
3 G auss 系与投影再访
3.1 Gauss 过程的 定义 与 等价条件 及其 性质
复习 １１,５ 随机向量
=
nh
h
h M
1
称为服从 n维 G auss 分布,记为 ),( Smh N～,
如果其特征函数 有以下形式
llmlhl Σ?= TTT ieEe 21
,
其中 m 是 n 维向量,Σ 是 nn× 非负 定矩阵 （ 即任意 n 维向量 x,恒有 0≥ΣxxT ）,显见有,
286
随机变量
=
nh
h
h M
1
服从 n 维 G auss 分布,当且仅当,对于任意 实数 naa,,1 L,线性组合
∑
=
n
k
kka
1
h 服从一维 Gauss分布 （ 即或者是一维正态分布,或者是常数 ）,
请读者验证,
命题 １１,６ n 维 随机向量 ),( Smh N～,当且仅当,存在 m 和 相互独立的 m 个 服从
)1,0(N 的 随机变量 mZZZ,,,21 L,以及 mn× 矩阵 A ( ) ),mjniaij ≤≤= （,使
＝h A m+Z,＝Σ AA T,
其中
=
mZ
Z
Z M
1
,矩阵 Σ 非退化 （ 行列式不为 0 时 ） 的 Gauss 分布,称为 多 维正态分布,
命题 １１,７ 若 ),( Smh N～,则 有
(1) Σ== )])([(,mhmhmh EE,
(2) ),(~ TAAbANbA Σ++ mh,
(3) )(nx 服从 Gauss 分布,且 xx?→?pn )( (指 所有 分量 都 概率收敛 ),则 x 服从 Gauss
分布,
请 读者 验证 (1) 与 (2)),对于 (3),我们只证一维情形,因为多维情形类似,由假定
xx?→?pn )(,对于 ε >0,有
∞→→>? mnP mn,,0)|(| )()( exx,(11,3)
记 )(,)()(2)()( jiijjiij VarEEm xxsxx?=?=,∫
∞?
=Φ x u duex 2
2
2
1)(
p,于是 (11,3) 变成在 ∞→mn,时
∫
>
→
e
s
sp ||
2
)(
021 2
2
x
mx
ij
dxe ij
ij
,
而上式左边等于
∫
>+
esp ||
2
2
2
1
ijij my
y
dye )()](1[
ij
ij
ij
ij mm
s
e
s
e +?Φ++?Φ?=,
因此 ( 11,3) 蕴含,存在 N,只要 Nji >,,上面右 式就小于 ))1()(1(1?Φ=Φ?,由此
)1(1)](1[ Φ?<+?Φ?
ij
ijm
s
e,)1()(?Φ<+?Φ
ij
ijm
s
e,
从而在 Nji >,时 有
1>+?
ij
ijm
s
e,1>+
ij
ijm
s
e,
287
即 es <± ijij m,把此两式相加就得到 2es <ij ( Nji >,),由此进一步得到 2e<± ijm,即
2||
e<
ijm ( Nji >,),可见
=? 2)()( )( jiE xx ),(,022 ∞→→+ jimijijs,
于是 }{ )(nx 是 Hilbert 空间 L 2 中的 Cauchy 列,用完备性就 得到,0|| 2)( →?xx nE,从而 有
xxxx VarVarEE nn →→ )(,)()(,由此
xlxlxlxllxlx VarEiVarEi
n
i
n
i eeEeEe
nnn 2)92)()(
2
1)(
2
1
limlim∞→∞→ ===
可见 x 也服从 Gauss 分布,
定义 １１,８ 随机变量族 }:{ Itt ∈x 称为 Gauss系,如果 Ittn n ∈ L,,1,
),,(
1 ntt
xx L 服从 Gauss分布,如果 Gauss 系中的指标集 ),0[ ∞=I,则称为 Gauss 过程,
对于 Gauss 过程而言,其期望函数 tEtm x
=)( 及相关函数 )(),( tsEtsB xx
= 完全地 确定了它的有限维分布族,
Σ
≤nji
ji
nt
t
tt
tM
tm
N
n,
1
),(,
)(
)(
~
1
MM
x
x
,
其中 )()(),(),( jijiji tmtmttBtt?=Σ,称为 协方差函数,
例 １１,９
(1) 若 ),( hx 为正态分布,则 ),,( hxhxx +? 为 Gauss 分布
(2) 若 }1:{ ≥nnx 为 Gauss 系,∑
=
=
n
k
knkn a
1
xh,则 }1:{ ≥nnh 为 Gauss 系,
记号 １１,１０ 期望为 0 的 全体 Gauss随机变量不仅是 L 2 的线性子空间,而且由于均方收敛蕴含概率收敛 ( 用 Chebyshev 不等式 ),由 命题 １１,７ 的 （ ３ ） 可知,它还是 Hilbert
子空间,记
}:{)( ItL t ∈=
xx 中任意有限个元素的实线性组合组成的集合 ;
称为 }:{ Itt ∈x 的 线性包,再记 )(xL 为包含 )(xL,且对于均方极限封闭的最小集合,即
若 0||||),( )()( →?∈ hhxh nn L,则 )(xh L∈,
)(xL 称为 }:{ Itt ∈x 的 线性闭包 。 它的每个元素都是 }:{ Itt ∈x 中元素线性组合在概率意义下的极限,因而可看成 整个随机过程 }:{ Itt ∈x 的某个,线 性泛函,)(xΦ,作为命题 11.7 的直接推论,我们有下述命题
命题 １１,１１ ( 封闭性 命题 ) 如果 }:{ Itt ∈x 是 Gauss 系,则 )(xL 也 是 Gauss 系,
此外,我们还有
命题 １１,１２ （ 独立性 命题 ）
(1) 若 },:,{ JI ∈∈ bahx ba 是 Gauss 系,则 }:{ I∈axa 与 }:{ I∈bh b 独立的充要条件为,对于任意 ba hx,都有 0)( =bahxCov,
288
(2) 若 }:{ I∈axa 与 }:{ J∈bh b 独立,那么 Φ )(x 与 Φ )(x 独立,
3,2 Gauss 过程的投影 － 线性 滤波
定义 １１,１３ 设 U }{):{ hx Itt ∈ 是 期望为 0的 Gauss 系,随机变量 h 在 Hilbert 子空间 )(xL 上的投影,记为
^
h,称为 h关于 }:{ I∈axa 的 线性滤波,
^
h 也记为 hx )(Pr Loj,即
),(
^
xh L∈ 且 )(
^
xhh L⊥?,(11,1)’
(11,1)’称为 线性 投影公式,
定理 １１,１４ 设 U }{):{ hx Itt ∈ 是期望为 0 的 Gauss系,那么
^
hh =
∨
,
即,对 Gauss 系而言,非线性滤波与线性滤波是一样的,
证明 首先注意?∈ )(
^
xh L Φ )(x,其次,由于 )(
^
xhh L⊥?,我们有
)(,0])[(
^
ItE t ∈?=? xhh,由 命题 １１,１２ 得到,
^
hh? 与 }:{ Itt ∈x 独立,因 而 也与 Φ )(x
独立,于是对于任意 对 ∈V Φ )(x 有 0])[(
^
=? VhhE,这正说明了 ⊥?
^
hh Φ )(x,从而
^
hh =
∨
,
3,3 复 Gauss 过程
设 )2,1(,)()()( =+= ki ktktkt hxV 的期望为 0,则二元函数 )(),( )2()1( tsEtsB VV
= 称为过程
}{ )1(tV 与 }{ )2(tV 的相关函数,它是一个 复的非负定函数,即 对于任意 m,mtt,,1 L 及任意复数
maa,,1 L,恒有
0),(
1,
≥∑
=
lklk
m
lk
ttB aa,
定义 １１,１５ 复随机过程 ttt ihxV += 称为 复 Gauss 过程,如果 }{ tx 与 }{ th 是相互独立,且有限维分布族相同的 Ga u ss 过程,
3,4 Gauss 过程的特征泛函
对于期望函数为 ０,协方差函数为 ),( tsR 的 Gauss 过程 tx 及任意连续增函数 )(tF,定义 Gauss 过程
tx 的 特征泛函 为
)(
0)(
tdFi t
T
EeF
x
x
∫=Φ?
,
即它是 Gauss 随机变量 )(
0
tdFt
T
x∫ 的特征函数在 １ 处值,由于 0)]([
0
=∫ tdFE t
T
x,
)()(),()]([
000
tdFsdFtsRtdFVar
TT
t
T
∫∫∫ =x,因此
)()(),(21
00)(
tdFsdFtsR
TT
eF ∫∫=Φ
x,
4,平稳性与宽平稳性
289
4,1 平稳序列与宽平稳序列,
在实用领域中称 随机变量 序列 )( ∞<<?∞ nnx 为 时间序列,常 假定其方差有限,
定义 １１,１６ 如果 对于任意 km,,m 维随机变量 },,( 1 mkk ++ xx L 都与 },,( 1 mxx L 同
分布,则称 )( ∞<<?∞ nnx 为 平稳序列,
如果有 对于任意 kn,有
)()(,kRnEmE knnn 的函数某个不依赖常数 == +xxx,
则称 )( ∞<<?∞ nnx 为 宽平稳序列,而 )(kR 称为 它的 相关函数,
宽平稳序列是在应用中最常 用 的时间序列,它代表数学期望函数 tEtm x
=)( 与相关函数
)()(),( kREkttB ktt ==+ +
xx 这两个最重要的平均特征都不依赖时间 t的时间序列,通 常假定宽平稳序列的期望函数为零,否则可以预先减去它的期望,在理论上宽平稳列 常 在 L 2 的框架中讨论,
定义 １１,１７ 在工程,无线电,控制等诸多领域中出现的宽平稳序列常假定其期望为 0,
而其相关函数 )(kR 常可表成某个非负函数 )(lf 的 Fourier 系数,
∫= p l ll20 )()( defkR ik,(11,4)
这个非负函数 )(lf 称为此宽平稳序列的 谱密度,
相关函数 概括了宽平稳序列的最重要的统计特征,因而谱密度 )(lf 也 同样 概括了宽平稳序列的 最重要统计特征,在实际问题中,可以通过序列 nx 的一段观测值来估计,即用
∑
=
+=
n
k
ik
k enf
0
2^ ||
1
1)( lxl (11,5)
来估计谱密度 )(lf,称为 谱图估计,这个估计简单易用,但是较为粗略,参照非参数统计中的
核估计的思想,可以得到一些改进的估计,而 在宽平稳序列的期望不等于 0 时,则用
)11(,|)(|11)(
00
2^
^
∑∑
==
+=?+=
n
i
i
n
k
ik
k nenf xxxxl
l (11,4)’
作为谱图估计,
在应用中,可以认为相关函数与谱密度 有 相同的作用,但是在具体处理上,又各有其长处,用相关函数研究宽平稳序列称为时域方法,而用谱密度研究宽平稳序列则称为 频率域方法,
具有谱密度的 宽平稳序列可以用它的样本平均来估计其均值 m,
0||1|| 0 →?+ ++ mn nxx L,
此公式 的收敛是 L 2? 的收敛,就是 均方收敛,其 证明需要用宽平稳列的谱积分理论,这是一个已经发展得过于成熟的理论,本书由于篇幅的限制而 不再 选入这部分材料,又因为均方收敛蕴含了概率收敛,所以有,以接近于 1的概率有 mn n ≈+ ++ 10 xx L,同时 还可以用样本来估计相关函数,
0||)(1|| 0 →+++ ∞→+ nknnk kRn xxxx L,
同样 它 蕴含了 以接近于 1 的概率有 )(10 kRn knnk ≈+++ +xxxx L,记
290
1
0^
+
++=
nm
nxx L,
1)(
0^
+
++= +
nkR
knnk xxxx L,(11,6)
它们分别是均值 m与相关函数 )(kB 的最简便的 相合 估计,
显见,Gauss 宽平稳序列一定是平稳的,对于具有谱密度的宽平稳 Gauss 列,可以有更
强的结论,
1)1( 0 =→+ ++ mnP nxx L,1))(1( 0 =→+++ + kRnP knnk xxxx L,
相当一般的具有谱密度的宽平稳序 列 (例如,只要 满足 ∫∞>
p
p
ll df )(ln ) 都可以用
下面 5,3 段中的 ARMA模型来近似,这就是在实际领域中 ARMA 模型被广泛采用的原因,
4,2 渐近平稳序列与渐近宽平稳序列
定义 １１,１８ 随机变量列 )( ∞<<?∞ nnx 称为 渐近平稳序列,如果 对于任意 km,,当
∞→t 时 ),,( 1 mtt ++ xx L 与 },,( 1 mktkt ++++ xx L 的分布都依分布收敛到相同的分布,而 渐近平稳序 列 正 是指在时间充分发展后近似平稳的时间序列,随机变量列 )( ∞<<?∞ nnx 称 为 渐近宽平稳序列,如果 对于任意 kn,,存在常数 m 及函数 )(kR,使
)()(lim,lim kREmE kntnttntt == +++∞→+∞→ xxx,
m称为 渐近均值,)(kR 称为 渐近相关函数,而 渐近宽平稳序列 正 是指在时间充分发展 后近似宽平稳的时间序列,
例 １１,１９ 具有 不变分布的不可约 Markov 链,在初始值 服从不变分布时,是平稳序列 ;
而 当 初始 值 任意时,是渐近 平稳序列,
在实际数据 处理 应用中,用 宽平稳序列来拟合 建模 的常常只是渐近宽平稳序列,然而 这在应用中已经足够了,因为 我们都可以认为当前的时刻已经是该时间序列已发展到达到了充分长的阶段,也就是说,在实用中我们并不严格区分宽平稳序列与渐近宽平稳序列,
4,3 平稳增量序列
如果随机序列显著地出现一 个 随时间 发展 的 趋势,则在模型拟合时,可以研究其增量,
1?
= nnn xxh,对于此增量序列,考察其平稳性,宽平稳性,渐近平稳性与渐近宽平稳性,并进一步选择合适的模型,以便得到较为合适的模型参数拟合,宽平稳增量序列 经济学家们常称为 单位根过程
［ 注 ］ 0),()( ==+ nknn EkRE xxx 的平稳列 ),,1( Nnn L=x 的样本 可作如下的 模拟,
设 )(kR 满足,对于任意 l,任意 lijjil nnRnn ≤? ))((,,,1 L 都是一个非负定的矩阵,取独立同分布列 }{ nw 使 )0(,0 2 REwEw nn ==,待定 线性组合 11,?+++= nknkk wcwc Lx,其系数
),,( 1 ncc L 可由方程组
))[0()])([()1( 1121
1
1
1
nknkkjj
N
j
iki
N
i
ccccccRwcwcEkR +?+
=
+
=
+++==? ∑∑ L
解得,这是一个二次方程组,可以用模拟退火方法,
5,ARMA模型 (Auto-Regression Moving Average 模型 )
5,１ ARMA (p,q)
定义 １１,２０ 对于宽平稳序列 nx,若 存在不相关的时间序列 )( ∞<<?∞ nne (在实用中还 常常 假定它们是独立同分布的,这时 nx 还是平稳序列 ),使 2,0 see == nn VarE,且
291
qnqnnpnpnn bbbaa +++= eeexxx LL 11011,(11,7)
其中多项式 pppp zazazazA= 1111)( L 在 1|| ≤z 无零点,(这个条件保证了 nx 的稳定性质,即渐近宽平稳性,也就是经过连续地递推后,不会趋于无穷 ),则称 )( ∞<<?∞ nnx 为
(p,q) 阶 ARMA 模型,记为 ARMA(p,q ),
在实用中,由于宽平稳性,上面的系数 ),,,(),,,( 101 qp bbbaa LL 可以通过序列 nx 的一 段观测值来估计,
不难证明,宽平稳序列为 ARMA (p,q)的充要条件是它具有如下形式的谱密度
2
2
|)(|
|)(|)(
l
l
l i
i
eA
eBCf =,(11,8)
其中多项式 =)(zA pppp zazaza 1111 L 在 1|| ≤z 无零点,而
q
q
q
q zbzbzbbzB ++++=
1
110)( L,
满足 0),,( 1 =qbb L 的 ARMA模型,简记为 AR(p),称为 p 阶自回归模型,或 p 阶宽马氏模型 ; 而 满足 0),,( 1 =paa L 的 ARMA模型,简记为 MA(q),称为 q 阶滑动平均模型,
在应用学科中常遇到渐近宽平稳序列,实际上可以把它当作宽平稳序列,并用 ARMA模型作数据 拟合,就是把数据列看成某个 ARMA序列的一段样本,对于看起来具有平稳性质的数据列,一般地想象,似乎 被拟合的 ARMA模型的阶 p,q 越大越自由,事实却不是这样,过大而不适当的 p,q 不仅会增加了大量冗余计算工作量,有时还会出现 过分拟合 (over - fitting),这同样会带来误差,所以,寻找尽量小的 p,q,并使之能得到可以接受的近似,称为模型的 定阶问题,
实用中的 AR(p),常常 假定其 自回归残差 ne 是独立 的随机变量 序列,所以 在 pnn xx,,1 L 已知的条件下,nx 的条件期望为
pnpn
pnnnpnpnpnnn
aa
baaEE
++=
+++=
xx
xxexxxxx
L
LLL
11
10111 )),,(|)](([)),,(|(,(11,8)
可见,知道了自回归 模型 系数,就可以用时刻 n 以 前的资料,去预 测 时刻 n 时的 估值,或以多大的概率在什么范围内变化 （ 区间估计 ）,如果还假定 ne 服从正态分布,那么上式说明,对于 模型 AR(p),在 pnn xx,,1 L 已知的条件下,nx 的条件分布为正态分布,
),( 22011 sxx baaN pnpn ++L,
(可以把 20 )( sb 合为一个参数来估计,这等价于令 10 =b,所以以后 对于 AR 模型,我们不妨假定 10 =b ),这时还可以得到误差的区间估 计,
5,2 AR 模型的定阶与偏相关系数以及模型参数的估计
定义 １１,２１ 设 nx 为宽平稳序列 (并不限于 ARMA模型 ),若 实数 )()( kjkj ≤a 满足
∑∑
=
=
=?
k
j
jnjn
k
j
ccjn
k
jn cEE k
1
2
1
,
2)( ||inf||
,1
xxxax L,(11,9)
则 )(kka 称为 第 k 个偏相关系数,
用实测数据来拟合 AR 模型 时,首先 要判断用 AR 模型近似是否合适 ; 其次要估计 p (定阶 );
最后还要估计 AR(p)模型的 p+1 个待估参数,以下的准则可以由简单的计算直接验证,
准则 １１,２２ nx 为 AR(p),当且仅当,第 p 个偏相关系数非零,而以后的偏相关系数都是 零,
292
偏相关系数的 求法 记 2
1
1 ||),,( ∑
=
=
k
j
jnjnkk cEccF xxL,由定义它在
),,( )()(1 kkk aa L 处取最小,所以,粗略地,),,( )()(1 kkk aa L 是方程组,),,1(0 kjcF
j
k L==
的解 （ 它们还有可能是局部极值点而非整体极小 ）,这个方程组也就是,
=
)(
)2(
)1(
)0()2()1(
)2()0()1(
)1()1()0(
)(
)(
2
)(
1
kR
R
R
RkRkR
kRRR
kRRR
k
k
k
k
MM
L
MMMM
L
L
a
a
a
,(11,10)
称为 Yule - Walker 方程,由此可以解出第 k 个偏相关系数 )(kka 的理论值,在实际情形,我们只知道一段样本 Nxx,,1 L,由此可以先得到 ))(( mjjR ≤ 的估计 ))((
^
mjjR ≤,再用它们来代替上面计算第 k 个偏相关系数 )(kka 的 Yule-Walker 方程中的 ))(( kjjR ≤,得到的 方程称为 经验
Yule - Walker 方程,它的解便是第 k 个偏相关系数 )(kka 的估计
^
)(k
ka,称为 经验偏相关系数,
检查多项式 pppp zazaza 1111 L 在 1|| ≤z 有无零点,在实践中是非常困难的,通常的方 法在实用中既复杂且 很难实际操作,因此,人们 在拟合 AR(p) 模型时 常常 加上约束条件
1||
1
<∑
=
p
i
ia,以保证多项式
p
p
p
p zazaza
1
111 L 在 1|| ≤z 无零点,这样就使估计参数问题实际成为求解一个在约束条件下的最小值问题,
偏相关系数的 递推算法
由 (11,10) 利用归纳法,可以得到偏相关系数的递推算法,为此我们归纳地假定 在 k 时已经有了表达式,而 对 1+k 情形,可以 由 1+k 阶 Yule-Walker 方程 定义 如下递推 方程
+
=
+
+
+
+
)1(
)(
)1(
)0()1()(
)1()2()1(
)()1()0(
)1(
1
)1(
)1(
1
kR
kR
R
RkRkR
RkRkR
kRRR
k
k
k
k
k
MM
L
L
MLMM
L
a
a
a
,
递推地 求解 这个方程,就 可 得到 )}1(,{ )1( +≤+ kjkja 与 }(,{ )( kjkj ≤a 间的递推关系,
下面推导 此方程的 递推 解法,注意此 方程的系数是一个 Toepliz 矩阵,以 Toeolitz 矩阵为系数的线性方程组的 解法是 非常 经典的,首先,我们把它改写为矩阵方程,记系数矩阵为 kR,它是对称的而且对于 ARMA模型易证它是正定的 (作为习题 ),再记 kT 为 如下的 k阶倒向算子,
=
1
1
NkT,=kr
)(
)1(
kR
R
M,=kx
)(
1
)(
1
k
k
k
a
a
M,
于是对应的矩阵方程可写为
+=
+
+
+
)1()0( )1( 1
1
kR
rx
RTr
rTR k
k
k
k
T
k
T
k
kkk
a,
也就是
293
k
k
kkkkk rrTxR =+
+
++
)1(
11 a,
)1()0( )1( 11 +=+ +++ kRRxTr kkkTkTk a,
注意 kR 与 kT 是相互交换的,由前一个方程,利用?
=?
)(
1
k
k
k
kk
xrR
a,便有
kkk
k
kkkk rRTrRx
1)1(
1
1
1
+
+
+?= a
=
+
+
kik
k
kk
kk
k
k
xT
x )()1(
1)(
aa
a,(11,11-1)
把它代入后一个方程得 到
)0()()1( )1( 11)1( 11 RrRTrRTrkR kkkkkkkkkTkTk ++?++? +?=+ aa
kk
T
k
T
kkk
T
k
k
k rRTrrRrR
11)1(
1 ))0((
+
+ +?= a,
由此推出
+
=++
)(
)(
)1(
1
)0(
)1(
k
k
kT
k
k
k
kT
k
T
k
k
k x
rR
xTrkR
a
aa
∑
∑
=
=
+?+
= k
j
k
j
k
j
k
j
jRR
jkRkR
1
)(
1
)(
)()0(
)1()1(
a
a
,(11,11-2)
综合 (11.11-1)与 (11,11-2),就是 理论偏相关系数列的 以 下的递推算法,
≤?=
+?+
=
=
=
+
+
+
=
=+
+
∑
∑
)(
)()0(
)1()1(
)1()0(
)1()2(
)0(
)1(
)(
)1(
)1(
1
)()1(
1
)(
1
)(
)1(
1
)1(
1
)1(
1)2(
2
)1(
1
kj
jRR
jkRkR
RR
RR
R
R
k
jk
k
k
k
j
k
j
k
j
k
j
k
j
k
j
k
k
aaaa
a
a
a
a
aa
a
L (11,11)
同样,如果用 ))((
^
mjjR ≤ 代替 ))(( mjjR ≤,则就得到相应的估计 )(
^
)( kjk
j ≤a,
由数据对 AR 模型粗 定阶
对于一段样本 Nxx,,1 L,要拟合 AR 模型,则首先要确定 AR 模型的阶,最简单的想法是,逐个地计算出偏相关系数,如果对于某个 k 而言,以后的 )()( knnn >a 已经达到实际地足够小,则可以近似地认为 kp =,但是这个方法既粗糙 且 在实际中显然并非可行,而更为实 用的是后面将要介绍的 AIC定阶法与 BIC定阶法 （ 参见 5,4 段 中的注 1）,
AR(p)的相关序列的 Yule-Walker 方程与 自回归系数 ),,( 1 paa L 的估计
对于 AR(p) 模型的自回归系数,自然地采用如下估计
)(
^
)(^ pia p
ii ≤= a
另一 种看法 是,注意 AR(p)的相关序列 )}({ kR 满足 以 下的 Yule-Walker 方程,
294
)1(),0()1()( 1 ≥++?= kRakRakR pL,(11,10)’
这个方程与 (11,10)是一样的,其差别仅在于,(11,10)是为了用 求 来 偏相关系数及 定阶,所以未知数 实际上 有无穷多个,而如今假定已知其阶为 p,未知数就只有 p 个,方程虽然有无穷多个,却只有 p 个是线性无关的,所以是有限个方程,又显见 (11,10)’ 的解恰好是此时间序列的前 p
个偏相关系 数,只要 在 (11,10) ’ 中用 ))((
^
pjjR ≤ 代替 ))(( pjjR ≤,就得到相应的 自回归系数 ),,( 1 paa L 的 如下 估计
=
^
a Tpaa ),,(
^
1
^
L,
^^^
bRa
1?
=,
其中
=
^
R
^^
p
^
p
^
p
^^
^
p
^^
011
201
110
ggg
ggg
ggg
L
LLLL
L
L
,=
^
b Tp ),,( ^^2^1 ggg L,
这个估计一般称为 Yule - Walker 估计,实际上,它正好是前面得到的估计 )(
^
)(^ pia p
ii ≤= a,
此外,也可以用最小二乘估计,即令
=>>
=
=
+
pp
pNN
pNN
p
N
N
pNA
a
a
a
q
xx
xx
xx
x
x
x
x M
L
MM
L
L
M
2
1
1
22
1
1
1,,,,（ 11.12）
用方程 xq =A 在 1|||| 1 <++ paa L 的条件下的约束最小二乘解 (参见第一章 ),作为自回归系数 q 的估计,(最 粗略的处理约束方法是对建模误差加上一个惩罚项,例如 ∑
=
+?
p
k
kC
1
)1||( a,
其中 C 是一个很大的正数,上标的符号表示取正部,即 )(),0[ aaIa ∞+ = ),
残差 方差的估计
由 npnpnn aa exxx = L11,立刻可以残差 的 方差 22 nEes = 的估计
(1
1
^
2 ∑
+=?
=
N
pnpN
s 2^1^1 )pnpnn aa xxx L?= ^ )0(R ^a T
^
b?=
^
)0(R
^
b
^1^
bR
,
[ 注 1] 如前所述,如果自回归残差 ne 服从正态分布,就可以对自回归系数及条件方差作最大似然估计,进而还可以对它们作区间估计,在应用中一般地自回归残差并不服从正态分布,但是 如果无视是否 有 正态 性,强行 按正态分布作最大似然估计与区间估计,也能得到 较 粗的参考信息,
［ 注 2］ 与统计领域 中 不同,在经济类的一些有关时间序列的书籍与文献中,11,7） 代之以
qnqnnpnpnn bbbaaa +++= eeexxx LL 110110,（ 11,7）
*
并且也称之为 ARMA(p,q)模型 。 这种扩展增加了一个常数项 0a,这种模型出自 经济研究,当
1,0,,0,0 110 <++≥≥> pp aaaaa LL 时,可以 证明此时间序列是渐近平稳的,
[注 3] 由理论 上 可以证明,在给定相关函数列的 1+p 个值 )(,),1(),0( pRRR L 的所有平稳序列中,使
295
∑
=
=
k
j
jnjnk Ec k
1
2
,,,,
2
0 ||inf 1 xgxgg L
达到极大的平稳序列是 AR( p )模型,这里的 0c 称为平稳序列的一步预测的 (均方 )误差,这就是说,AR( p )模型给出了在这种限制下,平稳序列的一步预测的误 差的上界,即 给出了 最坏 的 可能,此外,人们还证明了几乎在同样的条件下,在具有谱密度的所有平稳序列中,只有 正态 AR( p )平稳序列 }{ nx 满足,对于任意 pN >,
),( 1 Nxx L 的联合分布的熵最大,这也给出了不确定性最大时的建模,也 最坏的可能,
5,3 MA 模型的定阶与参数估计
容易验证以下准则,
准则 １１,２３ 宽平稳序列 nx 为 MA(q),当且仅当,)|(|0)(,0)( qkkRqR ≥=≠,
由此可以通过由实测数据估计相关系数 )(kR,观察它的大小,以给出 q 的粗估计,但是更为使用的是在下面 5,4 段注 1中的 AIC估计法与 BIC估计法,
滑动平均系数 ),,( 1 qbb L 的粗估计
在假定 q 已估计得到的前提下,由模型 的定义有 )0(,)( 2 qkbbkR
q
kj
kjj ≤≤= ∑
=
s,由求解二次方程 )0(,)( 2
^
qkxxkR
q
kj
kjj ≤≤= ∑
=
s 得到 的 ),,,( 10 qxxx L,就是 ),,,( 10 qbbb L 的估计,
求解 二次方程 )0(,)(^ qkbbkR
q
kj
kjj ≤≤= ∑
=
,即求解非线性方程
)()0(
22
0
2^^
qbbR ++= Ls,
)()( 110
^
2^
qkqkk bbbbbbkR?+ ++= Ls,)1( qk <≤,qbbqR 0
2^^
)( s=,（ 11.12）
此 方程 组 的解可由如下的迭代近似,
])()()[()0( 2)(2)(12)1(0
2^^
n
q
nn bbbR ++= + Ls,
][)( ))()( 1)(1)1()1(0
^
2^ n
q
n
kq
n
k
nn
k
n bbbbbbkR
+
++ ++= Ls,)1( qk <≤,)1()1(
0
^
2^ )( ++= n
q
n bbqR s
得到,另外,他们 也可 由求解 优化问题 ∑ ∑
= =
q
k
q
kj
kjjbbb bbkRq
1
2^
,,,|)(|inf 10
２s
L 得到 近似值,不幸的是 这 些 方法 都 过于繁琐,在 实际计算时,只在 5<q 时作数值求解 才比较合适,
MA 模型估计 的经验实际操作常常 是,先拟合一个 AR 模型,得到残差的粗估计,然后把 MA
模型的估计简化为求解一个线性方程组,这是一种纯粹经验性的方法,只有直观根据,其具体操作如下,
假定由一段样本 Nxx,,1 L,经过下面 的 5,4段注 1 中的 AIC或 BIC 法已经估计好了 MA
模型的阶 q,取 s 满足 Nsq <<<<,先用此数据拟合一个 AR(s)模型,由 这个 拟合了的模型,
算出残差的估计
^^
1,,Ns ee L+ (其中 )(
^
1
^
0
^
skskkk aa ++?= xxxe L ),最后求方程
)( ^^0 qkqkk bb?++?= eex L
的最小二乘解 ),,,( 10 qbbb L,作为 MA(q)的模型参数估计,
296
5,4 ARMA模型的定阶与参数估计
对于 ARMA(p,q)
qnqnnpnpnn bbbaa +++= eeexxx LL 11011
的 粗定阶与估计,我们有
准则 １１,２４ 宽平稳序列 nx 为 AR MA( p,q),当且仅当,存在多项式
=)(zA pppp zazaza 1111 L 在 1|| ≤z 无零点,且对于任意 qm > 有
∑
=
=
p
k
k kmRamR
1
)()(,（ １１,１３ ）
在条件满足时 ),,( 1 paa L 就是这个自回归滑动和的 AR 部分的系数,
自回归系数 ),,( 1 paa L 与滑动平均系数 ),,,( 10 qbbb L 的粗估计
第 1 步,用宽平稳序列 nx 的样本计算相关函数序列的估计 )(
^
nR,
第 2 步,对于 L,2,1=q,看是否存在 1≥p 及充分大的 m 使
+
+
)(
)1(
^
^
mqR
qR
M 能近似地能由
)(
)(
)1(
^
^
pk
kmqR
kqR
≤
+
+
M 线性表出,如果对于某个 q (取 尽量小 )存在这样的近似线性表出,则这样的 ),( qp 就可取为此 ARMA模型的阶,而这个线性表出的系数就可以作为 ),,( 1 paa L 的估计
),,( ^^1 paa L,
第 3 步,对于上面确定的 ),( qp 及 ),,( ^^1 paa L,把下述 最小值问题
2
1 1
^^^
,,,|)()(|inf 10 ∑∑ ∑
=
= =
q
mj
mjj
q
l
p
k
kxxx xxklRalRqL
取到最小值的位置 ),,( 1 qxx L 作 为 ),,,( 10 qbbb L 的估计 ),,(
^^
0 qbb L,
[注 1] 以上的 第 ２ 步与第 ３ 步在实际中 很难使用,在实用中更常用的 ARMA 模型的 经验 定阶法有,
（ １ ） AIC（ Akaike Information Criterion） 法 (这是 Akaike采用 相对熵导出的定阶原则 )
设 Nxx,,1 L 是来自正态 ARMA模型的一段观测值,对于指定的 k （ 例如 取可能的阶的一个上界,或
者取它为与 Nln 同阶的一个整数 ） 及固定的 ),0(),,( kqpqp ≤≤,记相应的 2s 的最大似然估计为
),(
2^
qps,记
N
qpqpqpAIC )(2),(ln),( 2^ ++= s,
取 ),(
^^
qp,使
),(min),(
.0
^^ qpAICqpAIC
kqp ≤≤
= 。
297
那么可以用 ),(
^^
qp 作为阶的估计,这 就是 AIC方法,虽然 这个定阶法在 ARMA 模型的定阶中常用,但是却被证明了它 并 不是 阶的 相容 估计,即 人们 已经证明了,如果样本来自 ),( 00 qpARMA,那么就有
0),( 0
^
0
^
=<< qqppP,0)( 0
^
0
^
>>> qqppP 或 。
从而说明用 AIC方法得到的阶可能比 ARMA模型的真正的阶要大,
（ 2） BIC,HIC 法 (AIC的改进 )
用下面的 BIC (Bayesian Information Criterion),HIC 代替 AIC
N
NqpqpqpBIC ln)(),(ln),( 2^ ++= s,
),0( kqp ≤≤,,)2(,lnln)(),(ln),(
2^
>++= cN NqpcqpqpHIC s,
如果我们把对应于样本 Nxx,,1 L 的 BIC估计记为 ),(
^^
NN qp,那么在 Nxx,,1 L 为 ),( 00 qpARMA 时,已经证明 了当 ∞→N 时,依概率地有 0
^
0
^
,qqpp NN →→,这说明 BIC 估计是相合的,
在作线性预报时,一般 地 并不在乎高估其阶数,所以常用 AIC估计,但是,在对模型结构作研究时,就应该用 BIC 估计,
ARMA模型参数的估计
对于 ARMA(p,q),易见有
)1(),()1()( 1 ≥?+++?+=+ kpkqRakqRakqR pL,
由此可以从观测数据 ),,( 1 Nxx L,估计 )( kqR +,再解出 ),,( 1 paa L,得到估计,),,( ^^1 paa L,
然后 记
)( 11 pnpnnn aa ++?= xxxh L,
那么 不难验证 ){ nh 是 MA(q)模型,最后 用 nh 的估计 )(
^
1
^
1
^
pnpnnn aa ++?= xxxh L 代替
nh,作为已知数据来拟合 MA(q),得到模型参数 ),,,( 10 qbbb L 的估计 ),,(
^^
0 qbb L,
[注 ２ ] 由宽平稳序列的一般理论,一 个 宽平稳序列 可以分成两个部分,一部分是其所有时刻的共有信息,
称 为奇异部分,而另一部分则表达了随时刻变化所带来的新的信息,称为正则部分,在实际应用中,人们 通常 认为宽平稳序列只有正则部分,此时不仅具有谱密度 )(lf,而且还满足?∞>∫ ll
p
df )(ln
2
0
,这时 自然 就 可以用 ARMA 模型近似,这是 ARMA 模型被 广泛 应用的原因,
5,5 ARMA模型的预 报 问题
我们在这一段除假定残差序列 }{ ne 独立同分布,=)(zA pppp zazaza 1111 L 在
1|| ≤z 无零点外,还增加一个假定,姑且称之为 假定 B,
q
q
q
q zbzbzbbzB ++++=
1
110)( L 在 1|| ≤z 也无零点,
此时 )( )(,)( )( zA zBzB zA 都是 (复 )解析函数,我们把它门分别记为
k
k
k
zczA zB ∑
∞
=
=
0)(
)(,k
k
k
zdzB zA ∑
∞
=
=
0)(
)(,
记 D为 如下的 向后推移运算,
11, == nnnn DD eexx,
298
于是 ARMA(p,q)可以写为
nn DBDA ex )()( =,
从而有
knk
k
nknk
k
n dc?
∞
=
∞
=
∑∑ == xeex
00
,,(11,14)
随机变量序列 }{ ne 在数学文献中称为 Wold 序列,而在控制领域中称为 新息序列,因为它对 nx
带来了时间序列的过去 },,{ 11 xx L?n 所不能包含的新的信息,(11,14) 的第一个等式称为 Wold
分解,其中 kc 称为第 k 个 Wold 系数,
在以上的假定下,我们立刻得到 下面的定理,
定理 １１,２５ 对于 满足 假定 B的 正态 ARMA(p,q)模型 (即 }{ ne 是独立同分布正态随机变量列 ),存在常数 nkk,,1 L 使
1111 ),|( xkxkxxx ++=+ LL nnnnE,
即最佳预报为线性函数,
作 为 正态 ARMA模型的 特例,我们有
１,正态 AR(p)的预报,
)(),|( 1111^ 1 +?++ ++?== pnpnnnn aaE xxxxxx D LL,)( pn ≥,
,),( 221
^
1
^
2 LL xxxx pnnn aaa ++?= ++ )(
^^
1
^
1 nppnpn aa xxx ++?= +++ L
２,正态 MA(q)的预报,
由 (11,14)可推出 0),|( 11 =+ xxe LnnE,因此
),|( 11
^
1 xxxx
D
Lnnn E ++ = ],|)[( 111 xxee LL nqnqn bbE +?++=
kqnk
k k
qknk dbdb+
∞
=
∞
=
∑ ∑++= 1
0 0
1 xx L kqnk
n
k
qn
k
qknk dbdb+
=
=
∑ ∑++≈ 1
1
0 0
1 xx L,
)(,0),|( 1
^
qkE nknkn >== ++ xxxx L,
类似地 可 得到 ARMA(p,q)的预报 系数 nkk,,1 L 的表达式,
[注 1] 可以证明,对 于 ARMA 模型,总可以 经过 改造使 得 )(),( zBzA 在 1|| >z 上无零点,所以,最为 实质的假定是 )(),( zBzA 在单位圆 1|| =z 上无零点,当 此 条件不满足时,模型 所 表达的时间序列就不再具有 渐近平稳性,这时,时间序列 就会 出现趋势项,即是平稳增量过程,
[注 2] 在理论上可以证明,一维 ARMA模型可以作为向量 AR 模型的一个分量,因此 ARMA模型的计算,也可以归结为向量 AR 模型,显然,向量模型的计算也有其特殊的复杂之处,即矩阵乘法的不可交换性,
[注 3] (AR模型的 渐近 平稳性的证明 ) 设 }{ ne 独立同分布,且取值于有限区间,
2)(,0 see ==
nn VarE
npnpnn aa exxx = L11,
其中多项式 pppp zazaza 1111 L 在 1|| ≤z 无零点,令
=
=
+?
0
0,
1
1
MM
n
n
pn
n
n
n
e
V
x
x
x
h,
=
01
01
11
OO
L pp aaa
A,
299
我们可把模型改写为
nnn A Vhh +=?1,(11,15)
于是
nnn A Vhh +=?1 nnnAA VVh ++= )( 12
)11 ppnnnppn AAA VVVh ++++== LL,
假定 ),,,( 011 xxx L?p 与 pV 独立,利用 }{ nV 也是独立同分布的,上式右方就与
)2()1(
1
1
1 )( nnpn
pn
n
pn
p
pn IIAAA +=++++
记VVVh L
有相同的分布,由于 A的特征多项式为 pppp aaa lll 111 L,由 AR模型的假定,它 在 1|| ≥l
无零点,故 A 的 Jordan分解可以写为
1
1
Λ
Λ
= TTA
l
O,iΛ 为对角元为 il 的 Jordan 块,)(,1|| pii ≤<< gl 某,
于是有 0)1( →nI,mpm
pm
n AI V
∞
=
∑→按概率)2(,后一个极限的证明如下,首先,按 L 2 的意义对
MN < 有
|| mpm
M
pm
A V?
=
∑ 2||mpmN
pm
A V?
=
∑? )))(((
1,
pnTT
nm
pm
M
Nnm
AEAtr
+=
∑= VV
)))](()([21(
1,
pnTT
nn
T
mm
pm
M
Nnm
AEEAtr
+=
+≤ ∑ VVVV (按非负定矩阵含义下的次序 )
)( 112
1,
Tpnm
M
Nnm
E VVg?=
+=
∑≤ 0)(][ 112
1
→≤?
+=
∑ TpmM
Nm
E VVg,
即?)2(|| nI 0||→?
∞
=
∑ m
pm
pm
A V,再用 Chebyshev 不等式得到按 概率的 收敛性,即
)2((| nIP 21)| ddV ≤>?
∞
=
∑ mpm
pm
A?)2(|| nI 0||2→?
∞
=
∑ mpm
pm
A V,
从而 nh 有不变分布函数,所以它是渐近平稳的,】
以上证明中实际上只用到了二阶矩计算,所以关于 }{ ne 独立同分布的假定并不必要,只需假定它们是同分布的不相关 随机 序列,则结论仍然正确,证明也只需作一点小小的改动,
6 ARCH 模型
6,1 ARCH ( q )
ARCH模型 是随机方差列建模中最简单的一种模型,它的含 义为 自回归条件异方差模型
(Auto-Regressive Conditional Heteoskedastic model ),而 ARCH正是这些英文单字第一个字母的拼写,它是由 Engel在 1982 年提出的一种时变条件方差模型,其目的是想解除 AR 模型中自回归残差的方差为常数 ( 即 2)( se =nVar )的限制,代之以只依赖残差列的过去 },,{ 11 ee L?n 的一个随机序列,
300
ARCH )(q 描述的是某种随机误差序列 误差 ne （ 其典型例子是自回归模型的残差列 ）,在金融中的随机误差列 常 用条件方差 的如下的 ARCH )(q (随机 )模型 描述,在 },,{ 1 qnn ee L 已知的条件下,ne 的条件分布密度为
)0,,,0(),,0(~ 1022 110 ≥>+++ qqnqnn N gggegegge LL,(11,16)
（ 典型例子是,包容有发展趋势的自回归,模型 残差,)( 110 pnpnnn aaa ++?= xxxe L,
其最简单情 形为只有发展趋势项的 ＂ 0 阶自回归模型 ＂ ann?= xe,后者在经济序列中广为采用,这里 paaa,,,10 L 和 qggg,,,10 L 都是待估的模型参数,当 010 ==== qa gg L 时,
ARCH模型就退化为 AR模型 ）,由于 ARCH模型引进了时变的随机条件方差,这就使它比 AR
模型有更加广泛的包容性与适用性,为了保证 }{ 2ne 是渐近平稳随机序列,我们简单地假定
11 <++ qgg L,(11,17)
ARCH )(q 模型也可表达为,
nnn uh=e,
22
110 qnqnnh +++= egegg L,（ 11.16） ’
其中 nu 是独立同分布的 }1,0(N 随机变量列,且与 ),,( qnn?ee L 独立,
ARCH )(q 模型也可以并不假定正态性,此时可采取如下的模型
nqnqnn hegegge ++++=
22
110
2 L,(11,18)
其中 }{ nh 是独立同分布随机变量列,2)(,0 shh == nn VarE,甚至还可以不要求 随机序列
}{ nh 的相互独立性,注意 (11,18)式 的模型比 (11.16)式 更为一般,但是,用 (11.18)式 建模时缺乏条件分布的信息,因此在估计模型参数时,不能用最大似然方法,另一方面,只要注意到 (11.18)式本身是一个 AR(q)模型,所以参数估计可以套用 AR 模型的现成结果,
ARCH(q)的定阶与参数估计
对于 ARCH(q ) 模型的实际定阶,也可以用 AIC 估计与 BIC 估计,一旦阶确定以后,(11.16)
式 的 参数估计可以设计如下,令
i
i
h
i
qiiii ehp
2
1
2
2
1);,,|( e
pgeee = L
,∏
+=
=
N
qi
L
1
)(g );,,|( 1 geee qiiiip L,(11,19)
其中 )( 110 qnpnnn aaa +++?= xxxe L 还含有参数 ),,,( 10 naaaa L=,这里,)(gL 是在
},,{ 1ee Lq 已知条件下的条件似然函数,于是可以仿照最大似然估计方法,求 L 相应的最大值位置
^^
a，g,作为模型参数 a,g 的估 计,这里的计算归结为,求一个条件最大值的位置,这个位置可以用数值模拟方法来求得,为了防止计算陷入局部极大,我们也可以使用模拟退火算法,
在实际拟合模型时,如果发现从样本数据得到的随机误差 ne 有较厚的尾部,那么就不能用
(11,16) 式 中的正态假定,此时除了用模型 (11,18)式 外,人们也常用 t 分布代替 (11.16)式 中的正态分布建模,这时由于要求把方差作为参数写进分布密度,所以我们需要事先把 )(kt 分布的密度作一番修正,我们在 )(kt 分布的密度
2
12
)1(
)2(
)2 1( +
+
Γ
+Γ
k
k
x
kk
k
p
301
中增加引进一个影响方差的正值,重尾参数,a,得到一个新的密度 (本书中姑且称之为 ),( akt 分布 ),
2
12
2
1
)1(
)2(
)2 1(
)(
+
+
Γ
+Γ
=
k
ak
xa
kk
k
xf
p
,
可以求得此 ),( akt 分布的方差为 22?=
k
kas,在密度中 将 重尾参数 用 此分布的方差 表示,就得到
2
1
2
2
))2(1(1
)2()2(
)2 1(
)(
+
+Γ?
+Γ
=
k
k
kx
kk
k
xf ss
p
,
仿照 (11.16)式 得到
),( akt 分布下的 ARCH(q)模型,在 ),,( 1 qnn ee L ),,( 1 qnn xx= L 的条件下,ne 的条件分布密度为
2
12
1 ))2(1(
1
)2()2(
)2 1(
),,|(
+
+
Γ?
+Γ
=
k
nn
qnnnn kh
kx
hkk
k
xxxp
p
L ’
其中
22
110 qnpnn xxh +++= ggg L,,
于是条件似 然函数为
∏
+=
=
N
qn
qnnnnpL
1
1 );,,|()( geeeg L,
从而类似地可以作最大似然估计,
6,３ ARCH(q)模型的方差的预报
设某种随机误差序列 ne 已用 ARCH )(q 模型建模,那么,在 },,{ 11 ee L?n 已知的条件下,
ne 的 条件期望为 0,从而 条件方差为
),,|( 1 qnnnVar eee L ),,|( 12 qnnnE= eee L 21 )],,|([ qnnnE eee L
),,|( 12 qnnnE= eee L,
上式右方是 2ne 在 },,{ 1 qnn ee L 已知的条件下的最佳一步预报,我们把它记为
^
2
ne,又由于
nu 与 },,{ 1 qnn ee L 独立,且 1
2 =
nEu,故我们有
),,|(),,|( 1212
^
2
qnnnnqnnnn huEE == eeeeee LL
22
1101
2 ),,|(
qnqnqnnnn hEEu +++== egeggee LL 。
于是 2ne 的 最佳一步预报公式可以重写为
^
2
1+ne ),,|( 1
2
1 +?+
=
qnnnE eee L ),,|( 11 +?+= qnnnVar eee L
2
1
2
10 +?+++= qnqn egegg L,
302
类似地,2ne 的 最佳两步预报为
^
2
2+ne ),,|( 1
2
2 +?+= qnnnVar eee L ),,|( 1
2
2 +?+= qnnnE eee L ),,|( 12
2
2 +?++= qnnnn huE ee L
],,|)[(),,|( 12 22 110122 2 +?+?+++ +++== qnnqnqnqnnnn EhEEu eeegeggee LLL
2
2
2
^
2
110 +?+ ++++= qnqnn egeegg L,
进一步 可 得到多步预报的递推公式
^
2
^
2
110
^
2
qknqknkn?+=++ +++= egegge L,
* 7 GARCH (p,q) 模型与其它随机方差模型
7,1 GARCH 模型
GARCH 模型 是 ARCH模型的一种推广,它的含义为 广义自回归条件异方差模型 (Generalized Auto-
Regressive Conditional Heteoskedastic model ),GARCH是这些英文单字第一个字母拼写,GARCH 模型常被用来描述金融证券的随机波动率 (单位时间收益率的方差 ),
我们采用正态假定 下 的随机误差序列 }{ ne 的 GARCH(p,q) 模型,即假定在 qnn ee,,1 L 已知的条件下,
ne 的条件分布密度为 ),0( nhN,其中 随机序列 }{ nh 满足
22
11011 )( qnqnpnpnn hbhbh +++=++? egegg LL,(11,20)
这里 0,,1 ≥pbb L,0,,,0 10 ≥> qggg L 还有初始参数 0,,1 >phh L 都是待估参 数,而,GARCH(0,q)
就退化为 ARCH(q),可以证明 GARCH(p,q) 模型在条件
1,
11
<∑∑
==
k
q
k
j
p
j
b g
下是渐近平稳的时间序列,
GARCH 模型也常写成为
nnn hu=e,(11,21)
其中 nh 满足 (11,20)式,)1,0(~ Nun,且 nu 与 ),,( 1 qnn ee L 独立,
7,2 金融证券模型中的 GARCH(1,1)
以下我们以金融证券中较为常用的 GARCH模型为例,来看应如何估计这些模型参数,在金融证券中,记 标的变量 (underlying variable,常见的标的变量有股票,债券,随机利率等等 )在时刻 t 的值 为 tS,这是依时间参数 t
的一族随机变量,也就是一个随机过程,在著名的 Black-Scholes 模型中有一个基本假设,就是假设 tSln 为独立增量过程,我们对于标的证券进行间隔为 t? 的离散采样,并把 tiS? 简单地记为 iS,差商 )ln(ln1 1 ii SSt +
称为标的证券在 ti? 时刻的瞬时收益率,记成 ir (于是有 trii ieSS?+ =1,这是仿照按连续复利率 r 的情形下,在
ti? 时刻的本金 iP 到 ti?+ )1( 时刻实际增值为 trii ePP?+ =1 而定义的 ),Black-Scholes 模型假定了
),(~ 2~ smNri,其中 s 是一个 正 常数,称为 波动率 (volatility),它对于由证券的风险所带来的风险收益起到了 实 质的影响,由于在实际市场中证券收益的实证值与 Black-Scholes 模型给出的值有很显著的差异,人们认识到应该用一个 随时间变化的 随 机的波动率 ih,去代替 Black-Scholes 模型中的常数波动率 s,于是想到对收益率 ir 与其平均值
~
m 的偏差
~
me?=
ii r 用 GARCH建模,记在 ),,( 10?irr L 已知的条件下偏差 ie 的条件方差为 ih,假定 采用 Garch(1,1)模型,即假定方差 nh 满足
303
2
11 += iii hh aegb,
其中 1,,,0,0
~
<+≤> gbabam 以及初始参数 0h 都看成待估的模型参数,它们可以通过样本
}:{ NiSi ≤ 用最大似然估计法得到,于是,我们有条件异方差的如下表达式
0
12~
0
2~
1
2~
1
22~
1
2~
1
2~
1
2~2~
1
])()()[()1(
])()[()1(
))(()()(
hrrr
hrr
hrrhrh
ii
ii
i
iii
iiiiii
+
+
+?++?+?++++=
=+?+?++=
+?++?+=+?+=
bmbmbmabbg
bmbmabg
bmagbmagbmag
LL
L
},,,,;,,( 0
~
01 hrrh ii gbamL+
=,
参数 的 估计可进行如下,对于 1≥i,记条件分布为
),,,,;,|( 0
~
01 hrrrp iii gbamL?
),,,,;,,(2
)(
0
~
01
2~
2
1 hrrh
r
i
ii
i
eh gbam
m
p
L?
=,
那么似然函数为
=),,,,( 0
~
hL gbam ∏
=
N
i 1
),,,,;,,|( 0
~
01 hrrrp iii gbamL?,(11,22)
取 ),,,,(
^
0
^^^^
hgbam,使在条件 1,,,0,0
~
<+≤> gbabam,00 >h 条件下
L ),,,,(
^
0
^^^^
hgbam =
),.,,( 0
~sup
hgbam
),,,,( 0
~
hL gbam,
则 ),,,,(
^
0
^^^^
hgbam 就是参数的估计,
当模型参数确定了以后,如果令 )1( bag= V,那么 GARCH(1,1) 模型可以改写为
][])[( 12
~
1 VhVrVh nnn?+= bma,
两边取期望,并 利用
iiii EhrrrEErE =?= ]),,|)[(()( 01
2~2~ Lmm,
我们得到
][)(][ 1 VhEVhE nn?+=ba,
再由 1<+ ba 可知 0][ →? VhE n,从而我们有 渐近关系
VEhrE nnnn ==? ∞→∞→ lim)(lim 2
~
m,
即 )(1 bag +?=V 的含义 是渐近方差,
7,3 GARCH （ p,q ） 的参数估计
对于 GARCH(p,q)的模型参数估计,只要递推地用 10,,?phh L 表出
),,,,,( 10= pnn hhbahh Lg 2211011 )( qnqnpnpn hbhb ++++++= egegg LL
i
i
h
i
piii ehhhbaf
2
1001
2
2
1),,,,,;,,|( e
p
geee = LL,
304
∏
=
=
N
pi
piiip hhbafhhbaL ),,,,,;,,|().,,,,( 100110 LLL gxeeg,
用最大似然估计方法,求此条件似然函数 L 在 约束条件下的最大值位置,便得模型参数的估计,
[注 1] GARCH 模型还可以用于统计中的回归分析,即 GARCH 回归分析模型,
[注 2] 还有随机向量型误差的 GARCH 模型,
7,4 SV模型 （ 随机条件异方差模型 ）
SV模型 就是 随机条件异方差模型,这种模型常用以描述证券交易市场中的观测序列,它的数学表达为
nh
nn eu
2
1
=e,(11,23)
其中 }{ nu 独立同分布,且 ),0(~ 20sNun,而 nh 满 足如下的 AR(p)模型
npnpnn hbhbbh h=+++ )( 110 L,(11,24)
0)(1 1 =++? ppzbzb L 在 1|| ≤z 无零点,
}{ nh 为独立同分布随机变量序列,服从 ),0( 2hsN,且 }{ nu 与 }{ nh 独立,SV模型也可以视为 Black-
Scholes 模型的离散时间采样的 一种推广,
对于 SV 模型,我们有
= ),,|( 21 LnnnE eee nEu 0),,|( 212
1
= LnnhneE ee,
从而由 (11.23)得到平方误差的预报公式,
= ),,|( 21 LnnnVar eee ),,|( 212 L nnnE eee 2nEu= ),,|( 21 L nnhneE ee
LL),,|( 2120 110= nnhbb nn eEEee ees h ),,|( 21 L nnhb pnpeE ee,(11,25)
[注 1] 如果令 2ln nn ed =,2ln nn uv =,那么 (11,23)变成
nnn vh +=d,(11,23)’
这里假定 }{ ne 是可以实测的,于是它是量测变量,而 }{ nh 则是视为隐在后面的,状态变量,,因此 ),( nnh d 是取 连续值的 p 阶隐 Markov 模型,更确切地说,是隐 AR 模型,其需要估计的模型参数为
pbb,,,,0
22
0 Lhss,这种看法的难点是,取连续值的隐 Markov模型还未有有效的算法,也可以考虑用第 8
节中的 Kalman 滤波,或 用第 14章中的 EM 方法,来递推地估计模型参数与隐状态 ),,( 2
^
1
^
L nn hh,在
(11.25)式 得到 2ne 的预报中,可以粗放地用 ini hbe?
^
来代替 ),,|( 21 L nnhb inieE ee,
关于 ARCH模型及 SV模型可以参考,
[1] Bollerslev,T and Krocker,K.R,ARCH modeling in finance,a review of the theory and empirical evidence,
Journal of Econometrics 52,1992,
[2] Harvey,A,and Ruis,E,Multivariate stochastic variance models,Review of Economics studies 61,1994,
[注 2] 在经济和金融中,人们还应用下列模型
(1),自回归标准差 ARCH 模型 (Autoregressive Standard Deviation ARCH,ASDARCH),或 绝对值 GARCH 模型
(Absolute value GARCH,AVGARCH),
1111 ++= nnpnpnn uhaa eee L,
|||||| 1110 pnpnpnnn uhuhh +++= ggg L
其中 nu 是独立同分布的 }1,0(N 随机变量,
(2),对于金融市场中的信息不对称所得到的数据,Nelson 在 1991 年引入 指数 GARCH模型 (EGARCH)来处理它 们,EGARCH 模型 是
nnn uh=e,knknknk
q
k
pnpn guuEuhbhbbh
=
+?++++= ∑ |||(|lnlnln
1
110 gL ),
305
其中参数 g 可以取正值或负值,干扰 nu 独立同分布,其 分布为 广义误差分布,具有分布密度
)3(
)1(2
,0(,
)1(2
)(
2
||21
1
c
cce
c
cuf
cu
c
c
c
Γ
Γ
=∞≤<
Γ
=
+ l
l
l ),(11,26)
由计算可得
)1(
)2(2
||
1
c
cuE
c
n
Γ
Γ
=
l
,这里 c 是尾厚参数,在 2=c 时,有 1=l 是 N(0,1),在 2>c 时是厚尾分布 (比 N(0,1)尾厚,在 2<c 时是轻尾分布 (比 N(0,1)尾薄,∞=c 时为 ]3,3[?U 分布,对于金融数据常呈现的厚尾现象,以用较大的 c的广义误差分布作为干扰 nu 的分布更宜,,
EGARCH 模型比 SV模型更为复杂一些,它对于金融市场中的信息不对称现象的描述,比其它模型有较好的优势,它 对 于 干扰 knu? 取正或取负 （ 在股市中,它们分别表示利好消息或利空消息 ）,各有不相对称的不同影响,
EGARCH 也常表示为无穷阶模型
)|||{|
1
0 jnjnjnj
j
gEua
n eh
∞
=
+?+∑
=
hhh
,
可以证明在条件
∑ ∞<2iu
成立时,模型是渐近平稳的时间序列,
（ ３ ） ARCH - M 模型 这种模型也是 ARCH 与 GARCH 的推广,不同处是考虑了条件方差的变化对于条件期望的影响,此模型为,在 qnn ee,,1 L 已知的条件下,ne 的条件分布密度为
)),(( nn hhgN,
其中 }{ nh 与 )),0(~)(}({ ~
2~
nnnnn hNhg?=eee
D
满足 ARCH关系或 GARCH 关系,最简单的 情形 是
nn chhg =)(,
2~
10 nn aah e+=,)10,0( 10 <≤> aa
的 ARCH(1)-M 模型,此时有
1
0
2~
1 a
aE
n?=e,
)1 11()]([)(
1
0
2~
10
~~
acaaacEchEE nnnnn?+=++=+= eeee 。
还 可以求得 ne 的方差及各阶中心矩 knEe,从而在原则上可以进一步估计参数,
(4) 积分 ARMA模型 (ARIMA)
}{ nx 称为 积分 ARIMA(p,q),如果其差分序列 )( 1 nnn xxh?= +
为 ARMA(p,q),
类似的还有 IGARCH 模型 (积分 GARCH模型 )等,
8 二阶矩序列的滤波再访
8,1 线性滤波再访
306
有限个资料已知情形的线性滤波
设 需要接收的是一个具有二阶矩的随机过程 tS,它表示信号,但是在传输过程中被噪声
tn ( 也是一个二阶矩过程 ) 所干扰,因而使实际接收到的是 ttt nS +=h,问题是要从接收到的 }0:{ Ntt ≤≤h 尽可能地恢复 }0:{ NtSt ≤≤,用资料 }0:{ Ntt ≤≤h 作的最简单的加工就是其线性组合,也就是要用它们的线性组合来 近似 }0:{ NtSt ≤≤,即要找 ∑
=
=
N
i
iit cS
1
^
h 使
2
}:{
2^ )(inf)( V
hV?=? ≤∈ tNiLtt SESSE i,
其中 },:{):{
1
NiccNiL i
N
i
iii ≤?=≤ ∑
=
hh,由线性代数可知上式等价于
tNiL
N
i
iit SojcS i }:{
1
^
Pr ≤
=
==∑ hh,
它 又等价于满足下述方程组
)(,0])[(),( ^^ NjSSESS jttjtt ≤=?= hh,
从而得到 ic 们满足的方程组
∑
=
≤=
N
i
jtjii NjSEEc
1
)(),()( hhh,(11,27)
\ 因为 ttt nS +=h,所以只要知道 )(),( jiijjiij nnErSSER == 及信号与噪声的互相关
)( jinSE,就可以从 （ １１,２７ ） 求得系数 ic 们,最简单情形是假定信号与噪声是不相关的,
即 ),(,0)( NjinSE ji ≤?=,这是在实际中最常见的情形,
8,2 K alman - Bucy 滤波
背景 在观测信号中混有噪声干扰时,就要利用信号本身的规律 去过滤掉噪声,这就是滤波问题,最简单的信号模型是 AR(p) 模型
nini
p
i
n w+=?
=
∑ xax
1
,(11,28)
它称为 状态方程,在很多情形下 nx 们无法直接测量,而能实测到的是由 }0:{ ≥nnx 在空间传播的方式与随机噪声 nv 决定的,假定信号是通过多个通道接收的,而且到达各接收点时间与强度并不一致,这样,汇总而接收到 的测量值,并不是信号 nx,而是信号的现在值与它过去的值的不同权重的滑动和再加上随机噪声,
njnj
p
j
vh +?
=
∑ x1
0
,
我们把它记为 nh,即
njnj
p
j
n vh +=?
=
∑ xh 1
0
,(11,29)
它称为 量测方程,
状态方程与量测方程就构成了 Kalman - Bucy 模型的核心,在内涵上它比如下的 Wiener 模型
307
nnn v+= xh
更为广泛,而在应用中则更为切合实际,,所谓 Kalman － Bucy 滤波,就是通过状态方程
∑
=
+=
P
i
ninin wa
1
xx
和量测方程
∑?
=
+=
1
1
P
j
njnjn vh xh,
由量测来 }{ nh 估计 }{ nx,显见,AR 模型可以看成 Kalman - Bucy 模型的特例,
Kalman - Bucy 模型 与滤波的一般形式
为了数学表述与实际应用的方便,我们需要把模型改写为矩阵形式,(11.28) 和 (11.29) 这两个方程可以写成如下的向量形式
+?
1
1
pn
n
n
x
x
x
M
=
01
01
21
OO
L paaa
pn
n
n
x
x
x
M
2
1
+
0
0
M
nw
,
=nh ),,,( 110?phhh L
+?
1
1
pn
n
n
x
x
x
M nv+,
我们可把上述两个方程推广地记为
nnn wxFx
rrr Γ+=
1 (11,30)
nnn vxHy
rrr +=,(11,31)
( 且矩阵 F 无特征值在 1|| ≤z 中 ),在我们最初引入的 Kalman - Bucy 模型中,nnn vw h,,都是一维的随机变量,Γ 是 1×p 矩阵,H 是 p×1 矩阵,把它们写成向量的形式后,就可以推广为,
nx 为 p 维向量值 随机 过程,nw 为 r 维向量值 随机 过程,ny,nv 为 m 维向量值 随机 过程,
F 为 pp × 矩阵,Γ 为 rp × 矩阵,H 为 pm × 矩阵,而 nn vw,都是均值为 0 的,相互独立的白噪声列 （ 即独立同分布列 ）,且相互独立,其方差矩阵分别记为
QwwE Tnn =)(,RvvE Tnn =)(,(11,32)
其中右上角的 T 表示矩阵的转置运算,这里 }{ nx 是代表信号 ( 随机的 ) 状态列,而 }{ ny 是得到 }{ nx 的信息的 ( 随机的 ) 观测列,}{ nv 是观测误差列,以上的描述给出了 Kalman - Bucy 模型,两个方程分别称为状态方程和量测方程,这样推广了的向量模型包含了 ),( qpARMA,对
此只需取
1+= qm,
=
qn
n
n
nw
e
e
e
M
1,
=Γ
00
00
10
LL
MM
LL
L qbbb
,mIQ 2s=
308
即可,其中 mI 为表示 m 阶单位矩阵,
Kalman - Bucy 建立这个模型的目的,是用量测到的 nyr 来递推地估计测量不到的状态 nxr,
记状态 nxr 的估计为 nx?,Kalman - Bucy 滤波就是要从观测列 }{ ny 出发,递推地对 }{ nx 作估计,
即 利用对 1?nxr 的估计,记为 1nx,及 ny 得到 nxr 的估 计 nx?,其原则是,在已知 1nx 时,选取矩阵 BA,使方差矩阵
)](([ 1 nnnn yBxAxE +?=
))]([ 1 Tnnn yBxAx + 最小,
其中的最小的含义是在非负定对称矩阵的意义下理解的 ( 即对非负对称矩阵 21,CC,如果
21 CC? 仍为非负定,则称为 21 CC ≥ ),在确定了最佳的 BA,以后,就取
nnn yBxAx
r+=
1
作为对 nxr 的估计,}?{ nx 称为 }{ nxr 的滤波列,从 }{ ny 得到滤波列 }?{ nx 的装置,就称为
Kalman - Bucy 滤波器,
注意到 n? 是 A与 B 的,二次式,,所以可以由,配平方,方法可以求得 n? 的最小值,
这个做法的思想很简单 （ 只需小心地注意不要把矩阵乘法的次序弄错 ）,写起来却有些繁琐,
所以我们略去推导而直接写出以下的结论
定理 １１,２６ 对于 Kalman - Bucy 滤波模型 （ 11.30 ）,(11.31),最佳线性滤波为
nnn yBxAx
r+=
1,
FBHIA )(?=,nTnTn KRHHHB
=+ΠΠ= 1)(,
其中
TT
nn QFFP ΓΓ+=Π?1,]))([(
^^ T
nnnnn xxxxEP=
,
nP 是滤波的方差矩阵的估计,
按照 Kalman - Bucy 滤波中的习惯,我们把 B 改记为 nK,那么
FHKIx nn )(
^
= nnn yKx +?1
^
F= )( 1
^
1
^
+ nnnn xHFyKx,(11,33)
所以 nK 称为 （ 噪声 ） 增益系数,它是量测方程所作的贡献所产生的系数,
［ 注 ］ Kalman-Bucy 模型可以是非时齐的,即状态方程与量测方程不是常系数,而是依赖于时间 n
的情形,此时的滤波公式也只需在 （ １１,３３ ） 作相应的改变即可,而对于如下的一维非时齐 Kalman
－ Bucy 模型
nnnnn wbXaX +=+1,
nnnnn vdXcY +=,
其 Kalman-Bucy 滤波公式则可以化为
)( 1
^
12
2
1
^
1
^
+= nnnn
n
nnn
nn XacYd
cXaX
,
其中
1
2
2
12
1
2
1
2
1
2 ])[(
++=
n
n
nnnn d
cba ss
,
而 1
^
1
= nnnnn XacYZ ( 00 YZ = ) 则称为 新息过程,它满足
)(0)(,0)( nmYZEZZE mnmn <==,
309
以上的 Kalman-Bucy 滤波的主要构思即是,令
nnnnn ZlXaX += 1
^
1
^
,
再归纳地确定待定的系数 nl,
由上面的介绍可见,Kalman - Bucy 滤波包容了 ARMA 模型的滤波,又 ARMA 模型的预 报,也可以作为 Kalman - Bucy 滤波的特殊情形,它对应与 1=m,1=H,0=nv )0( =R 的情形,
然而,在实际操作时,需要知道模型参数 RQHF,,,,Γ 与初值 0
^
0,xP,在此,0x 可由我们对系统的认识来给定,有时甚至可以取 00 =x,0P 的取法并不十分重要,例如,可以取初值 0x 的方差矩阵为 0P,因为在 Kalman - Bucy 滤波的理论中有一个重要定理,在 HF,Γ 满足一个相当弱的条件 ( 称为可观测条件 ) 下,当 ∞→n 时,nP 有 一个 极限 P,而且 后者 与 0P 的取法 无关,这说明只要时间充分长,特殊取的 0P 所产生的影响是可以消除的,同时,由于
PPn →,nK 也就应该趋向某个固定的 K,也就是递推进行到适当步数后,K 就可以不必再变动了,这就会减少很多计算量,
综上可以看出,在操作 Kalman - Bucy 滤波前,先必须有一个模型,或者先要拟合模型的参数,为此应该采集训练 ( 即学习 ) 模型参数 HF,Γ,RQ,的 一些数据,先用这些训练数据来估计这些参数,这样就拟合了模型,在非时齐模型情形,模型参数就不可能由训练得到,只能由物理建模得到,也可以用后面第 15 章中的 EM 算法的思想,来轮番地更改估计与滤波,最后达到同时得到模型参数与滤波的增益系数的目的,
* 9,二阶自相似时间序列与长程相关性
9,１ 统计自相似性
定义 １１,２６ （ 自相似过程 ）
随机过程 }{ tx 称为 指数为 H 的 (统计 )自相似过程,如果存在 0>H,使对于任意 0>a,过程 }0:{ ≥? ta atHx 的有限维分布族不依赖于 参数 a,
例 １１,２７ (稳定过程 )
时齐的独立增量过程 tx 中,有很特殊的一类,称为 a 阶稳定过程 ( )20( ≤< a,其特征函数有以下形式
)(lylx ti eEe t?=,（ １１,３４ ）
其中
alb
l
l
sly ||)||
1()(
2 i+?=,( 20 << a ),或
2
2
1)( l
sly?= (相当于 2=a ),
由定义易见,a阶稳定过程是 a1=H 的统计自相似过程,a 阶稳定过程都是有分布密度的随机过程,但是除了 2,1,21=a 等特殊情形以外,它们的分布密度一般都较为复杂,使用中也 不很方便,
如果 1,0,21 2 ==≤≤ sba,则称为 a 阶 ( 标准 ) 对称稳定过程,此时有
310
allx ||ti eEe
t?=,（ １１,３５ ）
对称稳定过程 有 Markov 性,其 条件 分布函数 )|( xyP sst =≤+ xx (称为转移 (分布 )函数 ) 具有如下的 条件分布密度 ( 称为 转移密度 )
duuxyJueyxtp tu )|(|
)2(
1),,(
2
12
1
02
1
2?=
∞
∫
a
p
,（ １１,３６ ）
(在 d 维情形时
duuxyJueyxtp d
d
tu
d )|(|
)2(
1),,(
12
2
02
2?=
∞
∫
a
p
,
其中 )( zJ p 为 p 阶 Bessel 函数,
∫∑?=++Γ+Γ?= +
∞
=
JJdezpkkzJ ziSkp
k
k
p d
|cos|2
0
1)2()1()1(
)1()(,
dtetu tu
∞
∫=Γ 1
0
)(,mS 为 m维球面 ),
2 阶 对称 稳定过程就是 Brown运动,1阶 对称 稳定过程也称为 Cauchy 过程,Cauchy 过程的转移 密度 为
])[(),,( 222 txy
tyxtp
sp
s
+?
=,
其数学期望为 ∞,在第 3 章中,从 0 点出发的 Brown 首次达到 )0(>x 的时刻 xt,是一族依赖于
x 的随机变量,把 x改写为 t 后,就可以证明 }0:{ ≥ttt 是一个 21 阶 (非对称的 )稳定过程,
例 １１,2 ８ (分数 Brown 运动 FBM 与分数 Brown场 )
Gauss 过程 }0:{ ≥ttx 称为 指数为 a 的分数 Brown 运动 (FBM,Fractional Brownian Motion),
( 20 <<a ),如果 00 =x,0=tEx,且
)||(21)( aaaxx tstsE ts+=,（ １１,３７ ）
容易检查它是指数为 2a=H 的自相似过程,当 1=a 时,右边等于
),min(2 || tststs =+,
这说明 指数为 1 的分数 Brown 运动就是 Brown 运动,
311
[注 ] 物理学家有兴趣于 指数为 a 的 d 维分数 Brown 场,( 或 Levy 的 Brown 场 ),它是 带有 d 维位置 参数的 Gauss 系 }:{ dx Rx ∈x,( 20 << a ),满足 00 =sx,0=xEx,且
)|||||(|21)( aaaxx yxyxE yx+=,
若把 xx 视为在地点 )( dRx ∈ 上的随机载荷,则两点之间的载荷差的统计规律只依赖与此两点间的距离,
)||,0(~ axx yxNyx,
这称为空间齐次性,当 1=a 且 0≥t 时,它就是 指数为 1 的分数 Brown 运动,即普通的 Brown 运动,
9,２ 二阶自相似性
定义 １１,２９ 宽平稳过程 }{ tx 称为 二阶 (统计 )自相似的,如果存在 0>H,对于任意
0>a,有
tat
H EEa xx =?,)()(2
tsatas
H EEa xxxx =?,（ １１,３８ ）
H 称为 二阶自相似指数 (或 Hurst指数 ),
平稳的自相似过程是二阶自相似的,具有二阶矩的平稳过程,只要是自相似过程,就是二阶自相似过程,
定义 １１,３０ 数学期望为 0,且具有谱密度 )(lf 的宽平稳序列 }{ tx,称为 渐近二阶自相似的,如果在 k 充分大时,其相关函数满足
)(~)( 2 kRmmkR H,（ １１,３９ ）
例 １１,３１ (分数 Brown 运动的离散采样列的差分列 － 分数 Gauss 噪声序列 (FGN ))
设 }0:{ ≥ttx 是指数为 a 的分数 Brown 运动,nnn xxh?= +1,我们来证明 }1:{ ≥nnh 是二阶自相似序列,事实上,其自相似性继承自 }0:{ ≥ttx 的自相似性,再证它是宽平稳的,对于任意 n有
=2nEh )])([( 11 nnnnE xxxx ++ )(2)()( 122 1 nnnn EEE xxxx ++?+=
a)1( += n an+ ]1)1[(?++? aa nn 1= ;
又在 1≥k 时有
=+ )( nknE hh )])([( 11 nnknknE xxxx ++++
)()()()( 1111 +++++++++= nknnknnknnkn EEEE xxxxxxxx
])1()1[(21 aaa knkn?++++= ])[(21 aaa knkn?+++
312
])1()1[(21 aaa +?+++? knkn ])1()1()[(21 aaa+++? knkn
]2)1()1[(21 aaa kkk++=,(11,40)
可见 }1:{ ≥nnh 是二阶自相似序 列,称为 分数 Gauss 噪声序列 (Fractional Gaussian Noise),
［ 注 ］ 随机过程 }{ tx 称为 广义 (统计 )自相似的,如果对于任意 0>l,存在 ll bc,0>,使过程
}0:{ ≥+ tbc t lllx 与过程 }{ tx 有相同的有限维分布族,此时 ll bc,分别称为此广义自相似过程的尺度系数与 位置参数,显见统计自相似过程是它的特例,广义之相似过程又称为 半稳定过程,
9,３ 长程相关性
定义 １１,３４ 宽平稳时间序列 }{ nx 称为 长 程相关的,如果其相关函数列
))()(()},({ nmnEnRnR += xx 满足,当 ∞→n 时存在一个在 ∞ 附近慢变的 非负 函数 )(xL,即满足 )0(1)( )(lim >=
∞→
xtLtxL
t
的函数,使
<<?
<<
)21()(
)10()(
~)(
b
b
b
b
n
nL
n
nL
nR,（ １１,４１ ）
在 具有渐近地正的相关函数的 情形,长程相关的 直观含义为,宽平稳随机序列 的 相关函数 列是 不可和的,即
∞=∑
k
nR )(,
这表示当 ∞→n 时相关函数 )(nR 趋于 0 的 速度 非常慢,故而称 之 为 长 程相关,但是,对于具有渐近地负的相关函数的宽平稳随机序列,长 程相关性 只要求其 相关函数 列 )(nR 趋于 0,这 时的 内涵 较为 复杂,我们不予 细究,事实上,定义 11.34 是以下面例 11.35 的分数 Gauss 噪声序列为背景而 概括 出 的,
例 １１,３５ ( 分数 Gauss 噪声序列 )
设 }0:{ ≥ttx 是指数为 a 的分数 Brown 运动,而 )( 1 nnn xxsV?= +,则由上面可知
}1:{ ≥nnV 是二阶自相似过程,由 (11,40),当 k 充分大时,其 相关函数序列
]2)1()1[(2)()(
2
aaasVV kkkEkR
knn++== +
]2)11()11[(2
2
++= aaas kkk 2
2
)1(2≈ aaas k,
可见 此时间序列是长程相关 的条件为 1>a ( 这是渐 近 正相关的情形 ),或 10 << a ( 这是渐近负相关的情形 ),又由 Gauss 性,在稳定情形 (即 n 充分大时 ),此随机序列 的统计特征 就 由其方差
313
2s 和 自相似指数
2
a=H 完全确定,
有了这两个可以自由选取的参数,就可能用这种类型的二阶自相似序列,来拟合一些看起来具有自相似机理的随机数据列,对于 长程相关的随机数据列在拟合时,就要选取 21>H,在应用领域中,人们常用 频谱密度方法,非负函数 ]2,0[(),( pll ∈f ) 称为宽平稳列的 谱密度,如果其相关函数列可以表 为 (此时必须有 0)(lim =∞→ kRk )
lll
p
dfekR ik )()(
2
0
∫=,（ １１,４２ ）
分数 Gauss 噪声序列 }1:{ ≥nnV 的谱密度是由 Taqqu 等人求出的,其表达式为
1|2|)cos1)(1()2sin(2)(
∞
∞=
+?+Γ= ∑ alplapal nf
n
在应用领域中,有一部分人认为汇率的变化,股票的收益率 (将其对数的差分列,拟合为分数
Gauss 噪声序列 ) 具有长程相关性,这种认知与用 Black-Scholes 模型来描述汇率的变化,或 股票的收益率恰好相反,因为后者 具有 Markov 性,因此 就不会长程相关,其实,实际问题 非常复杂,用什么模型拟合建模,完全是各显所长,用那种模型可以得到较好的近似,需要进行多方面的比较,总结经验,
不断修正模型,当然也有不少的偶然性,
关于分数 Gauss 噪声序列,可以参见 W,Leland,M,Taqqu,W,Willinger,D,Wilson 的文章 On
the Self-similar Nature of Ethernet Traffic,IEEE/ACM Trans,Networking,Vol,2,No,1,1994,
例 １１,３６ (分数 (积分 )ARMA模型 )（ FARIMA）
平稳 Gauss 序列 }{ nx 称为 分数 ARMA 模型,或 FARIMA(p,d,q),如果它具有谱密度
22
2
|)(||1|
|)(|)(
ll
l
l idi
i
eAe
eBCf
=,（ １１,４３ ）
其中 2121 <<? d,多项式 ppnn azazazzA= 111)( L 在 1|| ≤z 无零点,
qq
nn bzbzbzzB ++++=
1
1
1)( L,它等价于,,))(( n
d
n BI xh?=
为 ARMA(p,q),B 为向后平移运算,1?= nnB xx,dBI )(? 为分数次差分运算,
kk
k
d B
k
dBI )1()(
0
=? ∑∞
=
,（ １１,４４ ）
k
d 为广义组合数,
!
)1()1(
k
kddd
k
d +=
L,在 M.S.Taqqu,V.Teverosky,W.Willinger 的文章 Estimate for Long-Range Dependence,an Empirical Study (Fractals,Vol,3,No,4,785-798,1995)
中,指出了 FARIMA(0,d,0) 模型在 210 << d 时,是长程相关的宽平稳时间序列,其相关函数有
dkkR 21
1~)(
a,
314
因此也是渐近二阶自相似的,在作 FARIMA(0,d,0) 模型拟合时,一共只有 dC,两个参数,由于这个模型 的谱密度较为简单,即
d
Cf
2|
2sin2|
)( ll =,
于是在建模时可以通过观测序列的谱密度估计来估计此两个参数,
长程相关性可以用 R /S 统计量作统计检验,
定义 １１,３７ 假设现有观测样本序列 { } nkX k L,2,1,=,记其样本均值为
∑
=
=
n
k
kn XnX
1
1,
样本方差为
∑
=
=
n
i
nin XXnS
1
22 )(1
再记
）（ nkXkXXW nkk ≤≤?++= 1)( 1 L,
统计量
n
nn
n S
WWWWWWQ },,,min{},,,max{ 2121 LL?=?
（ 11,45）
称为 R/S 统计量,
在 数量经济中常见的时间序列 }{ nX 常存在下述极限,
]1[lim
])(1[lim
1
2
1
2
2
∑
∑
=∞→
=∞→?=
n
j
jn
n
j
jn
XnE
XnE
g,
在矩满足某些条件下,如果作
零假设,}{ nX 非长程相关,
人们证明了在此零假设下,存在随机变量 h,使
n
Qn 依分布收敛到 gh,而且 h 分布函数为
2)(2
1
22 )41(21)( kx
k
exkxF?
∞
=
∑?+=h,
此分布是非对称的,25.12 ≈= phE,6
2
2 ph =E,27.0≈hVar,而 h取值的大部分都落在 3 ／ 4
和 2 之间,在 给定的 显著水平 a 下,用 h 的 a 截尾概率 ( 例如,右截尾 ) 的位置,就得到检验的临界值,此值
315
可由 hF 的表达式,或通过临界值的表得到,如果否定了零假设,那就说明样本数据来自长程相关随机序列,
可是 g 的计算非常困难,而且 R/S 统计量在时间尺度太小或太大时估计误差明显,
在汇率等一些时间序列数据中,有人用其对数数据,在分数 Gauss 噪声序列或 FARIMA(0,d,0) 的假设下,
用 R/S 统计量检验非长程相关的零假设,如否定则就认为有长程相关性,
对于有长程相关的时间序列,预 报 与滤波都没有多大意义,例如,有少数大户操纵的且有大量散户的股票的价格,常常具有长程相关性,这时,预报 它 的价格走向很少有意义,
一般地,把长程相关性的构图与某种机制 （ 例如说,心脏的某种状态或疾病 ） 联系起来,但是,在渐近正相关的情形,用有限长度的数据来判别不可和性是十分困难的,这就说明了,用 R/S 统计量作检验时错误概率会很大,在水文学,气象学,地质学中,人们发现了很多长程相关的机制,
* 10 非线性 AR 模型与二重 ARMA模型 简介
10,1 非线性 AR 模型
定义 11,38 如果对于随机序列 nx,存在函数 j 满足递推关系
npnnn h exxx += ),,( 1 L,（ １１,４６ ）
则 nx 称为 p 阶非线性 AR 模型 (Non Linear AR,NLAR),其中 ne 是白噪声序列,
≠
===
)(0
)(1)(,0
mn
mnEE
mnn eee,
如果 ne 还是独立同分布的随机序列,则
=
+?
1
1
pn
n
n
n
x
x
x
h M 是时间离散状态连续的 Markov链,
对于模型 （ １１,４６ ）,有下面简洁的 收敛 定理,
定理 11,39 （ 安 － 黄,1996） 设 ne 独立同分布,有正的分布密度 0=nEe,12 =nEe,
ne 与 },,{ 01 xx L?n 独立,函数 h满足
)||||),,,((||)(||)( 1
1
Ryyyyyoyayh pii
p
i
>=+= ∑
=
L （ １１,４７ ）
( 221|||| pyyy ++= L ),且 ii
i
yayh ∑?)( 在任意有界集上有界,又多项式
=)(zA pppp zazaza 1111 L 在 1|| ≤z 无零点,那么,对于下述非线性 AR模型
npnnn h exxx += ),,( 1 L
316
所定义的 Markov 链的 n 步转移函数 )|(),( 0)( xPxP nn =Λ∈=Λ xx,存在 分布函数 )(xF 及
10 << r 使 任意 Borel集合 Λ,均有
0|)(),(|1 )( →Λ?Λ Fxpr nn,（ １１,４８ ）
［ 注 ］ 事实上,这里 能得到的收敛性要更强得多,即谓全变差收敛,并称此 Markov链是 几何遍历 的,我们在本书中不再解释全变差收敛的概念,
还有一个很容易验证的充分条件,这就是 下面的定理,
定理 １１,４ 0 将定理 １１,39 中的关于函数 h 的条件改为,
存在 0,10 ><< Cr,使
Cxxxh iip +≤ ||max|),,(| 1 rL （ １１,４９ ）
（ 或存在 0>R 使 )||(||||max|),,(| 1 RxCxxxh iip >+≤ rL ）,则 （ １１,４８ ） 成立,
作为定理 １１,39 或者定理 １１,40的直接推论,我们有
推论 １１,41 （ Bhattachaya-Lee,1995） 设 ne 独立同分布,有正的分布密度,
1,0 2 == nn EE ee,ne 与 },,{ 01 xx L?n 独立,h 为局部收缩型线性增长,存在 0,,,1 >paaR L,
满足
)||||),,,(,1(,|||),,(| 1
1
1 RxxxxaCxaxxh pi
i
ii
p
i
p >=<+≤ ∑∑
=
LL,（ １１,５０ ）
那么,下述非线性 AR模型
npnnn h exxx += ),,( 1 L
所定义的 Markov 链的 n 步转移函数 )|(),( 0)( xPxP nn =Λ∈=Λ xx,存在 分布函数 )(xF 及
10 << r 使 任意 Borel集合 Λ,均有
0|)(),(|1 )( →Λ?Λ Fxpr nn,
推论 １１,４ 2 若 ne 同定理 １１,39,),,( 1 pxxh L 有界,则 （ １１,４７ ） 成立,
对于 几何 遍历的 Markov 链 nx,记其概率不变分布为 )(xF,于是有 Markov链 nx 的 遍历定理,即 不管 Markov链 nx 的初始值是什么,对于任意有界 Borel函数 f,恒有
1))()())()((1(lim 1 ==++ ∫++∞→ dxFxfffNP NppN xx L,
特别地,对于任意 Borel 集 Λ,有
1))())()((1(lim 1 ==++ ∫
Λ
+Λ+Λ∞→ dxFIINP NppN xx L,（ １１,５１ ）
即在系统达到稳定以时,Markov 链落在集合 Λ的概率近似地等于它在沿轨道出现的频率,
例 １１,４ 3 （ 门限 AR 模型,TAR）
设有延迟参数 d,pdl ≤≤,及门限参数 ∞=<<<=∞? +11 ll rrr L,而
ndnrrpnpinii
l
i
n kkIaaa exxxx ++++=?+
= +
∑ )()( ],1,11,0,
1
（L,（ １１,５２ ）
其中 ne 独立同分布,有正的分布密度,1,0 2 == nn EE ee,ne 与 },,{ 01 xx L?n 独立,那么,只要
317
1|max
1
<= ∑
=
｜ij
p
j
i ar,
定理 １１,４１ 的条件就满足,从而 Markov 链 nx 是几何遍历的,
10,２ 非线性 AR模型的常见例子
用非线性 AR 模型建模,大体可以出现以下数种情形
１,参数模型 ； 例如
（ １ ） 分片线性 AR 模型,
npnnpnpinii
l
i
n iIaaa exxxxx ++++= ++
=
∑ ),,()( 111,11,0,
1
LL,（ １１,５３ ）
（ 空间 pR 分为 m 个两两不交的区域 mΛΛ,,1 L,其中 1Λ 无界,而 mΛΛ,,L２ 都有界 ）,模型参数为 )0,(,pklia ki ≤≤≤,
（ ２ ） 拟线性 AR 模型,
npnnii
l
i
n faa exxx ++= +
=
∑ ),,( 11
1
0 L,
其中 )( lif i ≤ 是已知函数,模型参数是 paa,,0 L,
（ ３ ） 指数 AR 模型,
nknkk
p
k
n
knebaa exx gx +++=
=
∑ )(
2
1
0,
模型参数是 pp bbaa,,,,,10 LL,
（ ４ ） 分式 AR 模型,
n
pnn
pnn
n Q
P e
xx
xxx +=
),,(
),,(
1
1
L
L,
模型参数是分子与分母两个多项式的系数,
（ ５ ） 双线性 ARMA 模型,
jnknkj
q
j
p
k
jnj
q
j
knk
p
k
n cba
==
=
=
∑∑∑∑ ++= exexx
1111
,
对于参数模型,),,( 1+= pnnn xxh L 是 M arkov 链,首先要加条件使它有不变分布,然后,在此条件下估计模型参数,
318
２,非参数模型 一般的模型如 （ １１,４６ ）,其中 h 是未知的待估函数,可以参照统计中的核估计方法,找出估计它的方法作为建模 （ 但是还需要保证 Markov 链有遍历性 ）,
模型 （ １１,４６ ） 有以下的几种向随机条件方差的推广 （ 其中也包括了一些半参数模型 ）,
（ １ ） 非线性 ARCH 模型,
npnnn exxjx = ),,( 1 L,),,( 1 qnnnn hu= eee L,nu 是白噪声,
（ ２ ） 非线性 GARCH 模型,
npnnn exxjx = ),,( 1 L,nnn hu=e,
其中 ),,,,,( 11 rnnqnnn hhgh= LL ee,g,j 是待估的模型函数,最常见的 情形 是 辅以以下的参数模型 （ 即成为半参数模型 ）
rnrtqnqnn hbhbaaah ++++++= LL 11
22
110 ee ),0,0,( rjqiba ji ≤≤≤≥,
可以证明此种非线性 G ARCH 模型的几何遍历的条件为 11 <++ qaa L （ 参见 ［ A ］）,有时觉得此条件的限制过大,相应地有 下面的一类半参数模型
（ ３ ） 非线性?b GARCH 模型,
npnnn exxjx = ),,( 1 L,nnn hu=e,
22 22
11
22
110
bbbb ee
rnrnqnqnn hbhbaaah ++++++= LL
１１
)10,10,,0,0,( 21 ≤≤<≤≤≤≤≥ bbrjqiba ji,非线性?b ARCH 模型 类似,
（ ４ ） 函数型随机条件方 差非线性 AR 模型,
npnnn u+= ),,( 1 xxjx L ),,( 1 pnnS xx L （ nu 是白噪声 ）,
常见的非参数模型还有
（ ５ ） 可加 AR 模型,
nknk
p
k
n ha exx ++=?
=
∑ )(
1
,
其中 )( pkhk ≤ 是未知的待估函数,
（ ６ ） 函数系数 AR 模型,
319
nknknk
p
k
n ha exxx ++=
=
∑ )(
1
,
３,半参数模型,一般形式为
npnnn h eJxxx += ),,,( 1 L,
除了 ２,中的 （ ３ ） 是半参数模型以外,还有,例如
（ １ ） 广义线性 AR 模型,
nknk
p
k
n ah exx +=?
=
∑ )(
1
,
这里待估的既有未知参数 paa,,1 L,又有未知函数 h,
（ ２ ） 加法半参数 AR 模型,
npnnknk
p
k
n haa exxxx +++=
=
∑ ),,( 1
1
0 L,
（ ３ ） 逆 AR 模型,
）nknk
p
k
n ah exx +=?
=
∑
1
(,
关于随机条件方差模型的几何遍历性,有以下定理
定理 １１,４ 4 对于函数 型随机条件方差非线性 AR 模型
npnnn u+= ),,( 1 xxjx L ),,( 1 pnnS xx L （ １１,５４ ）
满足
（ １ ） nu 独立同分布,有正的分布密度,1,0 2 == nn EuEu,nu 与 },,{ 01 xx L?n 独立 ；
（ ２ ） )||||),,,((||)(||)( 1
1
Ryyyyyoyay pii
p
i
>=+= ∑
=
Lj
且 ii
i
yay ∑?)(j 在任意有界集上有界,=)(zA pppp zazaza 1111 L 在 1|| ≤z 无零点 ；
（ ３ ） 在任意有界集上 ),,( 1 pxxS L 有上界与非 ０ 的下界,而且
)(||)(||),,()( 1 ∞→==? xxoxxSxS pL,（ １１,５５ ）
那么 nx 是几何遍历的,
320
例 １１,４ 5 作为定理 １１,44 的直接推论,?b ARCH 模型
nnn hu=e,
bb ee 22
110 pnpnn aaah +++= L
)10,0,0( <≤≤≤≥ bpiai 是几何遍历的,
［ 注 ］ 对于 ARCH 模型 nnn hu=e,22 110 pnpnn aaah +++= ee L
)0,0( piai ≤≤≥,定理 11.44 的方法并不适用,但是可以利用 Markov 链中著名的 Tweedie 定理 （ 相当于常微分方程中的用 Lyapunov 函数得到收敛性的随机版本 ）,可以直接证明,当 11 <++ paa L 时 ne 是几何 遍历 的,这正是本章第 6 节 中 作参数估计时所要求的前提,
10,３ 二重 ARMA 模型
如果 ARMA 模型中的参数序列不是常数,而是随机变量序列,并且也是一个 ARMA 模型,则就成为 二重 ARMA 模型,也称 ARMA - ARMA 模型,一般地,用这种模型建模过于复杂,所以在应用中常见的是 AR(1) - AR(1),AR(1) - MA( q ) 等较为简单的情形,
AR(1) - AR(1) 模型是
nnnn aa exhx +++=?110 )(,nnn vb +=?1hh,
其中 }{},{ nn ve 是相互独立的独立同分布随机序列,这种模型的拟合,需要估计 ５ 个参数,
)(),(,,,10 nn vVarVarbaa e,
AR(1) - MA( q ) 模型是
nnnn aa exhx +++=?110 )(,qnqnnn vbvbv +++= L11h,
其中 }{},{ nn ve 是相互独立的独立同分布随机序列,这种模型的拟合,需要估计的参数为,
)(),(,,,,,110 nnq vVarVarbbaa eL,
对于 AR(1) － MA (1) 模型的 Markov 链 nx 具有不变分布的条件可参考 ［ A ］,
习题 １１
１,设 tx 是轨道为 t 的连续函数的 Gauss过程,),(),(),( tsRCovtmE tst == xxx,)(tG 是单调递增函数,如果存在随机变量 th,使 ∞<)( tVar h,而且当 0)(max )()( 1 → ∞→+ nninii tt 时有
0|)](()([| 2)()(1)( →∑ + tni
i
n
it tGtGE ni hx,
这里 }{ )(nit 是半开区间 ],0( t 的一个划分,那么,定义 t
t
s sdG hx =∫0 )(,证明 th 也是 Gauss 过程,再求 ),(,tst CovE hhh,
２,设 tt hx,是相互独立的 Gauss过程,证明 tt hx + 也 是 Gauss过程,
321
３,设 tt hx,是 宽 平稳 过程,而且平稳相关,即 ),( tsCov hx 只与 st? 有关,证明 tt hx + 也是 宽平稳 过
程,
４,设 tx 是轨道为 t 的连续函数的 Gauss 过程,),(),(),( tsRCovtmE tst == xxx,)(tG 是任意单调递增函数,Gauss 过程 tx 的特征泛函 定义 为
)(
0)(
sdGi s
t
EeG
x
x
∫=Φ
,
由 此 特征泛函的显式表示,对于 ttt << 21,取 (t)ItItG tt ],0(2],0[1
21
)()(?+?= JJ,用 以得到
),(
21 tt
xx 的联合特征函数 )(21,2211
21
),( xJxJxx JJj += iEe 的显式表示,
５,设 tx 如题 1,对于 ttttt <<<< 4321,求 )(
4321 tttt
E xxxx,
６,设 2121,,,JJhh 是相互独立的随机变量,而 )()( 222111 JlhJlhx +++= tCostCost,
）（ ２１ ll ≠,问 tx 是否是平稳过程？ 什么时候是宽平稳？ 推广此结论,
７,复随机过程 titit ee 21 21 ll hhx +=,（ ２１ ll ≠,21,hh 相互独立 ）,问 tx 是否是宽平稳？ 推广此
结论,
８,设 tx 是平稳过程,问 tst xxh = 是否为平稳过程？
９,对于 AR 模型 npnpnn aa exxx = L11,证明它有形式 为 2|)(|)( ll ieACf １= 的谱密度,
其中多项式 pppp zazazazA= 111)( L１ 在 1|| ≤z 内 无零点,
１０,对于 MA 模型 qnqnnn bbb +++= eeex L110,证明它有形式 为 2|)(|)( ll ieBCf = 的
谱密度,
１１,对于 ARMA 模型 qnqnnpnpnn bbbaa +++= eeexxx LL 11011,其中多项式
p
p
p
p zazazazA=
1
111)( L 在 1|| ≤z 无零点,证明它有形式 为
2
2
|)(|
|)(|)(
l
l
l i
i
eA
eBCf = 的谱密度,
１２,设 ne 独立同分布,有正的分布密度,1,0 2 == nn EE ee,ne 与 },,{ 01 xx L?n 独立,函数 h 在
任意有界集上有界,且 )||(||||)(||)( ∞→= xxoxh,证明由
++++= pnpnn aaa xxx,,110 L npnnh exx + ),,( 1 L
确定的 Markov 链在 pppp zazazazA= 1111)( L 在 1|| ≤z 内 无零点 时 为 几何遍历,
１３,给出 分片线性 AR 模型 npnnpnpinii
l
i
n iIaaa exxxxx ++++= ++
=
∑ ),,()( 111,11,0,
1
LL
（ 设 ne 同题 １２,而 空间 pR 分为 m 个两两不交的区域 mΛΛ,,1 L,其中 1Λ 无界,而 mΛΛ,,L２ 都有界 ） 几何遍历的条件 （ 用模型参数为 )0,(,pklia ki ≤≤≤ 描述 ）,
龚光鲁,钱敏平著 应用随机过程教程 – 与在算法和智能计算中的应用
清华大学出版社,2003
第 11 章 Gauss 系,二阶矩过程,时间序列
1,全体方差有限的随机变量构成的 Hilbert空间
1,1 实值情形
期望为 0且方差有限的随机变量 全体 构成的集合,记为 L 2,它是一个无穷 维的 线性空间,
在 L 2 上 可以 仿照欧氏空间定义内积,
)(),( xhhx E
=,( ∈? hx,L2 ),
于是 L 2 在此内积下成为 ( 无穷维 ) 欧氏空间,再仿照欧氏空间定义模 ( 相当于长度,也称为均方距离 )
2
1
),(|||| xxx
=,
它有以下的重要性质,
（ １ ） Cauchy 不等式,|||||||||),(| hxhx?≤,
（ ２ ） 三角形不等式,|||||||||||| hxhx +≤+,
这样 ||||),( hxhx?=
d 就是定义在 L2 上的一个距离,从而有了收敛性,即若 0|||| →?xxn,
则称 xx →n ( 它的含义恰是均方收敛 0|| 2 →? xx nE ),作为线性空间 L 2 除了 不 再 是有限维以外,它与普通的有限维欧氏空间一样,作为距离空间都是完备的,即,随机序列 }{ nx 在
L 2 中收敛的充要条件为它是一个 Cauchy 列 ( 见第 9 章 ),也就是
exxe <?>?>? ||||,,,,0 mnNmnN 就有只要,
定义 １１,１ 完备的 无穷维 欧氏空间常称为 Hilbert 空间,
1,2 复值情形
在通信等领域,人们常用复值的量,记 i为虚数单位,若 hx,都 是 随机变量,则
hxV i+= 称为复值随机变量,它具有复的数学期望 hxV iEEE +=,非负的方差
22}(var hxVVV EEE +==?,
用一点技术处理可以证明 ( 本书从略 ),对于任意复常数 a,恒有 VaaV EE =)(,两个期望为 0 的复随机变量 21,VV 的内积定义为 )(),( 2121 VVVV E
=,于是,实值情形的结论对于复值情形也是适用的,
2 随机变量族的均方信息空间与滤波
2,1 均方信息空间
记号 １ １,２ 由 随机变量族 }:{ I∈axa 中任意有限个元素的任意有界连续函数全体组成 L 2 的一个线性子空间 ( 但对极限并不封闭 ),记为 Φ )(x,
再记 Φ )(x 为,包含 Φ )(x 且对 L 2 中收敛性封闭的最小集合,那么 Φ )(x 是 L 2 的
H ilbert 子空间,我们称它为 }:{ I∈axa 的 均方信息空间,这里,均方 信息,的含义是指只要,方差有限,的信息,
285
2,2 滤波问题
滤波问题的 一般提法 为,假定 随机变量 族 }:{ I∈axa 是可以实际测量 的,且期望为 0,
而 另一个随机变量 h 的期望为 0,方差有限,但 是 不能 实际 测量得到,我们需要从测得的
}:{ I∈axa 对 随机变量 h 给出一个估计
^
h,这样的问题 称为 滤波问题,
解 滤波问题的 思路的 一般模式
我们知道在欧氏空间中,对 于一个 子空间外一个点,求此点 在 该 子空间上的投影,就是 在该 子空间中 寻找一个 与 它 距离 最近的点,这个事实在 Hilbert 空间仍然正 确 ( 由于
Hilbert 空间是无限维的,欧氏空间情形的证明当然不再适用,我们略去 Hilbert 空间中的这个基本事实的证明 ),于是滤波问题的解
∨
h 就是 h在 L 2? Hilbert子空间 Φ )(x 上的投影,即下面的命题
命题 １１,３ 在 随机变量 族 }:{ I∈axa 的 均方 信息空间 Φ )(x 中 的元素
∨
h 与随机变量 h
最近,即 ||||min|||| )( Vhhh xV?=? Φ∈
∨
,的充要条件是
∨
h ∈ Φ )(x,且 ⊥?
∨
hh Φ )(x,
即 对 任意 n 及任意 n元 （ Borel） 函数 )(ng,恒有
0)],,()[(
1
)( =? ∨
n
ngE
aa xxhh L,(11.1)
定义 １１,４ 将
∨
h 记为 hx )(Pr Φoj,称为 h 关于 }:{ I∈axa 的 ( 非线性 ) 滤波,
按条件期望的定义,(11,1)说明 了
hx )(Pr Φoj ):|( IE ∈= axh a,(11,2)
即 h关于 }:{ I∈axa 的条件期望,于是 在 特殊情形,即 }:{ I∈axa 只有一个随机变量 x 的情形,我们有
(1) 若 ),( hx 是离散的随机变量,ijji pyxP == )),(),(( hx 时,∑ ∑=
∨
i
i
i
i
i p
px
h
hh,
(2) 若 ),( hx 有密度 ),( yxp 时,dx
duup
xpx ]
),(
),([∫
∫=
∨
h
hh,
3 G auss 系与投影再访
3.1 Gauss 过程的 定义 与 等价条件 及其 性质
复习 １１,５ 随机向量
=
nh
h
h M
1
称为服从 n维 G auss 分布,记为 ),( Smh N～,
如果其特征函数 有以下形式
llmlhl Σ?= TTT ieEe 21
,
其中 m 是 n 维向量,Σ 是 nn× 非负 定矩阵 （ 即任意 n 维向量 x,恒有 0≥ΣxxT ）,显见有,
286
随机变量
=
nh
h
h M
1
服从 n 维 G auss 分布,当且仅当,对于任意 实数 naa,,1 L,线性组合
∑
=
n
k
kka
1
h 服从一维 Gauss分布 （ 即或者是一维正态分布,或者是常数 ）,
请读者验证,
命题 １１,６ n 维 随机向量 ),( Smh N～,当且仅当,存在 m 和 相互独立的 m 个 服从
)1,0(N 的 随机变量 mZZZ,,,21 L,以及 mn× 矩阵 A ( ) ),mjniaij ≤≤= （,使
＝h A m+Z,＝Σ AA T,
其中
=
mZ
Z
Z M
1
,矩阵 Σ 非退化 （ 行列式不为 0 时 ） 的 Gauss 分布,称为 多 维正态分布,
命题 １１,７ 若 ),( Smh N～,则 有
(1) Σ== )])([(,mhmhmh EE,
(2) ),(~ TAAbANbA Σ++ mh,
(3) )(nx 服从 Gauss 分布,且 xx?→?pn )( (指 所有 分量 都 概率收敛 ),则 x 服从 Gauss
分布,
请 读者 验证 (1) 与 (2)),对于 (3),我们只证一维情形,因为多维情形类似,由假定
xx?→?pn )(,对于 ε >0,有
∞→→>? mnP mn,,0)|(| )()( exx,(11,3)
记 )(,)()(2)()( jiijjiij VarEEm xxsxx?=?=,∫
∞?
=Φ x u duex 2
2
2
1)(
p,于是 (11,3) 变成在 ∞→mn,时
∫
>
→
e
s
sp ||
2
)(
021 2
2
x
mx
ij
dxe ij
ij
,
而上式左边等于
∫
>+
esp ||
2
2
2
1
ijij my
y
dye )()](1[
ij
ij
ij
ij mm
s
e
s
e +?Φ++?Φ?=,
因此 ( 11,3) 蕴含,存在 N,只要 Nji >,,上面右 式就小于 ))1()(1(1?Φ=Φ?,由此
)1(1)](1[ Φ?<+?Φ?
ij
ijm
s
e,)1()(?Φ<+?Φ
ij
ijm
s
e,
从而在 Nji >,时 有
1>+?
ij
ijm
s
e,1>+
ij
ijm
s
e,
287
即 es <± ijij m,把此两式相加就得到 2es <ij ( Nji >,),由此进一步得到 2e<± ijm,即
2||
e<
ijm ( Nji >,),可见
=? 2)()( )( jiE xx ),(,022 ∞→→+ jimijijs,
于是 }{ )(nx 是 Hilbert 空间 L 2 中的 Cauchy 列,用完备性就 得到,0|| 2)( →?xx nE,从而 有
xxxx VarVarEE nn →→ )(,)()(,由此
xlxlxlxllxlx VarEiVarEi
n
i
n
i eeEeEe
nnn 2)92)()(
2
1)(
2
1
limlim∞→∞→ ===
可见 x 也服从 Gauss 分布,
定义 １１,８ 随机变量族 }:{ Itt ∈x 称为 Gauss系,如果 Ittn n ∈ L,,1,
),,(
1 ntt
xx L 服从 Gauss分布,如果 Gauss 系中的指标集 ),0[ ∞=I,则称为 Gauss 过程,
对于 Gauss 过程而言,其期望函数 tEtm x
=)( 及相关函数 )(),( tsEtsB xx
= 完全地 确定了它的有限维分布族,
Σ
≤nji
ji
nt
t
tt
tM
tm
N
n,
1
),(,
)(
)(
~
1
MM
x
x
,
其中 )()(),(),( jijiji tmtmttBtt?=Σ,称为 协方差函数,
例 １１,９
(1) 若 ),( hx 为正态分布,则 ),,( hxhxx +? 为 Gauss 分布
(2) 若 }1:{ ≥nnx 为 Gauss 系,∑
=
=
n
k
knkn a
1
xh,则 }1:{ ≥nnh 为 Gauss 系,
记号 １１,１０ 期望为 0 的 全体 Gauss随机变量不仅是 L 2 的线性子空间,而且由于均方收敛蕴含概率收敛 ( 用 Chebyshev 不等式 ),由 命题 １１,７ 的 （ ３ ） 可知,它还是 Hilbert
子空间,记
}:{)( ItL t ∈=
xx 中任意有限个元素的实线性组合组成的集合 ;
称为 }:{ Itt ∈x 的 线性包,再记 )(xL 为包含 )(xL,且对于均方极限封闭的最小集合,即
若 0||||),( )()( →?∈ hhxh nn L,则 )(xh L∈,
)(xL 称为 }:{ Itt ∈x 的 线性闭包 。 它的每个元素都是 }:{ Itt ∈x 中元素线性组合在概率意义下的极限,因而可看成 整个随机过程 }:{ Itt ∈x 的某个,线 性泛函,)(xΦ,作为命题 11.7 的直接推论,我们有下述命题
命题 １１,１１ ( 封闭性 命题 ) 如果 }:{ Itt ∈x 是 Gauss 系,则 )(xL 也 是 Gauss 系,
此外,我们还有
命题 １１,１２ （ 独立性 命题 ）
(1) 若 },:,{ JI ∈∈ bahx ba 是 Gauss 系,则 }:{ I∈axa 与 }:{ I∈bh b 独立的充要条件为,对于任意 ba hx,都有 0)( =bahxCov,
288
(2) 若 }:{ I∈axa 与 }:{ J∈bh b 独立,那么 Φ )(x 与 Φ )(x 独立,
3,2 Gauss 过程的投影 － 线性 滤波
定义 １１,１３ 设 U }{):{ hx Itt ∈ 是 期望为 0的 Gauss 系,随机变量 h 在 Hilbert 子空间 )(xL 上的投影,记为
^
h,称为 h关于 }:{ I∈axa 的 线性滤波,
^
h 也记为 hx )(Pr Loj,即
),(
^
xh L∈ 且 )(
^
xhh L⊥?,(11,1)’
(11,1)’称为 线性 投影公式,
定理 １１,１４ 设 U }{):{ hx Itt ∈ 是期望为 0 的 Gauss系,那么
^
hh =
∨
,
即,对 Gauss 系而言,非线性滤波与线性滤波是一样的,
证明 首先注意?∈ )(
^
xh L Φ )(x,其次,由于 )(
^
xhh L⊥?,我们有
)(,0])[(
^
ItE t ∈?=? xhh,由 命题 １１,１２ 得到,
^
hh? 与 }:{ Itt ∈x 独立,因 而 也与 Φ )(x
独立,于是对于任意 对 ∈V Φ )(x 有 0])[(
^
=? VhhE,这正说明了 ⊥?
^
hh Φ )(x,从而
^
hh =
∨
,
3,3 复 Gauss 过程
设 )2,1(,)()()( =+= ki ktktkt hxV 的期望为 0,则二元函数 )(),( )2()1( tsEtsB VV
= 称为过程
}{ )1(tV 与 }{ )2(tV 的相关函数,它是一个 复的非负定函数,即 对于任意 m,mtt,,1 L 及任意复数
maa,,1 L,恒有
0),(
1,
≥∑
=
lklk
m
lk
ttB aa,
定义 １１,１５ 复随机过程 ttt ihxV += 称为 复 Gauss 过程,如果 }{ tx 与 }{ th 是相互独立,且有限维分布族相同的 Ga u ss 过程,
3,4 Gauss 过程的特征泛函
对于期望函数为 ０,协方差函数为 ),( tsR 的 Gauss 过程 tx 及任意连续增函数 )(tF,定义 Gauss 过程
tx 的 特征泛函 为
)(
0)(
tdFi t
T
EeF
x
x
∫=Φ?
,
即它是 Gauss 随机变量 )(
0
tdFt
T
x∫ 的特征函数在 １ 处值,由于 0)]([
0
=∫ tdFE t
T
x,
)()(),()]([
000
tdFsdFtsRtdFVar
TT
t
T
∫∫∫ =x,因此
)()(),(21
00)(
tdFsdFtsR
TT
eF ∫∫=Φ
x,
4,平稳性与宽平稳性
289
4,1 平稳序列与宽平稳序列,
在实用领域中称 随机变量 序列 )( ∞<<?∞ nnx 为 时间序列,常 假定其方差有限,
定义 １１,１６ 如果 对于任意 km,,m 维随机变量 },,( 1 mkk ++ xx L 都与 },,( 1 mxx L 同
分布,则称 )( ∞<<?∞ nnx 为 平稳序列,
如果有 对于任意 kn,有
)()(,kRnEmE knnn 的函数某个不依赖常数 == +xxx,
则称 )( ∞<<?∞ nnx 为 宽平稳序列,而 )(kR 称为 它的 相关函数,
宽平稳序列是在应用中最常 用 的时间序列,它代表数学期望函数 tEtm x
=)( 与相关函数
)()(),( kREkttB ktt ==+ +
xx 这两个最重要的平均特征都不依赖时间 t的时间序列,通 常假定宽平稳序列的期望函数为零,否则可以预先减去它的期望,在理论上宽平稳列 常 在 L 2 的框架中讨论,
定义 １１,１７ 在工程,无线电,控制等诸多领域中出现的宽平稳序列常假定其期望为 0,
而其相关函数 )(kR 常可表成某个非负函数 )(lf 的 Fourier 系数,
∫= p l ll20 )()( defkR ik,(11,4)
这个非负函数 )(lf 称为此宽平稳序列的 谱密度,
相关函数 概括了宽平稳序列的最重要的统计特征,因而谱密度 )(lf 也 同样 概括了宽平稳序列的 最重要统计特征,在实际问题中,可以通过序列 nx 的一段观测值来估计,即用
∑
=
+=
n
k
ik
k enf
0
2^ ||
1
1)( lxl (11,5)
来估计谱密度 )(lf,称为 谱图估计,这个估计简单易用,但是较为粗略,参照非参数统计中的
核估计的思想,可以得到一些改进的估计,而 在宽平稳序列的期望不等于 0 时,则用
)11(,|)(|11)(
00
2^
^
∑∑
==
+=?+=
n
i
i
n
k
ik
k nenf xxxxl
l (11,4)’
作为谱图估计,
在应用中,可以认为相关函数与谱密度 有 相同的作用,但是在具体处理上,又各有其长处,用相关函数研究宽平稳序列称为时域方法,而用谱密度研究宽平稳序列则称为 频率域方法,
具有谱密度的 宽平稳序列可以用它的样本平均来估计其均值 m,
0||1|| 0 →?+ ++ mn nxx L,
此公式 的收敛是 L 2? 的收敛,就是 均方收敛,其 证明需要用宽平稳列的谱积分理论,这是一个已经发展得过于成熟的理论,本书由于篇幅的限制而 不再 选入这部分材料,又因为均方收敛蕴含了概率收敛,所以有,以接近于 1的概率有 mn n ≈+ ++ 10 xx L,同时 还可以用样本来估计相关函数,
0||)(1|| 0 →+++ ∞→+ nknnk kRn xxxx L,
同样 它 蕴含了 以接近于 1 的概率有 )(10 kRn knnk ≈+++ +xxxx L,记
290
1
0^
+
++=
nm
nxx L,
1)(
0^
+
++= +
nkR
knnk xxxx L,(11,6)
它们分别是均值 m与相关函数 )(kB 的最简便的 相合 估计,
显见,Gauss 宽平稳序列一定是平稳的,对于具有谱密度的宽平稳 Gauss 列,可以有更
强的结论,
1)1( 0 =→+ ++ mnP nxx L,1))(1( 0 =→+++ + kRnP knnk xxxx L,
相当一般的具有谱密度的宽平稳序 列 (例如,只要 满足 ∫∞>
p
p
ll df )(ln ) 都可以用
下面 5,3 段中的 ARMA模型来近似,这就是在实际领域中 ARMA 模型被广泛采用的原因,
4,2 渐近平稳序列与渐近宽平稳序列
定义 １１,１８ 随机变量列 )( ∞<<?∞ nnx 称为 渐近平稳序列,如果 对于任意 km,,当
∞→t 时 ),,( 1 mtt ++ xx L 与 },,( 1 mktkt ++++ xx L 的分布都依分布收敛到相同的分布,而 渐近平稳序 列 正 是指在时间充分发展后近似平稳的时间序列,随机变量列 )( ∞<<?∞ nnx 称 为 渐近宽平稳序列,如果 对于任意 kn,,存在常数 m 及函数 )(kR,使
)()(lim,lim kREmE kntnttntt == +++∞→+∞→ xxx,
m称为 渐近均值,)(kR 称为 渐近相关函数,而 渐近宽平稳序列 正 是指在时间充分发展 后近似宽平稳的时间序列,
例 １１,１９ 具有 不变分布的不可约 Markov 链,在初始值 服从不变分布时,是平稳序列 ;
而 当 初始 值 任意时,是渐近 平稳序列,
在实际数据 处理 应用中,用 宽平稳序列来拟合 建模 的常常只是渐近宽平稳序列,然而 这在应用中已经足够了,因为 我们都可以认为当前的时刻已经是该时间序列已发展到达到了充分长的阶段,也就是说,在实用中我们并不严格区分宽平稳序列与渐近宽平稳序列,
4,3 平稳增量序列
如果随机序列显著地出现一 个 随时间 发展 的 趋势,则在模型拟合时,可以研究其增量,
1?
= nnn xxh,对于此增量序列,考察其平稳性,宽平稳性,渐近平稳性与渐近宽平稳性,并进一步选择合适的模型,以便得到较为合适的模型参数拟合,宽平稳增量序列 经济学家们常称为 单位根过程
［ 注 ］ 0),()( ==+ nknn EkRE xxx 的平稳列 ),,1( Nnn L=x 的样本 可作如下的 模拟,
设 )(kR 满足,对于任意 l,任意 lijjil nnRnn ≤? ))((,,,1 L 都是一个非负定的矩阵,取独立同分布列 }{ nw 使 )0(,0 2 REwEw nn ==,待定 线性组合 11,?+++= nknkk wcwc Lx,其系数
),,( 1 ncc L 可由方程组
))[0()])([()1( 1121
1
1
1
nknkkjj
N
j
iki
N
i
ccccccRwcwcEkR +?+
=
+
=
+++==? ∑∑ L
解得,这是一个二次方程组,可以用模拟退火方法,
5,ARMA模型 (Auto-Regression Moving Average 模型 )
5,１ ARMA (p,q)
定义 １１,２０ 对于宽平稳序列 nx,若 存在不相关的时间序列 )( ∞<<?∞ nne (在实用中还 常常 假定它们是独立同分布的,这时 nx 还是平稳序列 ),使 2,0 see == nn VarE,且
291
qnqnnpnpnn bbbaa +++= eeexxx LL 11011,(11,7)
其中多项式 pppp zazazazA= 1111)( L 在 1|| ≤z 无零点,(这个条件保证了 nx 的稳定性质,即渐近宽平稳性,也就是经过连续地递推后,不会趋于无穷 ),则称 )( ∞<<?∞ nnx 为
(p,q) 阶 ARMA 模型,记为 ARMA(p,q ),
在实用中,由于宽平稳性,上面的系数 ),,,(),,,( 101 qp bbbaa LL 可以通过序列 nx 的一 段观测值来估计,
不难证明,宽平稳序列为 ARMA (p,q)的充要条件是它具有如下形式的谱密度
2
2
|)(|
|)(|)(
l
l
l i
i
eA
eBCf =,(11,8)
其中多项式 =)(zA pppp zazaza 1111 L 在 1|| ≤z 无零点,而
q
q
q
q zbzbzbbzB ++++=
1
110)( L,
满足 0),,( 1 =qbb L 的 ARMA模型,简记为 AR(p),称为 p 阶自回归模型,或 p 阶宽马氏模型 ; 而 满足 0),,( 1 =paa L 的 ARMA模型,简记为 MA(q),称为 q 阶滑动平均模型,
在应用学科中常遇到渐近宽平稳序列,实际上可以把它当作宽平稳序列,并用 ARMA模型作数据 拟合,就是把数据列看成某个 ARMA序列的一段样本,对于看起来具有平稳性质的数据列,一般地想象,似乎 被拟合的 ARMA模型的阶 p,q 越大越自由,事实却不是这样,过大而不适当的 p,q 不仅会增加了大量冗余计算工作量,有时还会出现 过分拟合 (over - fitting),这同样会带来误差,所以,寻找尽量小的 p,q,并使之能得到可以接受的近似,称为模型的 定阶问题,
实用中的 AR(p),常常 假定其 自回归残差 ne 是独立 的随机变量 序列,所以 在 pnn xx,,1 L 已知的条件下,nx 的条件期望为
pnpn
pnnnpnpnpnnn
aa
baaEE
++=
+++=
xx
xxexxxxx
L
LLL
11
10111 )),,(|)](([)),,(|(,(11,8)
可见,知道了自回归 模型 系数,就可以用时刻 n 以 前的资料,去预 测 时刻 n 时的 估值,或以多大的概率在什么范围内变化 （ 区间估计 ）,如果还假定 ne 服从正态分布,那么上式说明,对于 模型 AR(p),在 pnn xx,,1 L 已知的条件下,nx 的条件分布为正态分布,
),( 22011 sxx baaN pnpn ++L,
(可以把 20 )( sb 合为一个参数来估计,这等价于令 10 =b,所以以后 对于 AR 模型,我们不妨假定 10 =b ),这时还可以得到误差的区间估 计,
5,2 AR 模型的定阶与偏相关系数以及模型参数的估计
定义 １１,２１ 设 nx 为宽平稳序列 (并不限于 ARMA模型 ),若 实数 )()( kjkj ≤a 满足
∑∑
=
=
=?
k
j
jnjn
k
j
ccjn
k
jn cEE k
1
2
1
,
2)( ||inf||
,1
xxxax L,(11,9)
则 )(kka 称为 第 k 个偏相关系数,
用实测数据来拟合 AR 模型 时,首先 要判断用 AR 模型近似是否合适 ; 其次要估计 p (定阶 );
最后还要估计 AR(p)模型的 p+1 个待估参数,以下的准则可以由简单的计算直接验证,
准则 １１,２２ nx 为 AR(p),当且仅当,第 p 个偏相关系数非零,而以后的偏相关系数都是 零,
292
偏相关系数的 求法 记 2
1
1 ||),,( ∑
=
=
k
j
jnjnkk cEccF xxL,由定义它在
),,( )()(1 kkk aa L 处取最小,所以,粗略地,),,( )()(1 kkk aa L 是方程组,),,1(0 kjcF
j
k L==
的解 （ 它们还有可能是局部极值点而非整体极小 ）,这个方程组也就是,
=
)(
)2(
)1(
)0()2()1(
)2()0()1(
)1()1()0(
)(
)(
2
)(
1
kR
R
R
RkRkR
kRRR
kRRR
k
k
k
k
MM
L
MMMM
L
L
a
a
a
,(11,10)
称为 Yule - Walker 方程,由此可以解出第 k 个偏相关系数 )(kka 的理论值,在实际情形,我们只知道一段样本 Nxx,,1 L,由此可以先得到 ))(( mjjR ≤ 的估计 ))((
^
mjjR ≤,再用它们来代替上面计算第 k 个偏相关系数 )(kka 的 Yule-Walker 方程中的 ))(( kjjR ≤,得到的 方程称为 经验
Yule - Walker 方程,它的解便是第 k 个偏相关系数 )(kka 的估计
^
)(k
ka,称为 经验偏相关系数,
检查多项式 pppp zazaza 1111 L 在 1|| ≤z 有无零点,在实践中是非常困难的,通常的方 法在实用中既复杂且 很难实际操作,因此,人们 在拟合 AR(p) 模型时 常常 加上约束条件
1||
1
<∑
=
p
i
ia,以保证多项式
p
p
p
p zazaza
1
111 L 在 1|| ≤z 无零点,这样就使估计参数问题实际成为求解一个在约束条件下的最小值问题,
偏相关系数的 递推算法
由 (11,10) 利用归纳法,可以得到偏相关系数的递推算法,为此我们归纳地假定 在 k 时已经有了表达式,而 对 1+k 情形,可以 由 1+k 阶 Yule-Walker 方程 定义 如下递推 方程
+
=
+
+
+
+
)1(
)(
)1(
)0()1()(
)1()2()1(
)()1()0(
)1(
1
)1(
)1(
1
kR
kR
R
RkRkR
RkRkR
kRRR
k
k
k
k
k
MM
L
L
MLMM
L
a
a
a
,
递推地 求解 这个方程,就 可 得到 )}1(,{ )1( +≤+ kjkja 与 }(,{ )( kjkj ≤a 间的递推关系,
下面推导 此方程的 递推 解法,注意此 方程的系数是一个 Toepliz 矩阵,以 Toeolitz 矩阵为系数的线性方程组的 解法是 非常 经典的,首先,我们把它改写为矩阵方程,记系数矩阵为 kR,它是对称的而且对于 ARMA模型易证它是正定的 (作为习题 ),再记 kT 为 如下的 k阶倒向算子,
=
1
1
NkT,=kr
)(
)1(
kR
R
M,=kx
)(
1
)(
1
k
k
k
a
a
M,
于是对应的矩阵方程可写为
+=
+
+
+
)1()0( )1( 1
1
kR
rx
RTr
rTR k
k
k
k
T
k
T
k
kkk
a,
也就是
293
k
k
kkkkk rrTxR =+
+
++
)1(
11 a,
)1()0( )1( 11 +=+ +++ kRRxTr kkkTkTk a,
注意 kR 与 kT 是相互交换的,由前一个方程,利用?
=?
)(
1
k
k
k
kk
xrR
a,便有
kkk
k
kkkk rRTrRx
1)1(
1
1
1
+
+
+?= a
=
+
+
kik
k
kk
kk
k
k
xT
x )()1(
1)(
aa
a,(11,11-1)
把它代入后一个方程得 到
)0()()1( )1( 11)1( 11 RrRTrRTrkR kkkkkkkkkTkTk ++?++? +?=+ aa
kk
T
k
T
kkk
T
k
k
k rRTrrRrR
11)1(
1 ))0((
+
+ +?= a,
由此推出
+
=++
)(
)(
)1(
1
)0(
)1(
k
k
kT
k
k
k
kT
k
T
k
k
k x
rR
xTrkR
a
aa
∑
∑
=
=
+?+
= k
j
k
j
k
j
k
j
jRR
jkRkR
1
)(
1
)(
)()0(
)1()1(
a
a
,(11,11-2)
综合 (11.11-1)与 (11,11-2),就是 理论偏相关系数列的 以 下的递推算法,
≤?=
+?+
=
=
=
+
+
+
=
=+
+
∑
∑
)(
)()0(
)1()1(
)1()0(
)1()2(
)0(
)1(
)(
)1(
)1(
1
)()1(
1
)(
1
)(
)1(
1
)1(
1
)1(
1)2(
2
)1(
1
kj
jRR
jkRkR
RR
RR
R
R
k
jk
k
k
k
j
k
j
k
j
k
j
k
j
k
j
k
k
aaaa
a
a
a
a
aa
a
L (11,11)
同样,如果用 ))((
^
mjjR ≤ 代替 ))(( mjjR ≤,则就得到相应的估计 )(
^
)( kjk
j ≤a,
由数据对 AR 模型粗 定阶
对于一段样本 Nxx,,1 L,要拟合 AR 模型,则首先要确定 AR 模型的阶,最简单的想法是,逐个地计算出偏相关系数,如果对于某个 k 而言,以后的 )()( knnn >a 已经达到实际地足够小,则可以近似地认为 kp =,但是这个方法既粗糙 且 在实际中显然并非可行,而更为实 用的是后面将要介绍的 AIC定阶法与 BIC定阶法 （ 参见 5,4 段 中的注 1）,
AR(p)的相关序列的 Yule-Walker 方程与 自回归系数 ),,( 1 paa L 的估计
对于 AR(p) 模型的自回归系数,自然地采用如下估计
)(
^
)(^ pia p
ii ≤= a
另一 种看法 是,注意 AR(p)的相关序列 )}({ kR 满足 以 下的 Yule-Walker 方程,
294
)1(),0()1()( 1 ≥++?= kRakRakR pL,(11,10)’
这个方程与 (11,10)是一样的,其差别仅在于,(11,10)是为了用 求 来 偏相关系数及 定阶,所以未知数 实际上 有无穷多个,而如今假定已知其阶为 p,未知数就只有 p 个,方程虽然有无穷多个,却只有 p 个是线性无关的,所以是有限个方程,又显见 (11,10)’ 的解恰好是此时间序列的前 p
个偏相关系 数,只要 在 (11,10) ’ 中用 ))((
^
pjjR ≤ 代替 ))(( pjjR ≤,就得到相应的 自回归系数 ),,( 1 paa L 的 如下 估计
=
^
a Tpaa ),,(
^
1
^
L,
^^^
bRa
1?
=,
其中
=
^
R
^^
p
^
p
^
p
^^
^
p
^^
011
201
110
ggg
ggg
ggg
L
LLLL
L
L
,=
^
b Tp ),,( ^^2^1 ggg L,
这个估计一般称为 Yule - Walker 估计,实际上,它正好是前面得到的估计 )(
^
)(^ pia p
ii ≤= a,
此外,也可以用最小二乘估计,即令
=>>
=
=
+
pp
pNN
pNN
p
N
N
pNA
a
a
a
q
xx
xx
xx
x
x
x
x M
L
MM
L
L
M
2
1
1
22
1
1
1,,,,（ 11.12）
用方程 xq =A 在 1|||| 1 <++ paa L 的条件下的约束最小二乘解 (参见第一章 ),作为自回归系数 q 的估计,(最 粗略的处理约束方法是对建模误差加上一个惩罚项,例如 ∑
=
+?
p
k
kC
1
)1||( a,
其中 C 是一个很大的正数,上标的符号表示取正部,即 )(),0[ aaIa ∞+ = ),
残差 方差的估计
由 npnpnn aa exxx = L11,立刻可以残差 的 方差 22 nEes = 的估计
(1
1
^
2 ∑
+=?
=
N
pnpN
s 2^1^1 )pnpnn aa xxx L?= ^ )0(R ^a T
^
b?=
^
)0(R
^
b
^1^
bR
,
[ 注 1] 如前所述,如果自回归残差 ne 服从正态分布,就可以对自回归系数及条件方差作最大似然估计,进而还可以对它们作区间估计,在应用中一般地自回归残差并不服从正态分布,但是 如果无视是否 有 正态 性,强行 按正态分布作最大似然估计与区间估计,也能得到 较 粗的参考信息,
［ 注 2］ 与统计领域 中 不同,在经济类的一些有关时间序列的书籍与文献中,11,7） 代之以
qnqnnpnpnn bbbaaa +++= eeexxx LL 110110,（ 11,7）
*
并且也称之为 ARMA(p,q)模型 。 这种扩展增加了一个常数项 0a,这种模型出自 经济研究,当
1,0,,0,0 110 <++≥≥> pp aaaaa LL 时,可以 证明此时间序列是渐近平稳的,
[注 3] 由理论 上 可以证明,在给定相关函数列的 1+p 个值 )(,),1(),0( pRRR L 的所有平稳序列中,使
295
∑
=
=
k
j
jnjnk Ec k
1
2
,,,,
2
0 ||inf 1 xgxgg L
达到极大的平稳序列是 AR( p )模型,这里的 0c 称为平稳序列的一步预测的 (均方 )误差,这就是说,AR( p )模型给出了在这种限制下,平稳序列的一步预测的误 差的上界,即 给出了 最坏 的 可能,此外,人们还证明了几乎在同样的条件下,在具有谱密度的所有平稳序列中,只有 正态 AR( p )平稳序列 }{ nx 满足,对于任意 pN >,
),( 1 Nxx L 的联合分布的熵最大,这也给出了不确定性最大时的建模,也 最坏的可能,
5,3 MA 模型的定阶与参数估计
容易验证以下准则,
准则 １１,２３ 宽平稳序列 nx 为 MA(q),当且仅当,)|(|0)(,0)( qkkRqR ≥=≠,
由此可以通过由实测数据估计相关系数 )(kR,观察它的大小,以给出 q 的粗估计,但是更为使用的是在下面 5,4 段注 1中的 AIC估计法与 BIC估计法,
滑动平均系数 ),,( 1 qbb L 的粗估计
在假定 q 已估计得到的前提下,由模型 的定义有 )0(,)( 2 qkbbkR
q
kj
kjj ≤≤= ∑
=
s,由求解二次方程 )0(,)( 2
^
qkxxkR
q
kj
kjj ≤≤= ∑
=
s 得到 的 ),,,( 10 qxxx L,就是 ),,,( 10 qbbb L 的估计,
求解 二次方程 )0(,)(^ qkbbkR
q
kj
kjj ≤≤= ∑
=
,即求解非线性方程
)()0(
22
0
2^^
qbbR ++= Ls,
)()( 110
^
2^
qkqkk bbbbbbkR?+ ++= Ls,)1( qk <≤,qbbqR 0
2^^
)( s=,（ 11.12）
此 方程 组 的解可由如下的迭代近似,
])()()[()0( 2)(2)(12)1(0
2^^
n
q
nn bbbR ++= + Ls,
][)( ))()( 1)(1)1()1(0
^
2^ n
q
n
kq
n
k
nn
k
n bbbbbbkR
+
++ ++= Ls,)1( qk <≤,)1()1(
0
^
2^ )( ++= n
q
n bbqR s
得到,另外,他们 也可 由求解 优化问题 ∑ ∑
= =
q
k
q
kj
kjjbbb bbkRq
1
2^
,,,|)(|inf 10
２s
L 得到 近似值,不幸的是 这 些 方法 都 过于繁琐,在 实际计算时,只在 5<q 时作数值求解 才比较合适,
MA 模型估计 的经验实际操作常常 是,先拟合一个 AR 模型,得到残差的粗估计,然后把 MA
模型的估计简化为求解一个线性方程组,这是一种纯粹经验性的方法,只有直观根据,其具体操作如下,
假定由一段样本 Nxx,,1 L,经过下面 的 5,4段注 1 中的 AIC或 BIC 法已经估计好了 MA
模型的阶 q,取 s 满足 Nsq <<<<,先用此数据拟合一个 AR(s)模型,由 这个 拟合了的模型,
算出残差的估计
^^
1,,Ns ee L+ (其中 )(
^
1
^
0
^
skskkk aa ++?= xxxe L ),最后求方程
)( ^^0 qkqkk bb?++?= eex L
的最小二乘解 ),,,( 10 qbbb L,作为 MA(q)的模型参数估计,
296
5,4 ARMA模型的定阶与参数估计
对于 ARMA(p,q)
qnqnnpnpnn bbbaa +++= eeexxx LL 11011
的 粗定阶与估计,我们有
准则 １１,２４ 宽平稳序列 nx 为 AR MA( p,q),当且仅当,存在多项式
=)(zA pppp zazaza 1111 L 在 1|| ≤z 无零点,且对于任意 qm > 有
∑
=
=
p
k
k kmRamR
1
)()(,（ １１,１３ ）
在条件满足时 ),,( 1 paa L 就是这个自回归滑动和的 AR 部分的系数,
自回归系数 ),,( 1 paa L 与滑动平均系数 ),,,( 10 qbbb L 的粗估计
第 1 步,用宽平稳序列 nx 的样本计算相关函数序列的估计 )(
^
nR,
第 2 步,对于 L,2,1=q,看是否存在 1≥p 及充分大的 m 使
+
+
)(
)1(
^
^
mqR
qR
M 能近似地能由
)(
)(
)1(
^
^
pk
kmqR
kqR
≤
+
+
M 线性表出,如果对于某个 q (取 尽量小 )存在这样的近似线性表出,则这样的 ),( qp 就可取为此 ARMA模型的阶,而这个线性表出的系数就可以作为 ),,( 1 paa L 的估计
),,( ^^1 paa L,
第 3 步,对于上面确定的 ),( qp 及 ),,( ^^1 paa L,把下述 最小值问题
2
1 1
^^^
,,,|)()(|inf 10 ∑∑ ∑
=
= =
q
mj
mjj
q
l
p
k
kxxx xxklRalRqL
取到最小值的位置 ),,( 1 qxx L 作 为 ),,,( 10 qbbb L 的估计 ),,(
^^
0 qbb L,
[注 1] 以上的 第 ２ 步与第 ３ 步在实际中 很难使用,在实用中更常用的 ARMA 模型的 经验 定阶法有,
（ １ ） AIC（ Akaike Information Criterion） 法 (这是 Akaike采用 相对熵导出的定阶原则 )
设 Nxx,,1 L 是来自正态 ARMA模型的一段观测值,对于指定的 k （ 例如 取可能的阶的一个上界,或
者取它为与 Nln 同阶的一个整数 ） 及固定的 ),0(),,( kqpqp ≤≤,记相应的 2s 的最大似然估计为
),(
2^
qps,记
N
qpqpqpAIC )(2),(ln),( 2^ ++= s,
取 ),(
^^
qp,使
),(min),(
.0
^^ qpAICqpAIC
kqp ≤≤
= 。
297
那么可以用 ),(
^^
qp 作为阶的估计,这 就是 AIC方法,虽然 这个定阶法在 ARMA 模型的定阶中常用,但是却被证明了它 并 不是 阶的 相容 估计,即 人们 已经证明了,如果样本来自 ),( 00 qpARMA,那么就有
0),( 0
^
0
^
=<< qqppP,0)( 0
^
0
^
>>> qqppP 或 。
从而说明用 AIC方法得到的阶可能比 ARMA模型的真正的阶要大,
（ 2） BIC,HIC 法 (AIC的改进 )
用下面的 BIC (Bayesian Information Criterion),HIC 代替 AIC
N
NqpqpqpBIC ln)(),(ln),( 2^ ++= s,
),0( kqp ≤≤,,)2(,lnln)(),(ln),(
2^
>++= cN NqpcqpqpHIC s,
如果我们把对应于样本 Nxx,,1 L 的 BIC估计记为 ),(
^^
NN qp,那么在 Nxx,,1 L 为 ),( 00 qpARMA 时,已经证明 了当 ∞→N 时,依概率地有 0
^
0
^
,qqpp NN →→,这说明 BIC 估计是相合的,
在作线性预报时,一般 地 并不在乎高估其阶数,所以常用 AIC估计,但是,在对模型结构作研究时,就应该用 BIC 估计,
ARMA模型参数的估计
对于 ARMA(p,q),易见有
)1(),()1()( 1 ≥?+++?+=+ kpkqRakqRakqR pL,
由此可以从观测数据 ),,( 1 Nxx L,估计 )( kqR +,再解出 ),,( 1 paa L,得到估计,),,( ^^1 paa L,
然后 记
)( 11 pnpnnn aa ++?= xxxh L,
那么 不难验证 ){ nh 是 MA(q)模型,最后 用 nh 的估计 )(
^
1
^
1
^
pnpnnn aa ++?= xxxh L 代替
nh,作为已知数据来拟合 MA(q),得到模型参数 ),,,( 10 qbbb L 的估计 ),,(
^^
0 qbb L,
[注 ２ ] 由宽平稳序列的一般理论,一 个 宽平稳序列 可以分成两个部分,一部分是其所有时刻的共有信息,
称 为奇异部分,而另一部分则表达了随时刻变化所带来的新的信息,称为正则部分,在实际应用中,人们 通常 认为宽平稳序列只有正则部分,此时不仅具有谱密度 )(lf,而且还满足?∞>∫ ll
p
df )(ln
2
0
,这时 自然 就 可以用 ARMA 模型近似,这是 ARMA 模型被 广泛 应用的原因,
5,5 ARMA模型的预 报 问题
我们在这一段除假定残差序列 }{ ne 独立同分布,=)(zA pppp zazaza 1111 L 在
1|| ≤z 无零点外,还增加一个假定,姑且称之为 假定 B,
q
q
q
q zbzbzbbzB ++++=
1
110)( L 在 1|| ≤z 也无零点,
此时 )( )(,)( )( zA zBzB zA 都是 (复 )解析函数,我们把它门分别记为
k
k
k
zczA zB ∑
∞
=
=
0)(
)(,k
k
k
zdzB zA ∑
∞
=
=
0)(
)(,
记 D为 如下的 向后推移运算,
11, == nnnn DD eexx,
298
于是 ARMA(p,q)可以写为
nn DBDA ex )()( =,
从而有
knk
k
nknk
k
n dc?
∞
=
∞
=
∑∑ == xeex
00
,,(11,14)
随机变量序列 }{ ne 在数学文献中称为 Wold 序列,而在控制领域中称为 新息序列,因为它对 nx
带来了时间序列的过去 },,{ 11 xx L?n 所不能包含的新的信息,(11,14) 的第一个等式称为 Wold
分解,其中 kc 称为第 k 个 Wold 系数,
在以上的假定下,我们立刻得到 下面的定理,
定理 １１,２５ 对于 满足 假定 B的 正态 ARMA(p,q)模型 (即 }{ ne 是独立同分布正态随机变量列 ),存在常数 nkk,,1 L 使
1111 ),|( xkxkxxx ++=+ LL nnnnE,
即最佳预报为线性函数,
作 为 正态 ARMA模型的 特例,我们有
１,正态 AR(p)的预报,
)(),|( 1111^ 1 +?++ ++?== pnpnnnn aaE xxxxxx D LL,)( pn ≥,
,),( 221
^
1
^
2 LL xxxx pnnn aaa ++?= ++ )(
^^
1
^
1 nppnpn aa xxx ++?= +++ L
２,正态 MA(q)的预报,
由 (11,14)可推出 0),|( 11 =+ xxe LnnE,因此
),|( 11
^
1 xxxx
D
Lnnn E ++ = ],|)[( 111 xxee LL nqnqn bbE +?++=
kqnk
k k
qknk dbdb+
∞
=
∞
=
∑ ∑++= 1
0 0
1 xx L kqnk
n
k
qn
k
qknk dbdb+
=
=
∑ ∑++≈ 1
1
0 0
1 xx L,
)(,0),|( 1
^
qkE nknkn >== ++ xxxx L,
类似地 可 得到 ARMA(p,q)的预报 系数 nkk,,1 L 的表达式,
[注 1] 可以证明,对 于 ARMA 模型,总可以 经过 改造使 得 )(),( zBzA 在 1|| >z 上无零点,所以,最为 实质的假定是 )(),( zBzA 在单位圆 1|| =z 上无零点,当 此 条件不满足时,模型 所 表达的时间序列就不再具有 渐近平稳性,这时,时间序列 就会 出现趋势项,即是平稳增量过程,
[注 2] 在理论上可以证明,一维 ARMA模型可以作为向量 AR 模型的一个分量,因此 ARMA模型的计算,也可以归结为向量 AR 模型,显然,向量模型的计算也有其特殊的复杂之处,即矩阵乘法的不可交换性,
[注 3] (AR模型的 渐近 平稳性的证明 ) 设 }{ ne 独立同分布,且取值于有限区间,
2)(,0 see ==
nn VarE
npnpnn aa exxx = L11,
其中多项式 pppp zazaza 1111 L 在 1|| ≤z 无零点,令
=
=
+?
0
0,
1
1
MM
n
n
pn
n
n
n
e
V
x
x
x
h,
=
01
01
11
OO
L pp aaa
A,
299
我们可把模型改写为
nnn A Vhh +=?1,(11,15)
于是
nnn A Vhh +=?1 nnnAA VVh ++= )( 12
)11 ppnnnppn AAA VVVh ++++== LL,
假定 ),,,( 011 xxx L?p 与 pV 独立,利用 }{ nV 也是独立同分布的,上式右方就与
)2()1(
1
1
1 )( nnpn
pn
n
pn
p
pn IIAAA +=++++
记VVVh L
有相同的分布,由于 A的特征多项式为 pppp aaa lll 111 L,由 AR模型的假定,它 在 1|| ≥l
无零点,故 A 的 Jordan分解可以写为
1
1
Λ
Λ
= TTA
l
O,iΛ 为对角元为 il 的 Jordan 块,)(,1|| pii ≤<< gl 某,
于是有 0)1( →nI,mpm
pm
n AI V
∞
=
∑→按概率)2(,后一个极限的证明如下,首先,按 L 2 的意义对
MN < 有
|| mpm
M
pm
A V?
=
∑ 2||mpmN
pm
A V?
=
∑? )))(((
1,
pnTT
nm
pm
M
Nnm
AEAtr
+=
∑= VV
)))](()([21(
1,
pnTT
nn
T
mm
pm
M
Nnm
AEEAtr
+=
+≤ ∑ VVVV (按非负定矩阵含义下的次序 )
)( 112
1,
Tpnm
M
Nnm
E VVg?=
+=
∑≤ 0)(][ 112
1
→≤?
+=
∑ TpmM
Nm
E VVg,
即?)2(|| nI 0||→?
∞
=
∑ m
pm
pm
A V,再用 Chebyshev 不等式得到按 概率的 收敛性,即
)2((| nIP 21)| ddV ≤>?
∞
=
∑ mpm
pm
A?)2(|| nI 0||2→?
∞
=
∑ mpm
pm
A V,
从而 nh 有不变分布函数,所以它是渐近平稳的,】
以上证明中实际上只用到了二阶矩计算,所以关于 }{ ne 独立同分布的假定并不必要,只需假定它们是同分布的不相关 随机 序列,则结论仍然正确,证明也只需作一点小小的改动,
6 ARCH 模型
6,1 ARCH ( q )
ARCH模型 是随机方差列建模中最简单的一种模型,它的含 义为 自回归条件异方差模型
(Auto-Regressive Conditional Heteoskedastic model ),而 ARCH正是这些英文单字第一个字母的拼写,它是由 Engel在 1982 年提出的一种时变条件方差模型,其目的是想解除 AR 模型中自回归残差的方差为常数 ( 即 2)( se =nVar )的限制,代之以只依赖残差列的过去 },,{ 11 ee L?n 的一个随机序列,
300
ARCH )(q 描述的是某种随机误差序列 误差 ne （ 其典型例子是自回归模型的残差列 ）,在金融中的随机误差列 常 用条件方差 的如下的 ARCH )(q (随机 )模型 描述,在 },,{ 1 qnn ee L 已知的条件下,ne 的条件分布密度为
)0,,,0(),,0(~ 1022 110 ≥>+++ qqnqnn N gggegegge LL,(11,16)
（ 典型例子是,包容有发展趋势的自回归,模型 残差,)( 110 pnpnnn aaa ++?= xxxe L,
其最简单情 形为只有发展趋势项的 ＂ 0 阶自回归模型 ＂ ann?= xe,后者在经济序列中广为采用,这里 paaa,,,10 L 和 qggg,,,10 L 都是待估的模型参数,当 010 ==== qa gg L 时,
ARCH模型就退化为 AR模型 ）,由于 ARCH模型引进了时变的随机条件方差,这就使它比 AR
模型有更加广泛的包容性与适用性,为了保证 }{ 2ne 是渐近平稳随机序列,我们简单地假定
11 <++ qgg L,(11,17)
ARCH )(q 模型也可表达为,
nnn uh=e,
22
110 qnqnnh +++= egegg L,（ 11.16） ’
其中 nu 是独立同分布的 }1,0(N 随机变量列,且与 ),,( qnn?ee L 独立,
ARCH )(q 模型也可以并不假定正态性,此时可采取如下的模型
nqnqnn hegegge ++++=
22
110
2 L,(11,18)
其中 }{ nh 是独立同分布随机变量列,2)(,0 shh == nn VarE,甚至还可以不要求 随机序列
}{ nh 的相互独立性,注意 (11,18)式 的模型比 (11.16)式 更为一般,但是,用 (11.18)式 建模时缺乏条件分布的信息,因此在估计模型参数时,不能用最大似然方法,另一方面,只要注意到 (11.18)式本身是一个 AR(q)模型,所以参数估计可以套用 AR 模型的现成结果,
ARCH(q)的定阶与参数估计
对于 ARCH(q ) 模型的实际定阶,也可以用 AIC 估计与 BIC 估计,一旦阶确定以后,(11.16)
式 的 参数估计可以设计如下,令
i
i
h
i
qiiii ehp
2
1
2
2
1);,,|( e
pgeee = L
,∏
+=
=
N
qi
L
1
)(g );,,|( 1 geee qiiiip L,(11,19)
其中 )( 110 qnpnnn aaa +++?= xxxe L 还含有参数 ),,,( 10 naaaa L=,这里,)(gL 是在
},,{ 1ee Lq 已知条件下的条件似然函数,于是可以仿照最大似然估计方法,求 L 相应的最大值位置
^^
a，g,作为模型参数 a,g 的估 计,这里的计算归结为,求一个条件最大值的位置,这个位置可以用数值模拟方法来求得,为了防止计算陷入局部极大,我们也可以使用模拟退火算法,
在实际拟合模型时,如果发现从样本数据得到的随机误差 ne 有较厚的尾部,那么就不能用
(11,16) 式 中的正态假定,此时除了用模型 (11,18)式 外,人们也常用 t 分布代替 (11.16)式 中的正态分布建模,这时由于要求把方差作为参数写进分布密度,所以我们需要事先把 )(kt 分布的密度作一番修正,我们在 )(kt 分布的密度
2
12
)1(
)2(
)2 1( +
+
Γ
+Γ
k
k
x
kk
k
p
301
中增加引进一个影响方差的正值,重尾参数,a,得到一个新的密度 (本书中姑且称之为 ),( akt 分布 ),
2
12
2
1
)1(
)2(
)2 1(
)(
+
+
Γ
+Γ
=
k
ak
xa
kk
k
xf
p
,
可以求得此 ),( akt 分布的方差为 22?=
k
kas,在密度中 将 重尾参数 用 此分布的方差 表示,就得到
2
1
2
2
))2(1(1
)2()2(
)2 1(
)(
+
+Γ?
+Γ
=
k
k
kx
kk
k
xf ss
p
,
仿照 (11.16)式 得到
),( akt 分布下的 ARCH(q)模型,在 ),,( 1 qnn ee L ),,( 1 qnn xx= L 的条件下,ne 的条件分布密度为
2
12
1 ))2(1(
1
)2()2(
)2 1(
),,|(
+
+
Γ?
+Γ
=
k
nn
qnnnn kh
kx
hkk
k
xxxp
p
L ’
其中
22
110 qnpnn xxh +++= ggg L,,
于是条件似 然函数为
∏
+=
=
N
qn
qnnnnpL
1
1 );,,|()( geeeg L,
从而类似地可以作最大似然估计,
6,３ ARCH(q)模型的方差的预报
设某种随机误差序列 ne 已用 ARCH )(q 模型建模,那么,在 },,{ 11 ee L?n 已知的条件下,
ne 的 条件期望为 0,从而 条件方差为
),,|( 1 qnnnVar eee L ),,|( 12 qnnnE= eee L 21 )],,|([ qnnnE eee L
),,|( 12 qnnnE= eee L,
上式右方是 2ne 在 },,{ 1 qnn ee L 已知的条件下的最佳一步预报,我们把它记为
^
2
ne,又由于
nu 与 },,{ 1 qnn ee L 独立,且 1
2 =
nEu,故我们有
),,|(),,|( 1212
^
2
qnnnnqnnnn huEE == eeeeee LL
22
1101
2 ),,|(
qnqnqnnnn hEEu +++== egeggee LL 。
于是 2ne 的 最佳一步预报公式可以重写为
^
2
1+ne ),,|( 1
2
1 +?+
=
qnnnE eee L ),,|( 11 +?+= qnnnVar eee L
2
1
2
10 +?+++= qnqn egegg L,
302
类似地,2ne 的 最佳两步预报为
^
2
2+ne ),,|( 1
2
2 +?+= qnnnVar eee L ),,|( 1
2
2 +?+= qnnnE eee L ),,|( 12
2
2 +?++= qnnnn huE ee L
],,|)[(),,|( 12 22 110122 2 +?+?+++ +++== qnnqnqnqnnnn EhEEu eeegeggee LLL
2
2
2
^
2
110 +?+ ++++= qnqnn egeegg L,
进一步 可 得到多步预报的递推公式
^
2
^
2
110
^
2
qknqknkn?+=++ +++= egegge L,
* 7 GARCH (p,q) 模型与其它随机方差模型
7,1 GARCH 模型
GARCH 模型 是 ARCH模型的一种推广,它的含义为 广义自回归条件异方差模型 (Generalized Auto-
Regressive Conditional Heteoskedastic model ),GARCH是这些英文单字第一个字母拼写,GARCH 模型常被用来描述金融证券的随机波动率 (单位时间收益率的方差 ),
我们采用正态假定 下 的随机误差序列 }{ ne 的 GARCH(p,q) 模型,即假定在 qnn ee,,1 L 已知的条件下,
ne 的条件分布密度为 ),0( nhN,其中 随机序列 }{ nh 满足
22
11011 )( qnqnpnpnn hbhbh +++=++? egegg LL,(11,20)
这里 0,,1 ≥pbb L,0,,,0 10 ≥> qggg L 还有初始参数 0,,1 >phh L 都是待估参 数,而,GARCH(0,q)
就退化为 ARCH(q),可以证明 GARCH(p,q) 模型在条件
1,
11
<∑∑
==
k
q
k
j
p
j
b g
下是渐近平稳的时间序列,
GARCH 模型也常写成为
nnn hu=e,(11,21)
其中 nh 满足 (11,20)式,)1,0(~ Nun,且 nu 与 ),,( 1 qnn ee L 独立,
7,2 金融证券模型中的 GARCH(1,1)
以下我们以金融证券中较为常用的 GARCH模型为例,来看应如何估计这些模型参数,在金融证券中,记 标的变量 (underlying variable,常见的标的变量有股票,债券,随机利率等等 )在时刻 t 的值 为 tS,这是依时间参数 t
的一族随机变量,也就是一个随机过程,在著名的 Black-Scholes 模型中有一个基本假设,就是假设 tSln 为独立增量过程,我们对于标的证券进行间隔为 t? 的离散采样,并把 tiS? 简单地记为 iS,差商 )ln(ln1 1 ii SSt +
称为标的证券在 ti? 时刻的瞬时收益率,记成 ir (于是有 trii ieSS?+ =1,这是仿照按连续复利率 r 的情形下,在
ti? 时刻的本金 iP 到 ti?+ )1( 时刻实际增值为 trii ePP?+ =1 而定义的 ),Black-Scholes 模型假定了
),(~ 2~ smNri,其中 s 是一个 正 常数,称为 波动率 (volatility),它对于由证券的风险所带来的风险收益起到了 实 质的影响,由于在实际市场中证券收益的实证值与 Black-Scholes 模型给出的值有很显著的差异,人们认识到应该用一个 随时间变化的 随 机的波动率 ih,去代替 Black-Scholes 模型中的常数波动率 s,于是想到对收益率 ir 与其平均值
~
m 的偏差
~
me?=
ii r 用 GARCH建模,记在 ),,( 10?irr L 已知的条件下偏差 ie 的条件方差为 ih,假定 采用 Garch(1,1)模型,即假定方差 nh 满足
303
2
11 += iii hh aegb,
其中 1,,,0,0
~
<+≤> gbabam 以及初始参数 0h 都看成待估的模型参数,它们可以通过样本
}:{ NiSi ≤ 用最大似然估计法得到,于是,我们有条件异方差的如下表达式
0
12~
0
2~
1
2~
1
22~
1
2~
1
2~
1
2~2~
1
])()()[()1(
])()[()1(
))(()()(
hrrr
hrr
hrrhrh
ii
ii
i
iii
iiiiii
+
+
+?++?+?++++=
=+?+?++=
+?++?+=+?+=
bmbmbmabbg
bmbmabg
bmagbmagbmag
LL
L
},,,,;,,( 0
~
01 hrrh ii gbamL+
=,
参数 的 估计可进行如下,对于 1≥i,记条件分布为
),,,,;,|( 0
~
01 hrrrp iii gbamL?
),,,,;,,(2
)(
0
~
01
2~
2
1 hrrh
r
i
ii
i
eh gbam
m
p
L?
=,
那么似然函数为
=),,,,( 0
~
hL gbam ∏
=
N
i 1
),,,,;,,|( 0
~
01 hrrrp iii gbamL?,(11,22)
取 ),,,,(
^
0
^^^^
hgbam,使在条件 1,,,0,0
~
<+≤> gbabam,00 >h 条件下
L ),,,,(
^
0
^^^^
hgbam =
),.,,( 0
~sup
hgbam
),,,,( 0
~
hL gbam,
则 ),,,,(
^
0
^^^^
hgbam 就是参数的估计,
当模型参数确定了以后,如果令 )1( bag= V,那么 GARCH(1,1) 模型可以改写为
][])[( 12
~
1 VhVrVh nnn?+= bma,
两边取期望,并 利用
iiii EhrrrEErE =?= ]),,|)[(()( 01
2~2~ Lmm,
我们得到
][)(][ 1 VhEVhE nn?+=ba,
再由 1<+ ba 可知 0][ →? VhE n,从而我们有 渐近关系
VEhrE nnnn ==? ∞→∞→ lim)(lim 2
~
m,
即 )(1 bag +?=V 的含义 是渐近方差,
7,3 GARCH （ p,q ） 的参数估计
对于 GARCH(p,q)的模型参数估计,只要递推地用 10,,?phh L 表出
),,,,,( 10= pnn hhbahh Lg 2211011 )( qnqnpnpn hbhb ++++++= egegg LL
i
i
h
i
piii ehhhbaf
2
1001
2
2
1),,,,,;,,|( e
p
geee = LL,
304
∏
=
=
N
pi
piiip hhbafhhbaL ),,,,,;,,|().,,,,( 100110 LLL gxeeg,
用最大似然估计方法,求此条件似然函数 L 在 约束条件下的最大值位置,便得模型参数的估计,
[注 1] GARCH 模型还可以用于统计中的回归分析,即 GARCH 回归分析模型,
[注 2] 还有随机向量型误差的 GARCH 模型,
7,4 SV模型 （ 随机条件异方差模型 ）
SV模型 就是 随机条件异方差模型,这种模型常用以描述证券交易市场中的观测序列,它的数学表达为
nh
nn eu
2
1
=e,(11,23)
其中 }{ nu 独立同分布,且 ),0(~ 20sNun,而 nh 满 足如下的 AR(p)模型
npnpnn hbhbbh h=+++ )( 110 L,(11,24)
0)(1 1 =++? ppzbzb L 在 1|| ≤z 无零点,
}{ nh 为独立同分布随机变量序列,服从 ),0( 2hsN,且 }{ nu 与 }{ nh 独立,SV模型也可以视为 Black-
Scholes 模型的离散时间采样的 一种推广,
对于 SV 模型,我们有
= ),,|( 21 LnnnE eee nEu 0),,|( 212
1
= LnnhneE ee,
从而由 (11.23)得到平方误差的预报公式,
= ),,|( 21 LnnnVar eee ),,|( 212 L nnnE eee 2nEu= ),,|( 21 L nnhneE ee
LL),,|( 2120 110= nnhbb nn eEEee ees h ),,|( 21 L nnhb pnpeE ee,(11,25)
[注 1] 如果令 2ln nn ed =,2ln nn uv =,那么 (11,23)变成
nnn vh +=d,(11,23)’
这里假定 }{ ne 是可以实测的,于是它是量测变量,而 }{ nh 则是视为隐在后面的,状态变量,,因此 ),( nnh d 是取 连续值的 p 阶隐 Markov 模型,更确切地说,是隐 AR 模型,其需要估计的模型参数为
pbb,,,,0
22
0 Lhss,这种看法的难点是,取连续值的隐 Markov模型还未有有效的算法,也可以考虑用第 8
节中的 Kalman 滤波,或 用第 14章中的 EM 方法,来递推地估计模型参数与隐状态 ),,( 2
^
1
^
L nn hh,在
(11.25)式 得到 2ne 的预报中,可以粗放地用 ini hbe?
^
来代替 ),,|( 21 L nnhb inieE ee,
关于 ARCH模型及 SV模型可以参考,
[1] Bollerslev,T and Krocker,K.R,ARCH modeling in finance,a review of the theory and empirical evidence,
Journal of Econometrics 52,1992,
[2] Harvey,A,and Ruis,E,Multivariate stochastic variance models,Review of Economics studies 61,1994,
[注 2] 在经济和金融中,人们还应用下列模型
(1),自回归标准差 ARCH 模型 (Autoregressive Standard Deviation ARCH,ASDARCH),或 绝对值 GARCH 模型
(Absolute value GARCH,AVGARCH),
1111 ++= nnpnpnn uhaa eee L,
|||||| 1110 pnpnpnnn uhuhh +++= ggg L
其中 nu 是独立同分布的 }1,0(N 随机变量,
(2),对于金融市场中的信息不对称所得到的数据,Nelson 在 1991 年引入 指数 GARCH模型 (EGARCH)来处理它 们,EGARCH 模型 是
nnn uh=e,knknknk
q
k
pnpn guuEuhbhbbh
=
+?++++= ∑ |||(|lnlnln
1
110 gL ),
305
其中参数 g 可以取正值或负值,干扰 nu 独立同分布,其 分布为 广义误差分布,具有分布密度
)3(
)1(2
,0(,
)1(2
)(
2
||21
1
c
cce
c
cuf
cu
c
c
c
Γ
Γ
=∞≤<
Γ
=
+ l
l
l ),(11,26)
由计算可得
)1(
)2(2
||
1
c
cuE
c
n
Γ
Γ
=
l
,这里 c 是尾厚参数,在 2=c 时,有 1=l 是 N(0,1),在 2>c 时是厚尾分布 (比 N(0,1)尾厚,在 2<c 时是轻尾分布 (比 N(0,1)尾薄,∞=c 时为 ]3,3[?U 分布,对于金融数据常呈现的厚尾现象,以用较大的 c的广义误差分布作为干扰 nu 的分布更宜,,
EGARCH 模型比 SV模型更为复杂一些,它对于金融市场中的信息不对称现象的描述,比其它模型有较好的优势,它 对 于 干扰 knu? 取正或取负 （ 在股市中,它们分别表示利好消息或利空消息 ）,各有不相对称的不同影响,
EGARCH 也常表示为无穷阶模型
)|||{|
1
0 jnjnjnj
j
gEua
n eh
∞
=
+?+∑
=
hhh
,
可以证明在条件
∑ ∞<2iu
成立时,模型是渐近平稳的时间序列,
（ ３ ） ARCH - M 模型 这种模型也是 ARCH 与 GARCH 的推广,不同处是考虑了条件方差的变化对于条件期望的影响,此模型为,在 qnn ee,,1 L 已知的条件下,ne 的条件分布密度为
)),(( nn hhgN,
其中 }{ nh 与 )),0(~)(}({ ~
2~
nnnnn hNhg?=eee
D
满足 ARCH关系或 GARCH 关系,最简单的 情形 是
nn chhg =)(,
2~
10 nn aah e+=,)10,0( 10 <≤> aa
的 ARCH(1)-M 模型,此时有
1
0
2~
1 a
aE
n?=e,
)1 11()]([)(
1
0
2~
10
~~
acaaacEchEE nnnnn?+=++=+= eeee 。
还 可以求得 ne 的方差及各阶中心矩 knEe,从而在原则上可以进一步估计参数,
(4) 积分 ARMA模型 (ARIMA)
}{ nx 称为 积分 ARIMA(p,q),如果其差分序列 )( 1 nnn xxh?= +
为 ARMA(p,q),
类似的还有 IGARCH 模型 (积分 GARCH模型 )等,
8 二阶矩序列的滤波再访
8,1 线性滤波再访
306
有限个资料已知情形的线性滤波
设 需要接收的是一个具有二阶矩的随机过程 tS,它表示信号,但是在传输过程中被噪声
tn ( 也是一个二阶矩过程 ) 所干扰,因而使实际接收到的是 ttt nS +=h,问题是要从接收到的 }0:{ Ntt ≤≤h 尽可能地恢复 }0:{ NtSt ≤≤,用资料 }0:{ Ntt ≤≤h 作的最简单的加工就是其线性组合,也就是要用它们的线性组合来 近似 }0:{ NtSt ≤≤,即要找 ∑
=
=
N
i
iit cS
1
^
h 使
2
}:{
2^ )(inf)( V
hV?=? ≤∈ tNiLtt SESSE i,
其中 },:{):{
1
NiccNiL i
N
i
iii ≤?=≤ ∑
=
hh,由线性代数可知上式等价于
tNiL
N
i
iit SojcS i }:{
1
^
Pr ≤
=
==∑ hh,
它 又等价于满足下述方程组
)(,0])[(),( ^^ NjSSESS jttjtt ≤=?= hh,
从而得到 ic 们满足的方程组
∑
=
≤=
N
i
jtjii NjSEEc
1
)(),()( hhh,(11,27)
\ 因为 ttt nS +=h,所以只要知道 )(),( jiijjiij nnErSSER == 及信号与噪声的互相关
)( jinSE,就可以从 （ １１,２７ ） 求得系数 ic 们,最简单情形是假定信号与噪声是不相关的,
即 ),(,0)( NjinSE ji ≤?=,这是在实际中最常见的情形,
8,2 K alman - Bucy 滤波
背景 在观测信号中混有噪声干扰时,就要利用信号本身的规律 去过滤掉噪声,这就是滤波问题,最简单的信号模型是 AR(p) 模型
nini
p
i
n w+=?
=
∑ xax
1
,(11,28)
它称为 状态方程,在很多情形下 nx 们无法直接测量,而能实测到的是由 }0:{ ≥nnx 在空间传播的方式与随机噪声 nv 决定的,假定信号是通过多个通道接收的,而且到达各接收点时间与强度并不一致,这样,汇总而接收到 的测量值,并不是信号 nx,而是信号的现在值与它过去的值的不同权重的滑动和再加上随机噪声,
njnj
p
j
vh +?
=
∑ x1
0
,
我们把它记为 nh,即
njnj
p
j
n vh +=?
=
∑ xh 1
0
,(11,29)
它称为 量测方程,
状态方程与量测方程就构成了 Kalman - Bucy 模型的核心,在内涵上它比如下的 Wiener 模型
307
nnn v+= xh
更为广泛,而在应用中则更为切合实际,,所谓 Kalman － Bucy 滤波,就是通过状态方程
∑
=
+=
P
i
ninin wa
1
xx
和量测方程
∑?
=
+=
1
1
P
j
njnjn vh xh,
由量测来 }{ nh 估计 }{ nx,显见,AR 模型可以看成 Kalman - Bucy 模型的特例,
Kalman - Bucy 模型 与滤波的一般形式
为了数学表述与实际应用的方便,我们需要把模型改写为矩阵形式,(11.28) 和 (11.29) 这两个方程可以写成如下的向量形式
+?
1
1
pn
n
n
x
x
x
M
=
01
01
21
OO
L paaa
pn
n
n
x
x
x
M
2
1
+
0
0
M
nw
,
=nh ),,,( 110?phhh L
+?
1
1
pn
n
n
x
x
x
M nv+,
我们可把上述两个方程推广地记为
nnn wxFx
rrr Γ+=
1 (11,30)
nnn vxHy
rrr +=,(11,31)
( 且矩阵 F 无特征值在 1|| ≤z 中 ),在我们最初引入的 Kalman - Bucy 模型中,nnn vw h,,都是一维的随机变量,Γ 是 1×p 矩阵,H 是 p×1 矩阵,把它们写成向量的形式后,就可以推广为,
nx 为 p 维向量值 随机 过程,nw 为 r 维向量值 随机 过程,ny,nv 为 m 维向量值 随机 过程,
F 为 pp × 矩阵,Γ 为 rp × 矩阵,H 为 pm × 矩阵,而 nn vw,都是均值为 0 的,相互独立的白噪声列 （ 即独立同分布列 ）,且相互独立,其方差矩阵分别记为
QwwE Tnn =)(,RvvE Tnn =)(,(11,32)
其中右上角的 T 表示矩阵的转置运算,这里 }{ nx 是代表信号 ( 随机的 ) 状态列,而 }{ ny 是得到 }{ nx 的信息的 ( 随机的 ) 观测列,}{ nv 是观测误差列,以上的描述给出了 Kalman - Bucy 模型,两个方程分别称为状态方程和量测方程,这样推广了的向量模型包含了 ),( qpARMA,对
此只需取
1+= qm,
=
qn
n
n
nw
e
e
e
M
1,
=Γ
00
00
10
LL
MM
LL
L qbbb
,mIQ 2s=
308
即可,其中 mI 为表示 m 阶单位矩阵,
Kalman - Bucy 建立这个模型的目的,是用量测到的 nyr 来递推地估计测量不到的状态 nxr,
记状态 nxr 的估计为 nx?,Kalman - Bucy 滤波就是要从观测列 }{ ny 出发,递推地对 }{ nx 作估计,
即 利用对 1?nxr 的估计,记为 1nx,及 ny 得到 nxr 的估 计 nx?,其原则是,在已知 1nx 时,选取矩阵 BA,使方差矩阵
)](([ 1 nnnn yBxAxE +?=
))]([ 1 Tnnn yBxAx + 最小,
其中的最小的含义是在非负定对称矩阵的意义下理解的 ( 即对非负对称矩阵 21,CC,如果
21 CC? 仍为非负定,则称为 21 CC ≥ ),在确定了最佳的 BA,以后,就取
nnn yBxAx
r+=
1
作为对 nxr 的估计,}?{ nx 称为 }{ nxr 的滤波列,从 }{ ny 得到滤波列 }?{ nx 的装置,就称为
Kalman - Bucy 滤波器,
注意到 n? 是 A与 B 的,二次式,,所以可以由,配平方,方法可以求得 n? 的最小值,
这个做法的思想很简单 （ 只需小心地注意不要把矩阵乘法的次序弄错 ）,写起来却有些繁琐,
所以我们略去推导而直接写出以下的结论
定理 １１,２６ 对于 Kalman - Bucy 滤波模型 （ 11.30 ）,(11.31),最佳线性滤波为
nnn yBxAx
r+=
1,
FBHIA )(?=,nTnTn KRHHHB
=+ΠΠ= 1)(,
其中
TT
nn QFFP ΓΓ+=Π?1,]))([(
^^ T
nnnnn xxxxEP=
,
nP 是滤波的方差矩阵的估计,
按照 Kalman - Bucy 滤波中的习惯,我们把 B 改记为 nK,那么
FHKIx nn )(
^
= nnn yKx +?1
^
F= )( 1
^
1
^
+ nnnn xHFyKx,(11,33)
所以 nK 称为 （ 噪声 ） 增益系数,它是量测方程所作的贡献所产生的系数,
［ 注 ］ Kalman-Bucy 模型可以是非时齐的,即状态方程与量测方程不是常系数,而是依赖于时间 n
的情形,此时的滤波公式也只需在 （ １１,３３ ） 作相应的改变即可,而对于如下的一维非时齐 Kalman
－ Bucy 模型
nnnnn wbXaX +=+1,
nnnnn vdXcY +=,
其 Kalman-Bucy 滤波公式则可以化为
)( 1
^
12
2
1
^
1
^
+= nnnn
n
nnn
nn XacYd
cXaX
,
其中
1
2
2
12
1
2
1
2
1
2 ])[(
++=
n
n
nnnn d
cba ss
,
而 1
^
1
= nnnnn XacYZ ( 00 YZ = ) 则称为 新息过程,它满足
)(0)(,0)( nmYZEZZE mnmn <==,
309
以上的 Kalman-Bucy 滤波的主要构思即是,令
nnnnn ZlXaX += 1
^
1
^
,
再归纳地确定待定的系数 nl,
由上面的介绍可见,Kalman - Bucy 滤波包容了 ARMA 模型的滤波,又 ARMA 模型的预 报,也可以作为 Kalman - Bucy 滤波的特殊情形,它对应与 1=m,1=H,0=nv )0( =R 的情形,
然而,在实际操作时,需要知道模型参数 RQHF,,,,Γ 与初值 0
^
0,xP,在此,0x 可由我们对系统的认识来给定,有时甚至可以取 00 =x,0P 的取法并不十分重要,例如,可以取初值 0x 的方差矩阵为 0P,因为在 Kalman - Bucy 滤波的理论中有一个重要定理,在 HF,Γ 满足一个相当弱的条件 ( 称为可观测条件 ) 下,当 ∞→n 时,nP 有 一个 极限 P,而且 后者 与 0P 的取法 无关,这说明只要时间充分长,特殊取的 0P 所产生的影响是可以消除的,同时,由于
PPn →,nK 也就应该趋向某个固定的 K,也就是递推进行到适当步数后,K 就可以不必再变动了,这就会减少很多计算量,
综上可以看出,在操作 Kalman - Bucy 滤波前,先必须有一个模型,或者先要拟合模型的参数,为此应该采集训练 ( 即学习 ) 模型参数 HF,Γ,RQ,的 一些数据,先用这些训练数据来估计这些参数,这样就拟合了模型,在非时齐模型情形,模型参数就不可能由训练得到,只能由物理建模得到,也可以用后面第 15 章中的 EM 算法的思想,来轮番地更改估计与滤波,最后达到同时得到模型参数与滤波的增益系数的目的,
* 9,二阶自相似时间序列与长程相关性
9,１ 统计自相似性
定义 １１,２６ （ 自相似过程 ）
随机过程 }{ tx 称为 指数为 H 的 (统计 )自相似过程,如果存在 0>H,使对于任意 0>a,过程 }0:{ ≥? ta atHx 的有限维分布族不依赖于 参数 a,
例 １１,２７ (稳定过程 )
时齐的独立增量过程 tx 中,有很特殊的一类,称为 a 阶稳定过程 ( )20( ≤< a,其特征函数有以下形式
)(lylx ti eEe t?=,（ １１,３４ ）
其中
alb
l
l
sly ||)||
1()(
2 i+?=,( 20 << a ),或
2
2
1)( l
sly?= (相当于 2=a ),
由定义易见,a阶稳定过程是 a1=H 的统计自相似过程,a 阶稳定过程都是有分布密度的随机过程,但是除了 2,1,21=a 等特殊情形以外,它们的分布密度一般都较为复杂,使用中也 不很方便,
如果 1,0,21 2 ==≤≤ sba,则称为 a 阶 ( 标准 ) 对称稳定过程,此时有
310
allx ||ti eEe
t?=,（ １１,３５ ）
对称稳定过程 有 Markov 性,其 条件 分布函数 )|( xyP sst =≤+ xx (称为转移 (分布 )函数 ) 具有如下的 条件分布密度 ( 称为 转移密度 )
duuxyJueyxtp tu )|(|
)2(
1),,(
2
12
1
02
1
2?=
∞
∫
a
p
,（ １１,３６ ）
(在 d 维情形时
duuxyJueyxtp d
d
tu
d )|(|
)2(
1),,(
12
2
02
2?=
∞
∫
a
p
,
其中 )( zJ p 为 p 阶 Bessel 函数,
∫∑?=++Γ+Γ?= +
∞
=
JJdezpkkzJ ziSkp
k
k
p d
|cos|2
0
1)2()1()1(
)1()(,
dtetu tu
∞
∫=Γ 1
0
)(,mS 为 m维球面 ),
2 阶 对称 稳定过程就是 Brown运动,1阶 对称 稳定过程也称为 Cauchy 过程,Cauchy 过程的转移 密度 为
])[(),,( 222 txy
tyxtp
sp
s
+?
=,
其数学期望为 ∞,在第 3 章中,从 0 点出发的 Brown 首次达到 )0(>x 的时刻 xt,是一族依赖于
x 的随机变量,把 x改写为 t 后,就可以证明 }0:{ ≥ttt 是一个 21 阶 (非对称的 )稳定过程,
例 １１,2 ８ (分数 Brown 运动 FBM 与分数 Brown场 )
Gauss 过程 }0:{ ≥ttx 称为 指数为 a 的分数 Brown 运动 (FBM,Fractional Brownian Motion),
( 20 <<a ),如果 00 =x,0=tEx,且
)||(21)( aaaxx tstsE ts+=,（ １１,３７ ）
容易检查它是指数为 2a=H 的自相似过程,当 1=a 时,右边等于
),min(2 || tststs =+,
这说明 指数为 1 的分数 Brown 运动就是 Brown 运动,
311
[注 ] 物理学家有兴趣于 指数为 a 的 d 维分数 Brown 场,( 或 Levy 的 Brown 场 ),它是 带有 d 维位置 参数的 Gauss 系 }:{ dx Rx ∈x,( 20 << a ),满足 00 =sx,0=xEx,且
)|||||(|21)( aaaxx yxyxE yx+=,
若把 xx 视为在地点 )( dRx ∈ 上的随机载荷,则两点之间的载荷差的统计规律只依赖与此两点间的距离,
)||,0(~ axx yxNyx,
这称为空间齐次性,当 1=a 且 0≥t 时,它就是 指数为 1 的分数 Brown 运动,即普通的 Brown 运动,
9,２ 二阶自相似性
定义 １１,２９ 宽平稳过程 }{ tx 称为 二阶 (统计 )自相似的,如果存在 0>H,对于任意
0>a,有
tat
H EEa xx =?,)()(2
tsatas
H EEa xxxx =?,（ １１,３８ ）
H 称为 二阶自相似指数 (或 Hurst指数 ),
平稳的自相似过程是二阶自相似的,具有二阶矩的平稳过程,只要是自相似过程,就是二阶自相似过程,
定义 １１,３０ 数学期望为 0,且具有谱密度 )(lf 的宽平稳序列 }{ tx,称为 渐近二阶自相似的,如果在 k 充分大时,其相关函数满足
)(~)( 2 kRmmkR H,（ １１,３９ ）
例 １１,３１ (分数 Brown 运动的离散采样列的差分列 － 分数 Gauss 噪声序列 (FGN ))
设 }0:{ ≥ttx 是指数为 a 的分数 Brown 运动,nnn xxh?= +1,我们来证明 }1:{ ≥nnh 是二阶自相似序列,事实上,其自相似性继承自 }0:{ ≥ttx 的自相似性,再证它是宽平稳的,对于任意 n有
=2nEh )])([( 11 nnnnE xxxx ++ )(2)()( 122 1 nnnn EEE xxxx ++?+=
a)1( += n an+ ]1)1[(?++? aa nn 1= ;
又在 1≥k 时有
=+ )( nknE hh )])([( 11 nnknknE xxxx ++++
)()()()( 1111 +++++++++= nknnknnknnkn EEEE xxxxxxxx
])1()1[(21 aaa knkn?++++= ])[(21 aaa knkn?+++
312
])1()1[(21 aaa +?+++? knkn ])1()1()[(21 aaa+++? knkn
]2)1()1[(21 aaa kkk++=,(11,40)
可见 }1:{ ≥nnh 是二阶自相似序 列,称为 分数 Gauss 噪声序列 (Fractional Gaussian Noise),
［ 注 ］ 随机过程 }{ tx 称为 广义 (统计 )自相似的,如果对于任意 0>l,存在 ll bc,0>,使过程
}0:{ ≥+ tbc t lllx 与过程 }{ tx 有相同的有限维分布族,此时 ll bc,分别称为此广义自相似过程的尺度系数与 位置参数,显见统计自相似过程是它的特例,广义之相似过程又称为 半稳定过程,
9,３ 长程相关性
定义 １１,３４ 宽平稳时间序列 }{ nx 称为 长 程相关的,如果其相关函数列
))()(()},({ nmnEnRnR += xx 满足,当 ∞→n 时存在一个在 ∞ 附近慢变的 非负 函数 )(xL,即满足 )0(1)( )(lim >=
∞→
xtLtxL
t
的函数,使
<<?
<<
)21()(
)10()(
~)(
b
b
b
b
n
nL
n
nL
nR,（ １１,４１ ）
在 具有渐近地正的相关函数的 情形,长程相关的 直观含义为,宽平稳随机序列 的 相关函数 列是 不可和的,即
∞=∑
k
nR )(,
这表示当 ∞→n 时相关函数 )(nR 趋于 0 的 速度 非常慢,故而称 之 为 长 程相关,但是,对于具有渐近地负的相关函数的宽平稳随机序列,长 程相关性 只要求其 相关函数 列 )(nR 趋于 0,这 时的 内涵 较为 复杂,我们不予 细究,事实上,定义 11.34 是以下面例 11.35 的分数 Gauss 噪声序列为背景而 概括 出 的,
例 １１,３５ ( 分数 Gauss 噪声序列 )
设 }0:{ ≥ttx 是指数为 a 的分数 Brown 运动,而 )( 1 nnn xxsV?= +,则由上面可知
}1:{ ≥nnV 是二阶自相似过程,由 (11,40),当 k 充分大时,其 相关函数序列
]2)1()1[(2)()(
2
aaasVV kkkEkR
knn++== +
]2)11()11[(2
2
++= aaas kkk 2
2
)1(2≈ aaas k,
可见 此时间序列是长程相关 的条件为 1>a ( 这是渐 近 正相关的情形 ),或 10 << a ( 这是渐近负相关的情形 ),又由 Gauss 性,在稳定情形 (即 n 充分大时 ),此随机序列 的统计特征 就 由其方差
313
2s 和 自相似指数
2
a=H 完全确定,
有了这两个可以自由选取的参数,就可能用这种类型的二阶自相似序列,来拟合一些看起来具有自相似机理的随机数据列,对于 长程相关的随机数据列在拟合时,就要选取 21>H,在应用领域中,人们常用 频谱密度方法,非负函数 ]2,0[(),( pll ∈f ) 称为宽平稳列的 谱密度,如果其相关函数列可以表 为 (此时必须有 0)(lim =∞→ kRk )
lll
p
dfekR ik )()(
2
0
∫=,（ １１,４２ ）
分数 Gauss 噪声序列 }1:{ ≥nnV 的谱密度是由 Taqqu 等人求出的,其表达式为
1|2|)cos1)(1()2sin(2)(
∞
∞=
+?+Γ= ∑ alplapal nf
n
在应用领域中,有一部分人认为汇率的变化,股票的收益率 (将其对数的差分列,拟合为分数
Gauss 噪声序列 ) 具有长程相关性,这种认知与用 Black-Scholes 模型来描述汇率的变化,或 股票的收益率恰好相反,因为后者 具有 Markov 性,因此 就不会长程相关,其实,实际问题 非常复杂,用什么模型拟合建模,完全是各显所长,用那种模型可以得到较好的近似,需要进行多方面的比较,总结经验,
不断修正模型,当然也有不少的偶然性,
关于分数 Gauss 噪声序列,可以参见 W,Leland,M,Taqqu,W,Willinger,D,Wilson 的文章 On
the Self-similar Nature of Ethernet Traffic,IEEE/ACM Trans,Networking,Vol,2,No,1,1994,
例 １１,３６ (分数 (积分 )ARMA模型 )（ FARIMA）
平稳 Gauss 序列 }{ nx 称为 分数 ARMA 模型,或 FARIMA(p,d,q),如果它具有谱密度
22
2
|)(||1|
|)(|)(
ll
l
l idi
i
eAe
eBCf
=,（ １１,４３ ）
其中 2121 <<? d,多项式 ppnn azazazzA= 111)( L 在 1|| ≤z 无零点,
nn bzbzbzzB ++++=
1
1
1)( L,它等价于,,))(( n
d
n BI xh?=
为 ARMA(p,q),B 为向后平移运算,1?= nnB xx,dBI )(? 为分数次差分运算,
kk
k
d B
k
dBI )1()(
0
=? ∑∞
=
,（ １１,４４ ）
k
d 为广义组合数,
!
)1()1(
k
kddd
k
d +=
L,在 M.S.Taqqu,V.Teverosky,W.Willinger 的文章 Estimate for Long-Range Dependence,an Empirical Study (Fractals,Vol,3,No,4,785-798,1995)
中,指出了 FARIMA(0,d,0) 模型在 210 << d 时,是长程相关的宽平稳时间序列,其相关函数有
dkkR 21
1~)(
a,
314
因此也是渐近二阶自相似的,在作 FARIMA(0,d,0) 模型拟合时,一共只有 dC,两个参数,由于这个模型 的谱密度较为简单,即
d
Cf
2|
2sin2|
)( ll =,
于是在建模时可以通过观测序列的谱密度估计来估计此两个参数,
长程相关性可以用 R /S 统计量作统计检验,
定义 １１,３７ 假设现有观测样本序列 { } nkX k L,2,1,=,记其样本均值为
∑
=
=
n
k
kn XnX
1
1,
样本方差为
∑
=
=
n
i
nin XXnS
1
22 )(1
再记
）（ nkXkXXW nkk ≤≤?++= 1)( 1 L,
统计量
n
nn
n S
WWWWWWQ },,,min{},,,max{ 2121 LL?=?
（ 11,45）
称为 R/S 统计量,
在 数量经济中常见的时间序列 }{ nX 常存在下述极限,
]1[lim
])(1[lim
1
2
1
2
2
∑
∑
=∞→
=∞→?=
n
j
jn
n
j
jn
XnE
XnE
g,
在矩满足某些条件下,如果作
零假设,}{ nX 非长程相关,
人们证明了在此零假设下,存在随机变量 h,使
n
Qn 依分布收敛到 gh,而且 h 分布函数为
2)(2
1
22 )41(21)( kx
k
exkxF?
∞
=
∑?+=h,
此分布是非对称的,25.12 ≈= phE,6
2
2 ph =E,27.0≈hVar,而 h取值的大部分都落在 3 ／ 4
和 2 之间,在 给定的 显著水平 a 下,用 h 的 a 截尾概率 ( 例如,右截尾 ) 的位置,就得到检验的临界值,此值
315
可由 hF 的表达式,或通过临界值的表得到,如果否定了零假设,那就说明样本数据来自长程相关随机序列,
可是 g 的计算非常困难,而且 R/S 统计量在时间尺度太小或太大时估计误差明显,
在汇率等一些时间序列数据中,有人用其对数数据,在分数 Gauss 噪声序列或 FARIMA(0,d,0) 的假设下,
用 R/S 统计量检验非长程相关的零假设,如否定则就认为有长程相关性,
对于有长程相关的时间序列,预 报 与滤波都没有多大意义,例如,有少数大户操纵的且有大量散户的股票的价格,常常具有长程相关性,这时,预报 它 的价格走向很少有意义,
一般地,把长程相关性的构图与某种机制 （ 例如说,心脏的某种状态或疾病 ） 联系起来,但是,在渐近正相关的情形,用有限长度的数据来判别不可和性是十分困难的,这就说明了,用 R/S 统计量作检验时错误概率会很大,在水文学,气象学,地质学中,人们发现了很多长程相关的机制,
* 10 非线性 AR 模型与二重 ARMA模型 简介
10,1 非线性 AR 模型
定义 11,38 如果对于随机序列 nx,存在函数 j 满足递推关系
npnnn h exxx += ),,( 1 L,（ １１,４６ ）
则 nx 称为 p 阶非线性 AR 模型 (Non Linear AR,NLAR),其中 ne 是白噪声序列,
≠
===
)(0
)(1)(,0
mn
mnEE
mnn eee,
如果 ne 还是独立同分布的随机序列,则
=
+?
1
1
pn
n
n
n
x
x
x
h M 是时间离散状态连续的 Markov链,
对于模型 （ １１,４６ ）,有下面简洁的 收敛 定理,
定理 11,39 （ 安 － 黄,1996） 设 ne 独立同分布,有正的分布密度 0=nEe,12 =nEe,
ne 与 },,{ 01 xx L?n 独立,函数 h满足
)||||),,,((||)(||)( 1
1
Ryyyyyoyayh pii
p
i
>=+= ∑
=
L （ １１,４７ ）
( 221|||| pyyy ++= L ),且 ii
i
yayh ∑?)( 在任意有界集上有界,又多项式
=)(zA pppp zazaza 1111 L 在 1|| ≤z 无零点,那么,对于下述非线性 AR模型
npnnn h exxx += ),,( 1 L
316
所定义的 Markov 链的 n 步转移函数 )|(),( 0)( xPxP nn =Λ∈=Λ xx,存在 分布函数 )(xF 及
10 << r 使 任意 Borel集合 Λ,均有
0|)(),(|1 )( →Λ?Λ Fxpr nn,（ １１,４８ ）
［ 注 ］ 事实上,这里 能得到的收敛性要更强得多,即谓全变差收敛,并称此 Markov链是 几何遍历 的,我们在本书中不再解释全变差收敛的概念,
还有一个很容易验证的充分条件,这就是 下面的定理,
定理 １１,４ 0 将定理 １１,39 中的关于函数 h 的条件改为,
存在 0,10 ><< Cr,使
Cxxxh iip +≤ ||max|),,(| 1 rL （ １１,４９ ）
（ 或存在 0>R 使 )||(||||max|),,(| 1 RxCxxxh iip >+≤ rL ）,则 （ １１,４８ ） 成立,
作为定理 １１,39 或者定理 １１,40的直接推论,我们有
推论 １１,41 （ Bhattachaya-Lee,1995） 设 ne 独立同分布,有正的分布密度,
1,0 2 == nn EE ee,ne 与 },,{ 01 xx L?n 独立,h 为局部收缩型线性增长,存在 0,,,1 >paaR L,
满足
)||||),,,(,1(,|||),,(| 1
1
1 RxxxxaCxaxxh pi
i
ii
p
i
p >=<+≤ ∑∑
=
LL,（ １１,５０ ）
那么,下述非线性 AR模型
npnnn h exxx += ),,( 1 L
所定义的 Markov 链的 n 步转移函数 )|(),( 0)( xPxP nn =Λ∈=Λ xx,存在 分布函数 )(xF 及
10 << r 使 任意 Borel集合 Λ,均有
0|)(),(|1 )( →Λ?Λ Fxpr nn,
推论 １１,４ 2 若 ne 同定理 １１,39,),,( 1 pxxh L 有界,则 （ １１,４７ ） 成立,
对于 几何 遍历的 Markov 链 nx,记其概率不变分布为 )(xF,于是有 Markov链 nx 的 遍历定理,即 不管 Markov链 nx 的初始值是什么,对于任意有界 Borel函数 f,恒有
1))()())()((1(lim 1 ==++ ∫++∞→ dxFxfffNP NppN xx L,
特别地,对于任意 Borel 集 Λ,有
1))())()((1(lim 1 ==++ ∫
Λ
+Λ+Λ∞→ dxFIINP NppN xx L,（ １１,５１ ）
即在系统达到稳定以时,Markov 链落在集合 Λ的概率近似地等于它在沿轨道出现的频率,
例 １１,４ 3 （ 门限 AR 模型,TAR）
设有延迟参数 d,pdl ≤≤,及门限参数 ∞=<<<=∞? +11 ll rrr L,而
ndnrrpnpinii
l
i
n kkIaaa exxxx ++++=?+
= +
∑ )()( ],1,11,0,
1
（L,（ １１,５２ ）
其中 ne 独立同分布,有正的分布密度,1,0 2 == nn EE ee,ne 与 },,{ 01 xx L?n 独立,那么,只要
317
1|max
1
<= ∑
=
｜ij
p
j
i ar,
定理 １１,４１ 的条件就满足,从而 Markov 链 nx 是几何遍历的,
10,２ 非线性 AR模型的常见例子
用非线性 AR 模型建模,大体可以出现以下数种情形
１,参数模型 ； 例如
（ １ ） 分片线性 AR 模型,
npnnpnpinii
l
i
n iIaaa exxxxx ++++= ++
=
∑ ),,()( 111,11,0,
1
LL,（ １１,５３ ）
（ 空间 pR 分为 m 个两两不交的区域 mΛΛ,,1 L,其中 1Λ 无界,而 mΛΛ,,L２ 都有界 ）,模型参数为 )0,(,pklia ki ≤≤≤,
（ ２ ） 拟线性 AR 模型,
npnnii
l
i
n faa exxx ++= +
=
∑ ),,( 11
1
0 L,
其中 )( lif i ≤ 是已知函数,模型参数是 paa,,0 L,
（ ３ ） 指数 AR 模型,
nknkk
p
k
n
knebaa exx gx +++=
=
∑ )(
2
1
0,
模型参数是 pp bbaa,,,,,10 LL,
（ ４ ） 分式 AR 模型,
n
pnn
pnn
n Q
P e
xx
xxx +=
),,(
),,(
1
1
L
L,
模型参数是分子与分母两个多项式的系数,
（ ５ ） 双线性 ARMA 模型,
jnknkj
q
j
p
k
jnj
q
j
knk
p
k
n cba
==
=
=
∑∑∑∑ ++= exexx
1111
,
对于参数模型,),,( 1+= pnnn xxh L 是 M arkov 链,首先要加条件使它有不变分布,然后,在此条件下估计模型参数,
318
２,非参数模型 一般的模型如 （ １１,４６ ）,其中 h 是未知的待估函数,可以参照统计中的核估计方法,找出估计它的方法作为建模 （ 但是还需要保证 Markov 链有遍历性 ）,
模型 （ １１,４６ ） 有以下的几种向随机条件方差的推广 （ 其中也包括了一些半参数模型 ）,
（ １ ） 非线性 ARCH 模型,
npnnn exxjx = ),,( 1 L,),,( 1 qnnnn hu= eee L,nu 是白噪声,
（ ２ ） 非线性 GARCH 模型,
npnnn exxjx = ),,( 1 L,nnn hu=e,
其中 ),,,,,( 11 rnnqnnn hhgh= LL ee,g,j 是待估的模型函数,最常见的 情形 是 辅以以下的参数模型 （ 即成为半参数模型 ）
rnrtqnqnn hbhbaaah ++++++= LL 11
22
110 ee ),0,0,( rjqiba ji ≤≤≤≥,
可以证明此种非线性 G ARCH 模型的几何遍历的条件为 11 <++ qaa L （ 参见 ［ A ］）,有时觉得此条件的限制过大,相应地有 下面的一类半参数模型
（ ３ ） 非线性?b GARCH 模型,
npnnn exxjx = ),,( 1 L,nnn hu=e,
22 22
11
22
110
bbbb ee
rnrnqnqnn hbhbaaah ++++++= LL
１１
)10,10,,0,0,( 21 ≤≤<≤≤≤≤≥ bbrjqiba ji,非线性?b ARCH 模型 类似,
（ ４ ） 函数型随机条件方 差非线性 AR 模型,
npnnn u+= ),,( 1 xxjx L ),,( 1 pnnS xx L （ nu 是白噪声 ）,
常见的非参数模型还有
（ ５ ） 可加 AR 模型,
nknk
p
k
n ha exx ++=?
=
∑ )(
1
,
其中 )( pkhk ≤ 是未知的待估函数,
（ ６ ） 函数系数 AR 模型,
319
nknknk
p
k
n ha exxx ++=
=
∑ )(
1
,
３,半参数模型,一般形式为
npnnn h eJxxx += ),,,( 1 L,
除了 ２,中的 （ ３ ） 是半参数模型以外,还有,例如
（ １ ） 广义线性 AR 模型,
nknk
p
k
n ah exx +=?
=
∑ )(
1
,
这里待估的既有未知参数 paa,,1 L,又有未知函数 h,
（ ２ ） 加法半参数 AR 模型,
npnnknk
p
k
n haa exxxx +++=
=
∑ ),,( 1
1
0 L,
（ ３ ） 逆 AR 模型,
）nknk
p
k
n ah exx +=?
=
∑
1
(,
关于随机条件方差模型的几何遍历性,有以下定理
定理 １１,４ 4 对于函数 型随机条件方差非线性 AR 模型
npnnn u+= ),,( 1 xxjx L ),,( 1 pnnS xx L （ １１,５４ ）
满足
（ １ ） nu 独立同分布,有正的分布密度,1,0 2 == nn EuEu,nu 与 },,{ 01 xx L?n 独立 ；
（ ２ ） )||||),,,((||)(||)( 1
1
Ryyyyyoyay pii
p
i
>=+= ∑
=
Lj
且 ii
i
yay ∑?)(j 在任意有界集上有界,=)(zA pppp zazaza 1111 L 在 1|| ≤z 无零点 ；
（ ３ ） 在任意有界集上 ),,( 1 pxxS L 有上界与非 ０ 的下界,而且
)(||)(||),,()( 1 ∞→==? xxoxxSxS pL,（ １１,５５ ）
那么 nx 是几何遍历的,
320
例 １１,４ 5 作为定理 １１,44 的直接推论,?b ARCH 模型
nnn hu=e,
bb ee 22
110 pnpnn aaah +++= L
)10,0,0( <≤≤≤≥ bpiai 是几何遍历的,
［ 注 ］ 对于 ARCH 模型 nnn hu=e,22 110 pnpnn aaah +++= ee L
)0,0( piai ≤≤≥,定理 11.44 的方法并不适用,但是可以利用 Markov 链中著名的 Tweedie 定理 （ 相当于常微分方程中的用 Lyapunov 函数得到收敛性的随机版本 ）,可以直接证明,当 11 <++ paa L 时 ne 是几何 遍历 的,这正是本章第 6 节 中 作参数估计时所要求的前提,
10,３ 二重 ARMA 模型
如果 ARMA 模型中的参数序列不是常数,而是随机变量序列,并且也是一个 ARMA 模型,则就成为 二重 ARMA 模型,也称 ARMA - ARMA 模型,一般地,用这种模型建模过于复杂,所以在应用中常见的是 AR(1) - AR(1),AR(1) - MA( q ) 等较为简单的情形,
AR(1) - AR(1) 模型是
nnnn aa exhx +++=?110 )(,nnn vb +=?1hh,
其中 }{},{ nn ve 是相互独立的独立同分布随机序列,这种模型的拟合,需要估计 ５ 个参数,
)(),(,,,10 nn vVarVarbaa e,
AR(1) - MA( q ) 模型是
nnnn aa exhx +++=?110 )(,qnqnnn vbvbv +++= L11h,
其中 }{},{ nn ve 是相互独立的独立同分布随机序列,这种模型的拟合,需要估计的参数为,
)(),(,,,,,110 nnq vVarVarbbaa eL,
对于 AR(1) － MA (1) 模型的 Markov 链 nx 具有不变分布的条件可参考 ［ A ］,
习题 １１
１,设 tx 是轨道为 t 的连续函数的 Gauss过程,),(),(),( tsRCovtmE tst == xxx,)(tG 是单调递增函数,如果存在随机变量 th,使 ∞<)( tVar h,而且当 0)(max )()( 1 → ∞→+ nninii tt 时有
0|)](()([| 2)()(1)( →∑ + tni
i
n
it tGtGE ni hx,
这里 }{ )(nit 是半开区间 ],0( t 的一个划分,那么,定义 t
t
s sdG hx =∫0 )(,证明 th 也是 Gauss 过程,再求 ),(,tst CovE hhh,
２,设 tt hx,是相互独立的 Gauss过程,证明 tt hx + 也 是 Gauss过程,
321
３,设 tt hx,是 宽 平稳 过程,而且平稳相关,即 ),( tsCov hx 只与 st? 有关,证明 tt hx + 也是 宽平稳 过
程,
４,设 tx 是轨道为 t 的连续函数的 Gauss 过程,),(),(),( tsRCovtmE tst == xxx,)(tG 是任意单调递增函数,Gauss 过程 tx 的特征泛函 定义 为
)(
0)(
sdGi s
t
EeG
x
x
∫=Φ
,
由 此 特征泛函的显式表示,对于 ttt << 21,取 (t)ItItG tt ],0(2],0[1
21
)()(?+?= JJ,用 以得到
),(
21 tt
xx 的联合特征函数 )(21,2211
21
),( xJxJxx JJj += iEe 的显式表示,
５,设 tx 如题 1,对于 ttttt <<<< 4321,求 )(
4321 tttt
E xxxx,
６,设 2121,,,JJhh 是相互独立的随机变量,而 )()( 222111 JlhJlhx +++= tCostCost,
）（ ２１ ll ≠,问 tx 是否是平稳过程？ 什么时候是宽平稳？ 推广此结论,
７,复随机过程 titit ee 21 21 ll hhx +=,（ ２１ ll ≠,21,hh 相互独立 ）,问 tx 是否是宽平稳？ 推广此
结论,
８,设 tx 是平稳过程,问 tst xxh = 是否为平稳过程？
９,对于 AR 模型 npnpnn aa exxx = L11,证明它有形式 为 2|)(|)( ll ieACf １= 的谱密度,
其中多项式 pppp zazazazA= 111)( L１ 在 1|| ≤z 内 无零点,
１０,对于 MA 模型 qnqnnn bbb +++= eeex L110,证明它有形式 为 2|)(|)( ll ieBCf = 的
谱密度,
１１,对于 ARMA 模型 qnqnnpnpnn bbbaa +++= eeexxx LL 11011,其中多项式
p
p
p
p zazazazA=
1
111)( L 在 1|| ≤z 无零点,证明它有形式 为
2
2
|)(|
|)(|)(
l
l
l i
i
eA
eBCf = 的谱密度,
１２,设 ne 独立同分布,有正的分布密度,1,0 2 == nn EE ee,ne 与 },,{ 01 xx L?n 独立,函数 h 在
任意有界集上有界,且 )||(||||)(||)( ∞→= xxoxh,证明由
++++= pnpnn aaa xxx,,110 L npnnh exx + ),,( 1 L
确定的 Markov 链在 pppp zazazazA= 1111)( L 在 1|| ≤z 内 无零点 时 为 几何遍历,
１３,给出 分片线性 AR 模型 npnnpnpinii
l
i
n iIaaa exxxxx ++++= ++
=
∑ ),,()( 111,11,0,
1
LL
（ 设 ne 同题 １２,而 空间 pR 分为 m 个两两不交的区域 mΛΛ,,1 L,其中 1Λ 无界,而 mΛΛ,,L２ 都有界 ） 几何遍历的条件 （ 用模型参数为 )0,(,pklia ki ≤≤≤ 描述 ）,
