§ 9.2 随机时间序列分析模型
一、时间序列模型的基本概念及其适用性
二、随机时间序列模型的平稳性条件
三、随机时间序列模型的识别
四、随机时间序列模型的估计
五、随机时间序列模型的检验
? 经典计量经济学模型与时间序列模型
? 确定性时间序列模型与随机性时间序列
模型
一、时间序列模型的基本概念及其适用性
1、时间序列模型的基本概念
随机时间序列模型 ( time series modeling) 是指仅用它的
过去值及随机扰动项所建立起来的模型, 其一般形式为
Xt=F(Xt-1,Xt-2,…,?t)
建立具体的时间序列模型, 需解决如下三个问题,
(1)模型的具体形式
(2)时序变量的滞后期
(3)随机扰动项的结构
例如, 取线性方程, 一期滞后以及白噪声随机扰动项 ( ?t
=?t), 模型将是一个 1阶自回归过程 AR(1):
Xt=?Xt-1+ ?t
这里, ?t特指 一白噪声 。
一般的 p阶自回归过程 AR(p)是
Xt=?1Xt-1+ ?2Xt-2 + … + ?pXt-p + ?t (*)
(1)如果随机扰动项是一个白噪声 (?t=?t),则称 (*)
式为一 纯 AR(p)过程 ( pure AR(p) process), 记为
Xt=?1Xt-1+ ?2Xt-2 + … + ?pXt-p +?t
(2)如果 ?t不是一个白噪声, 通常认为它是一个 q
阶的 移动平均 ( moving average) 过程 MA(q):
?t=?t -?1?t-1 -?2?t-2 -? -?q?t-q
该式给出了一个 纯 MA(q)过程 ( pure MA(p)
process) 。
将纯 AR(p)与纯 MA(q)结合,得到一个一般的 自回归移动
平均( autoregressive moving average)过程 ARMA( p,q),
Xt=?1Xt-1+ ?2Xt-2 + … + ?pXt-p +?t -?1?t-1 -?2?t-2 -?-?q?t-q
该式表明:
( 1) 一个随机时间序列可以通过一个自回归移动平均过
程生成, 即该序列可以由其自身的过去或滞后值以及随
机扰动项来解释 。
( 2) 如果该序列是平稳的, 即它的行为并不会随着时间
的推移而变化, 那么我们就可以通过该序列过去的行为
来预测未来 。
这也正是随机时间序列分析模型的优势所在 。
? 经典回归模型的问题:
? 迄今为止, 对一个时间序列 Xt的变动进行解释或预测,
是通过某个单方程回归模型或联立方程回归模型进行的,
由于它们以因果关系为基础, 且具有一定的模型结构, 因
此也常称为 结构式模型 ( structural model) 。
? 然而, 如果 Xt波动的主要原因可能是我们无法解释的因
素, 如气候, 消费者偏好的变化等, 则利用结构式模型来
解释 Xt的变动就比较困难或不可能, 因为要取得相应的量
化数据, 并建立令人满意的回归模型是很困难的 。
? 有时, 即使能估计出一个较为满意的因果关系回归方程,
但由于对某些解释变量未来值的预测本身就非常困难, 甚
至比预测被解释变量的未来值更困难, 这时因果关系的回
归模型及其预测技术就不适用了 。
2、时间序列分析模型的适用性
例如, 时间序列过去是否有明显的增长趋势, 如果增长
趋势在过去的行为中占主导地位, 能否认为它也会在未来的行
为里占主导地位呢?
或者 时间序列显示出循环周期性行为, 我们能否利用过去
的这种行为来外推它的未来走向?
● 随机时间序列分析模型, 就是要通过序列过去的变
化特征来预测未来的变化趋势 。
使用时间序列分析模型的另一个原因在于,
如果经济理论正确地阐释了现实经济结构, 则这一结
构可以写成类似于 ARMA(p,q)式的时间序列分析模型的
形式 。
在这些情况下,我们采用另一条预测途径, 通过时间
序列的历史数据,得出关于其过去行为的有关结论,进而
对时间序列未来行为进行推断 。
例如,对于如下最简单的宏观经济模型:
这里, Ct,It,Yt分别表示消费, 投资与国民收
入 。
Ct与 Yt作为内生变量, 它们的运动是由作为外
生变量的投资 It的运动及随机扰动项 ?t的变化决定
的 。
ttt CYC ???? ???? ? 12110
ttt ICY ??
上述模型可作变形如下:
? 两个方程等式右边除去第一项外的剩余部分
可看成一个综合性的随机扰动项, 其特征依赖于
投资项 It的行为 。
? 如果 It是一个白噪声, 则消费序列 Ct就成为一
个 1阶自回归过程 AR(1),而收入序列 Yt就成为一
个 (1,1)阶的自回归移动平均过程 ARMA(1,1)。
tttt ICC ???
?
?
?
?
?
11
1
1
0
1
1
2
1
1
111 ???????? ?
ttttt IIYY ???
?
??
?
?
?
1
1
1
2
11
0
1
1
2
1
1
11
1
11 ?????????? ??
二、随机时间序列模型的平稳性条件
自回归移动平均模型 ( ARMA) 是随机时间序列分析模
型的普遍形式, 自回归模型 ( AR) 和移动平均模型 ( MA)
是它的特殊情况 。
关于这几类模型的研究, 是 时间序列分析的重点内容,
主要包括 模型的平稳性分析, 模型的识别 和 模型的估计 。
1,AR(p)模型的平稳性条件
随机时间序列模型的平稳性, 可通过它所生成的随机时间
序列的平稳性来判断 。
如果 一个 p阶自回归模型 AR(p)生成的时间序列是平稳的,
就说该 AR(p)模型是平稳的,
否则, 就说该 AR(p)模型是非平稳的 。
考虑 p阶自回归模型 AR(p)
Xt=?1Xt-1+ ?2Xt-2 + … + ?pXt-p +?t (*)
? 引入 滞后算子( lag operator ) L:
LXt=Xt-1,L2Xt=Xt-2,…,L pXt=Xt-p
(*)式变换为
(1-?1L- ?2L2-… -?pLp)Xt=?t
记 ?(L)= (1-?1L- ?2L2-… -?pLp),则称多项式方程
?(z)= (1-?1z- ?2z2-… -?pzp)=0
为 AR(p)的 特征方程 (characteristic equation)。
可以证明,如果该特征方程的所有根在单位圆外
(根的模大于 1),则 AR(p)模型是平稳的。
例 9.2.1 AR(1)模型的平稳性条件 。
对 1阶自回归模型 AR(1)
ttt XX ?? ?? ? 1
方程两边平方再求数学期望, 得到 Xt的方差
)(2)()()( 122 122 ttttt XEEXEXE ??? ?? ???
由于 Xt仅与 ?t相关, 因此, E(Xt-1?t)=0。 如果该模型稳
定, 则有 E(Xt2)=E(Xt-12),从而上式可变换为:
2
2
2
0 1 ?
??? ?
??? X
在稳定条件下,该方差是一非负的常数,从而有 |?|<1。
而 AR(1)的特征方程
01)( ???? zz ?
的根为 z=1/?
AR(1)稳定,即 |?| <1,意味着特征根大于 1。
例 9.2.2 AR(2)模型的平稳性。
对 AR(2)模型
tttt XXX ??? ??? ?? 2211
方程两边同乘以 Xt,再取期望得:
)(22110 ttXE ?????? ???
又由于
222211 )()()()( ???????? ???? ?? ttttttt EXEXEXE
于是
222110 ??????? ???
同样地, 由原式还可得到
02112
12011
?????
?????
??
??
于是方差为
)1)(1)(1(
)1(
21212
2
2
0 ?????
??? ?
?????
??
由平稳性的定义, 该方差必须是一不变的正数, 于是有
?1+?2<1,?2-?1<1,|?2|<1
这就是 AR(2)的平稳性条件,或称为 平稳域 。它是一顶点
分别为( -2,-1),( 2,-1),( 0,1)的三角形。
2
?
( 0,1 )
1?
( - 2,- 1 ) ( 2,- 1)
图 9, 2, 1 AR ( 2 ) 模型的平稳域
对应的特征方程 1-?1z-?2z2=0 的两个根 z1,z2满足:
z1z2=-1/?2,z1+z2 =-?1/?2
tttt XXX ??? ??? ?? 2211
AR(2)模型
解出 ?1,?2
21
2
1
zz??? 21
21
1 zz
zz ???
由 AR(2)的平稳性, |?2|=1/|z1||z2|<1, 则至少有一个根
的模大于 1,不妨设 |z1|>1,有
1)11)(11(11
212121
21
21 ??????
???
zzzzzz
zz??
0)11)(11(
21
??? zz
于是 | z2 |>1。 由 ?2 -?1 <1可推出同样的结果 。
对高阶自回模型 AR(p)来说,多数情况下没有
必要直接计算其特征方程的特征根,但有 一些有
用的规则可用来检验高阶自回归模型的稳定性,
(1)AR(p)模型稳定的必要条件是,
?1+?2+?+?p<1
(2)由于 ?i(i=1,2,?p)可正可负,AR(p)模
型稳定的充分条件是:
|?1|+|?2|+?+|?p|<1
对于移动平均模型 MR(q):
Xt=?t -?1?t-1 -?2?t-2 -?-?q?t-q
其中 ?t是一个白噪声,于是
2,MA(q)模型的平稳性
0)()()()( 11 ????? ? qqttt EEEXE ????? ?
? ?
2
2
1111
2
13221111
222
10
),c o v (
)(),c o v (
)(),c o v (
)1(v a r
?
?
?
?
???
?????
?????????
????
qqttq
qqqttq
qqtt
qt
XX
XX
XX
X
???
????
???????
?????
?
????
??
??
?
?
当滞后期大于 q时,Xt的自协方差系数为 0。
因此,有限阶移动平均模型总是平稳的 。
由于 ARMA (p,q)模型是 AR(p)模型与 MA(q)模型的组合:
Xt=?1Xt-1+ ?2Xt-2 + … + ?pXt-p +?t -?1?t-1 -?2?t-2 -?-?q?t-q
3,ARMA(p,q)模型的平稳性
而 MA(q)模型总是平稳的,因此 ARMA (p,q)模型的平
稳性取决于 AR(p)部分的平稳性。
当 AR(p)部分平稳时,则该 ARMA(p,q)模型是平稳的,
否则,不是平稳的。
最后
( 1)一个平稳的时间序列总可以找到生成它的平稳的随
机过程或模型;
( 2)一个非平稳的随机时间序列通常可以通过差分的方
法将它变换为平稳的,对差分后平稳的时间序列也可找出对
应的平稳随机过程或模型。
因此,如果我们将一个非平稳时间序列通过 d次差分,将
它变为平稳的,然后用一个平稳的 ARMA(p,q)模型作为它的
生成模型,则我们就说该原始时间序列是一个 自回归单整移
动平均( autoregressive integrated moving average)时
间序列,记为 ARIMA(p,d,q)。
例如,一个 ARIMA(2,1,2)时间序列在它成为平稳序列之前
先得差分一次,然后用一个 ARMA(2,2)模型作为它的生成模
型的。
当然,一个 ARIMA(p,0,0)过程表示了一个纯 AR(p)平稳过
程;一个 ARIMA(0,0,q)表示一个纯 MA(q)平稳过程。
三、随机时间序列模型的识别
所谓随机时间序列模型的识别, 就是对于一
个平稳的随机时间序列, 找出生成它的合适的随
机过程或模型, 即判断该时间序列是遵循一纯
AR过程, 还是遵循一纯 MA过程或 ARMA过程 。
所使用的工具 主要是 时间序列的 自相关函数
( autocorrelation function,ACF) 及 偏自相关函
数 ( partial autocorrelation function,PACF ) 。
1,AR(p)过程
(1)自相关函数 ACF
1阶自回归模型 AR(1)
Xt=?Xt-1+ ?t
的 k阶滞后 自协方差 为:
011 ))(( ??????? kkttktk XXE ???? ??? ?=1,2,…
因此,AR(1)模型的 自相关函数 为
kkk ???? ?? 0 ?=1,2,…
由 AR(1)的稳定性知 |?|<1,因此,k??时,呈指数形
衰减,直到零 。这种现象称为 拖尾 或称 AR(1)有无穷记忆
( infinite memory)。
注意, ?<0时,呈振荡衰减状。
Xt=?1Xt-1+ ?2Xt-2 + ?t
该模型 的方差 ?0以及滞后 1期与 2期的自协方差 ?1,?2分别为
2阶自回归模型 AR(2)
222110 ??????? ???
02112
12011
?????
?????
??
??
类似地,可写出 一般的 k期滞后自协方差,
22112211 ))(( ????? ????? kktttktk rXXXE ??????? (K=2,3,…)
于是,AR(2)的 k 阶自相关函数 为:
2211 ?? ?? kkk ????? (K=2,3,…)
其中,?1=?1/(1-?2),?0=1
如果 AR(2)稳定,则由 ?1+?2<1知 |?k|衰减趋于零,呈拖尾状。
至于衰减的形式,要看 AR(2)特征根的实虚性,若为实根,
则呈单调或振荡型衰减,若为虚根,则呈正弦波型衰减。
一般地,p阶自回归模型 AR(p)
Xt=?1Xt-1+ ?2Xt-2 +… ?pXt-p +?t
k期滞后协方差为,
pkpkk
tptpttKtk XXXXE
???
????
????
?????
??????
?????
?
?
2211
2211 ))((
从而有 自相关函数,
pkpkkk ??? ???? ??????? ?2211
可见,无论 k有多大,?k的计算均与其1到 p阶滞后
的自相关函数有关,因此 呈拖尾状 。
如果 AR(p)是稳定的,则 |?k|递减且趋于零 。
其中,1/zi是 AR(p)特征方程 ?(z)=0的特征根,
由 AR(p)平稳的条件知, |zi|<1;
因此, 当 1/zi均为实数根时, ?k呈几何型衰减
( 单调或振荡 ) ;
当存在虚数根时, 则一对共扼复根构成
通解中的一个阻尼正弦波项, ?k呈正弦波衰减 。
事实上,自相关函数
pkpkkk ??? ???? ??????? ?2211
是一 p阶差分方程,其通解为 ?
?
? p
i
k
iik zC
1
?
( 2)偏自相关函数
自相关函数 ACF(k)给出了 Xt与 Xt-1的总体相关性,但总体
相关性可能掩盖了变量间完全不同的隐含关系。
例如,在 AR(1)随机过程中,Xt与 Xt-2间有相关性可能主要
是由于它们各自与 Xt-1间的相关性带来的,
即自相关函数中包含了这种所有的, 间接, 相关。
与之相反,Xt与 Xt-k间的 偏自相关函数 (partial
autocorrelation,简记为 PACF)则是消除了中间变量 Xt-1,…,
Xt-k+1带来的间接相关后的直接相关性,它是在已知序列值 Xt-
1,…, Xt-k+1的条件下,Xt与 Xt-k间关系的度量。
)()( 2112122 ?????? tttt XXEXXE???
从 Xt中去掉 Xt-1的影响,则只剩下随机扰动项 ?t,显然它
与 Xt-2无关,因此我们说 Xt与 Xt-2的 偏自相关系数 为零,记为
在 AR(1)中,
0),( 2*2 ?? ?tt XCo r r ??
同样地,在 AR(p)过程中,对所有的 k>p,Xt与 Xt-k间的
偏自相关系数 为零。
AR(p)的一个主要特征是,k>p时,?k*=Corr(Xt,Xt-k)=0
即 ?k*在 p以后是截尾的。
一随机时间序列的识别原则:
若 Xt的偏自相关函数在 p以后截尾, 即 k>p时, ?k*=0,而
它的自相关函数 ?k是拖尾的, 则此序列是自回归 AR(p)序
列 。
在实际识别时,由于样本偏自相关函数 rk*是总
体偏自相关函数 ?k*的一个估计,由于样本的随机
性,当 k>p时,rk*不会全为 0,而是在 0的上下波动。
但可以证明,当 k>p时,rk*服从如下渐近正态分布,
rk*~N(0,1/n)
式中 n表示样本容量。
因此,如果计算的 rk*满足
需指出的是,
我们就有 95.5%的把握判断原时间序列在 p之后截尾。
nrk
2|| * ?
对 MA(1)过程
2,MA(q)过程
1??? tttX ???
可容易地写出它的 自协方差系数,
0
)1(
32
2
1
22
0
???
??
??
???
???
???
?
?
于是, MA(1)过程的 自相关函数 为:
0
)1(
32
21
???
?
??
???
?
??
可见,当 k>1时,?k>0,即 Xt与 Xt-k不相关,MA(1)自
相关函数是截尾的。
MA(1)过程可以等价地写成 ?t关于无穷序列 Xt,Xt-1,…
的线性组合的形式:
????? ?? 221 tttt XXX ???
或 tttt XXX ??? ????? ?? ?221 ( *)
(*)是一个 AR(?)过程,它的偏自相关函数非截尾但却
趋于零,因此 MA(1)的偏自相关函数是非截尾但却趋于零
的。
注意,
(*)式只有当 |?|<1时才有意义,否则意味着距 Xt越远的 X
值,对 Xt的影响越大,显然不符合常理。
因此,我们 把 |?|<1称为 MA(1)的可逆性条件
( invertibility condition)或可逆域。
其 自协方差系数 为
一般地,q阶移动平均过程 MA(q)
qtqtttX ?? ???? ????? ?11
?
?
?
?
?
?
??????
?????
?? ???
qk
qk
k
XXEr qkqkk
q
kttk



0
1)(
0)1(
)( 112
22
2
2
1
2
??????
????
?
?
?
?
相应的 自相关函数 为
? ? ? ? ? ? ? ?k k k k q k q qrr
k
k q
k q
? ?
?
? ? ? ? ? ? ? ? ?
?
?
??
??
? ?
0
1 1 1
2 2
1 0
1 1
0



( ) / ( )? ?
可见, 当 k>q时, Xt与 Xt-k不相关, 即存在截尾现象,
因此, 当 k>q时, ?k=0是 MA(q)的一个特征 。
于是,可以根据自相关系数是否从某一点开始一直为 0
来判断 MA(q)模型的阶 。
与 MA(1)相仿,可以验证 MA(q)过程的偏自相关函数是
非截尾但趋于零的。
MA(q)模型的识别规则,若随机序列的自相关函数截
尾,即自 q以后,?k=0( k>q);而它的偏自相关函数是拖
尾的,则此序列是滑动平均 MA(q)序列。
同样需要注意的是,在实际识别时,由于样本自相关
函数 rk是总体自相关函数 ?k的一个估计,由于样本的随机性,
当 k>q时,rk不会全为 0,而是在 0的上下波动。但可以证明,
当 k>q时,rk服从如下渐近正态分布,
rk~N(0,1/n)
式中 n表示样本容量。
因此,如果计算的 rk满足,nrk 2|| ?
我们 就有 95.5%的把握判断原时间序列在 q之后截尾 。
ARMA(p,q)的自相关函数,可以看作 MA(q)的自相关函数
和 AR(p)的自相关函数的混合物。
当 p=0时,它具有截尾性质 ;
当 q=0时,它具有拖尾性质;
当 p,q都不为 0时,它具有拖尾性质
从识别上看,通常:
ARMA(p,q)过程的偏自相关函数( PACF) 可能在 p阶
滞后前有几项明显的尖柱( spikes),但从 p阶滞后项开始逐
渐趋向于零;
而 它的自相关函数( ACF) 则是在 q阶滞后前有几项明显
的尖柱,从 q阶滞后项开始逐渐趋向于零。
3,ARMA(p,q)过程
表 9, 2, 1 A R M A ( p,q ) 模型的 AC F 与 P AC F 理论模式
模型 AC F P AC F
白噪声
0?
k
? 0
*
?
k
?
AR ( p ) 衰减趋于零(几何型或振荡型)
P 阶后截尾,0
*
?
k
?, k > p
M A ( q )
q 阶后截尾:,
0?
k
?
,k > q
衰减趋于零(几何型或振荡 型)
AR M A ( p,q ) q 阶后衰减趋于零(几何型或振荡型) p 阶后衰减趋于零(几何型或振荡型)
图 9,2, 2 A R M A ( p,q ) 模型的 ACF 与 P A C F 理论模式
A C F P A C F
模型 1, ttt
XX ???
? 1
7.0
0,0
0,2
0,4
0,6
0,8
1 2 3 4 5 6 7 8
A C F 1
0, 0
0, 2
0, 4
0, 6
0, 8
1 2 3 4 5 6 7 8
P A C F 1
模型 2,
ttt
XX ????
? 1
7.0
模型 3,
1
7.0
?
??
ttt
X ??
- 0, 8
- 0, 6
- 0, 4
- 0, 2
0, 0
0, 2
0, 4
0, 6
1 2 3 4 5 6 7 8
A C F 2
- 0, 8
- 0, 6
- 0, 4
- 0, 2
0, 0
1 2 3 4 5 6 7 8
P A C F 2
- 0, 5
- 0, 4
- 0, 3
- 0, 2
- 0, 1
0, 0
1 2 3 4 5 6 7 8
A C F 3
- 0, 5
- 0, 4
- 0, 3
- 0, 2
- 0, 1
0, 0
1 2 3 4 5 6 7 8
P A C F 3
模型 4,
tttt
XXX ????
?? 21
49.07.0
模型 5,
11
7.07.0
??
????
tttt
XX ??
- 0, 4
- 0, 2
0, 0
0, 2
0, 4
0, 6
1 2 3 4 5 6 7 8
A CF 4
- 0, 4
- 0, 2
0, 0
0, 2
0, 4
0, 6
1 2 3 4 5 6 7 8
P A C F 4
- 1, 2
- 0, 8
- 0, 4
0, 0
0, 4
0, 8
1 2 3 4 5 6 7 8
A C F 5
- 1, 0
- 0, 8
- 0, 6
- 0, 4
- 0, 2
0, 0
1 2 3 4 5 6 7 8
P A C F 5
四、随机时间序列模型的估计
AR(p),MA(q),ARMA(p,q)模型的估计方法较多, 大
体上分为 3类:
( 1) 最小二乘估计;
( 2) 矩估计;
( 3) 利用自相关函数的直接估计 。
下面有选择地加以介绍 。
结构
阶数
模型
识别 确定 估计 参数
⒈ AR(p)模型的 Yule Walker方程估计
在 AR(p)模型的识别中,曾得到
pkpkkk ??? ???? ??????? ?2211
利用 ?k=?-k,得到如下方程组:
kppppp
pp
pp
???
?
? ?
???
????
????
???????
??????
??????
?
??
?
?
1211
22112
11211
此方程组被称为 Yule Walker方程组 。 该方程组建
立了 AR(p)模型的模型参数 ?1,?2,?,?p与自相关函数
?1,?2,?,?p的关系,
利用实际时间序列提供的信息, 首先 求得自相关函数的
估计值
然后 利用 Yule Walker方程组,求解模型参数的估计

?,?,,?? ? ?1 2 ? p
?,?,,?? ? ?1 2 ? p
?
?
?
? ? ?
? ? ?
? ? ?
?
?
?
?
?
?
? ? ?
? ? ?
? ? ?
?
?
?
1
2
0 1 1
1 0 2
1 2 0
1
1
2
?
?
?
?
?
?
p
p
p
p p p
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
? ?
?
由于
ptpttt XXX ?? ???? ??? ?11 于是
?
? ?
???? p
ji ijjit
E
1,0
22 ?????? ? ?
从而可得 ??2的估计值 ?
?
???
p
ji
ijji
1,
0
2 ????? ?????
?
在具体计算时,k?? 可用样本自相关函数 rk替代。
⒉ MA(q)模型的矩估计
将 MA(q)模型的自协方差函数中的各个量用估计量代
替,得到:
?
?
?
?
?
?
??????
?????
? ??
qk
qk
k
qkqkk
q
k



0
1)?????(?
0)???1(?
? 112
22
2
2
1
2
??????
????
? ?
?
?
?
首先 求得自协方差函数的估计值,(*)是一个包含
(q+1)个待估参数
(*)
221 ?,??,? ????? q?
的非线性方程组,可以用 直接法 或 迭代法 求解。
常用的迭代方法有 线性迭代法 和 Newton-Raphsan
迭代法 。
( 1) MA(1)模型的直接算法
对于 MA(1)模型, ( *) 式相应地写成
1
2
1
2
1
2
0
???
)?1(??
???
???
?
?
??
??
于是
211 ??? ???? ??
0???? 21204 ??? ???? ?? 或 0???? 212410 ???? ???? ??有
于是有解
)?411(2?? 2102 ??? ? ???
)?411(?2??? 211211 ????? ? ??????
由于参数估计有两组解,可根据可逆性条件 |?1|<1来
判断选取一组。
( 2) MA(q)模型的迭代算法
对于 q>1的 MA(q)模型,一般用迭代算法估计参数:
由( *)式得
??
?
?
??
?
?
??????
???
?
??? qkqkk
k
k
q
??????
?
?
?
??
?
?
?
?
??????
?
??
??1
?
?
22112
22
1
02
?
?
第一步,给出 的一组初值,比如
k???? ? ?,,?,?,? 212 ?
02 ?)0(? ?? ? ? 0)0(?)0(?)0(? 21 ??? k??? ?
代入( **)式,计算出第一次迭代值
02 ?)1(? ?? ? ? 0??)1(? ??? kk ??
( **)
第二步,将第一次迭代值代入( **)式,计
算出第二次迭代值
))1(?)1(?)1(?)1(???()2(?
))1(?)1(?1/(?)2(?
110
22
10
2
qkqkkk
q
???????
???? ?
?? ?????
????
?
?
按此反复迭代下去,直到第 m步的迭代值与
第 m-1步的迭代值相差不大时(满足一定的精
度),便停止迭代,并用第 m步的迭代结果作为
( **)的近似解。
⒊ ARMA(p,q)模型的矩估计
在 ARMA(p,q) 中共有 (p+q+1) 个待估参数 ?1,?2,?,?p与
?1,?2,?,?q以及 ??2,其估计量计算步骤及公式如下:
第一步,估计 ?1,?2,?,?p
?
?
?
? ? ?
? ? ?
? ? ?
?
?
?
?
?
?
? ? ?
? ? ?
? ? ?
?
?
?
1
2
1 1
1
1 2
1
1
2
?
?
?
?
?
?
p
q q q p
q q q p
q p q p q
q
q
q p
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
? ? ?
? ?
? ? ? ?
?
?
?
?
??k 是总体自相关函数的估计值,可用样本自相关函
数 rk代替。
第二步,改写模型,求 ?1,?2,?,?q以及 ??2的估计值
将模型
tptpttt XXXX ???? ????? ??? ?2211 qtqtt ??? ???? ?????? ?2211
改写为:
tptpttt XXXX ???? ????? ??? ?2211 qtqtt ?? ??? ?????? ?2211
令 ptptttt XXXXX ??? ????? ??? ???~ 2211 ?
于是 (*)可以写成:
(*)
qtqttttX ??? ????? ??????? ?2211~
构成一个 MA模型。按照估计 MA模型参数的方法,可
以得到 ?1,?2,?,?q以及 ??2的估计值。
⒋ AR(p)的最小二乘估计
假设模型 AR(p)的参数估计值已经得到,即有
tptpttt XXXX ???? ???? 2211 ????? ??? ?
残差的平方和为:
2
1 22111
2 )???(?)?( ??
?? ?????
?????? n
pt ptpttt
n
pt t
XXXXS ????? ?(*)
根据最小二乘原理,所要求的参数估计值是下列方程
组的解:
?
??
S
j?
? 0

0)???(
1 2211
????? ?
?? ???? jt
n
pt ptpttt
XXXXX ??? ?
j=1,2,…,p (**)
解该方程组,就可得到待估参数的估计值。
为了与 AR(p)模型的 Yule Walker方程估计进行比较,将
(**)改写成:
????
??
?
??
??
??
??
??
?? ????
n
pt
jtt
n
pt
jtpt
pn
pt
jtt
n
pt
jtt XXnXXnXXnXXn
111
22
1
11
1??? ??? ?
j=1,2,…,p
由自协方差函数的定义,并用自协方差函数的估计值
??
??
??
kn
pt
tktk XXn
1
1??
代入,上式表示的方程组即为:
jpjpjj ??????? ??????? 2211 ???? ??? ?
或 jpjpjj rrrr ???? ??? ??? ??? 2211 ?
j=1,2,…,p
j=1,2,…,p
解该方程组,得到:
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??
?
?
ppp
p
p
p r
r
r
rrr
rrr
rrr
?
?
?
?
?
?
2
1
1
021
201
110
2
1
?
?
?
?
?
?
即为参数的最小二乘估计。
Yule Walker方程组的解
?
?
?
? ? ?
? ? ?
? ? ?
?
?
?
?
?
?
? ? ?
? ? ?
? ? ?
?
?
?
1
2
0 1 1
1 0 2
1 2 0
1
1
2
?
?
?
?
?
?
p
p
p
p p p
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
? ?
?
比较发现,当 n足够大时,二者是相似的。 ??2的估计值为:
pn
S
pn
n
pt
t ???? ?
?? 1
22 1? ??
?
需要说明的是,在上述模型的平稳性、识别与估计的讨
论中,ARMA(p,q)模型中均未包含常数项。
如果包含常数项,该常数项并不影响模型的原有性质,
因为通过适当的变形,可将包含常数项的模型转换为不含常
数项的模型。
下面以一般的 ARMA(p,q)模型为例说明。
对含有常数项的模型
qtqttptptt XXX ???? ???????? ???????? ?? 1111
方程两边同减 ?/(1-?1-?-?p),则可得到
qtqttptptt xxx ???? ??????? ??????? ?? 1111
其中 ? ?
pii Xx ??? ????? ?11
pttti ???,,1,?
五、模型的检验
由于 ARMA(p,q)模型的识别与估计是在假设随机扰
动项是一白噪声的基础上进行的,因此,如果估计的模
型确认正确的话,残差应代表一白噪声序列 。
如果通过所估计的模型计算的样本残差不代表一白噪
声,则说明模型的识别与估计有误,需重新识别与估计。
在实际检验时,主要检验残差序列是否存在自相关 。
1、残差项的白噪声检验
可用 QLB的统计量进行 ?2检验,在给定显著性水平下,
可计算不同滞后期的 QLB值,通过与 ?2分布表中的相应临
界值比较,来检验是否拒绝残差序列为白噪声的假设。
若大于相应临界值,则应拒绝所估计的模型,需重新
识别与估计。
2,AIC与 SBC模型选择标准
另外一个遇到的问题是,在实际识别 ARMA(p,q)模型时,
需多次反复偿试,有可能存在不止一组( p,q)值都能通过识别
检验。
显然,增加 p与 q的阶数,可增加拟合优度, 但却同时降低
了自由度 。
因此,对可能的适当的模型,存在着模型的“简洁性”与模
型的拟合优度的权衡选择问题。
其中, n为待估参数个数 ( p+q+可能存在的常数项 ),
T为可使用的观测值, RSS为残差平方和 ( Residual sum of
squares) 。
在选择可能的模型时, AIC与 SBC越小越好
显然, 如果添加的滞后项没有解释能力, 则对 RSS值
的减小没有多大帮助, 却增加待估参数的个数, 因此使
得 AIC或 SBC的值增加 。
需注意的是,在不同模型间进行比较时, 必须选取相
同的时间段 。
常用的模型选择的判别标准有,赤池信息法 ( Akaike
information criterion,简记为 AIC)与 施瓦兹贝叶斯法
( Schwartz Bayesian criterion,简记为 SBC):
)l n ()l n (
2)l n (
TnR S STS B C
nR S STA IC
??
??
由第一节知:中国支出法 GDP是非平稳的, 但它的一阶
差分是平稳的, 即支出法 GDP是 I(1)时间序列 。
可以对经过一阶差分后的 GDP建立适当的 ARMA(p,q)模
型 。
记 GDP经一阶差分后的新序列为 GDPD1,该新序列的样
本自相关函数图与偏自相关函数图如下:
-0, 4
-0, 2
0, 0
0, 2
0, 4
0, 6
0, 8
1, 0
2 4 6 8 10 12 14 16 18
G D P D 1 A C
- 0,6
- 0,4
- 0,2
0,0
0,2
0,4
0,6
0,8
1,0
2 4 6 8 10 12 14 16 18
G D P D 1 P A C
例 9.2.3 中国支出法 GDP的 ARMA(p,q)模型估计。
图形,样本自相关函数图形呈正弦线型衰减波,而偏自相
关函数图形则在滞后两期后迅速趋于 0。因此 可初步判断该序列
满足 2阶自回归过程 AR(2)。 表 9, 2, 2 中国 G D P 一阶差分序列的样本自相关函数与偏自相关函数
k
k
r
*
k
r k kr
*
k
r k kr
*
k
r
1 0.859 0.859 7 -0.034 -0.252 13 -0.361 -0.086
2 0.622 -0.441 8 -0.112 0.012 14 -0.363 0.076
3 0.378 -0.065 9 -0.175 0.04 15 -0.308 0.043
4 0.191 0.066 10 -0.228 -0.117 16 -0.216 -0.022
5 0.087 0.077 11 -0.282 -0.192 17 -0.128 -0.048
6 0.036 -0.051 12 -0.32 -0.02 18 -0.059 -0.002
426.0222|| * ??kr
自相关函数 与 偏自相关函数 的 函数值:
相关函数具有明显的拖尾性;
偏自相关函数值在 k>2以后,
可认为,偏自相关函数是截尾的。再次验证了一阶差分后的
GDP满足 AR(2)随机过程。
设序列 GDPD1的模型形式为
tttt G D P DG D P DG D P D ??? ??? ?? 2211 111
有如下 Yule Walker 方程:
???
?
???
?
???
?
???
??
???
?
???
? ?
6 2 2.0
8 5 9.0
18 5 9.0
8 5 9.01
?
? 1
2
1
?
?
解为,442.0?,239.1?
21 ??? ??
用 OLS法回归的结果为:
tttt G D P DG D P DG D P D ???? ?? 21 1653.01593.11
( 7.91) (-3.60)
r2=0.8469 R2=0.8385 DW=1.15
有时,在用回归法时,也可加入常数项 。
本例中加入常数项的回归为:
tttt G D P DG D P DG D P D ????? ?? 21 1678.01495.159.9091
( 1.99) ( 7.74) ( -3.58)
r2 =0.8758 R2 =0.8612 DW.=1.22
? 模型检验
下表列出三模型的残差项的自相关系数及 QLB检验值。
模型 1与模型 3的残差项接近于一白噪声,但模型 2存在 4阶滞后相关问
题,Q统计量的检验也得出模型 2拒绝所有自相关系数为零的假设。因此,
模型 1与 3可作为描述中国支出法 GDP一阶差分序列的随机生成过程。
表 9, 2, 3 模型残差项的自相关 系数及 Q 检验值
模型 1 模型 2 模型 3
K R e s i d - AC F Q R e s i d - AC F Q R e s i d - AC F Q
1 0, 3 8 2 3, 3 8 4 6 0, 2 5 8 1, 5 3 7 7 0, 2 5 7 1, 5 2 6 3
2 0, 0 1 4 3, 3 8 9 3 - 0, 1 3 9 2, 0 0 7 7 - 0, 0 4 0 1,5646
3 - 0, 1 3 2 3, 8 4 2 7 - 0, 2 4 6 3, 5 6 7 7 - 0, 0 5 9 1, 6 5 5 4
4 - 0, 3 4 1 7, 0 3 9 1 - 0, 5 2 9 1 1, 2 6 7 - 0, 3 2 8 4, 6 2 1 0
5 - 0, 1 7 0 7, 8 9 1 0 - 0, 3 00 1 3, 9 0 8 - 0, 1 5 1 5, 2 8 6 4
6 0, 2 5 3 9, 9 0 9 7 0, 2 7 1 1 6, 2 0 7 0, 3 4 5 9, 0 3 3 1
7 0, 1 4 4 1 0, 6 1 3 0, 1 5 8 1 7, 0 5 1 0, 1 5 5 9, 8 4 5 8
8 0, 0 5 7 1 0, 7 3 0 0, 1 1 6 1 7, 5 4 1 0, 0 76 1 0, 0 5 9
9 - 0, 0 1 9 1 0, 7 4 5 0, 0 9 7 1 7, 9 1 4 0, 0 1 1 1 0, 0 6 4
10 - 0, 1 4 6 1 1, 6 8 5 - 0, 0 3 6 1 7, 9 6 9 - 0, 1 2 3 1 0, 7 2 8
11 - 0, 2 3 3 1 4, 3 2 9 - 0, 1 3 6 1 8, 8 7 8 - 0, 2 3 0 1 3, 3 1 9
12 - 0, 0 4 9 1 4, 4 6 1 0, 0 6 4 1 9, 1 0 4 - 0, 0 1 2 1 3, 3 2 8
? 用建立的 AR(2)模型对中国支出法 GDP进行外推预测。
模型 1可作如下展开:
)()( 3222111 ????? ????? tttttt G D PG D PG D PG D PG D PG D P ??
3221211 )()1( ??? ????? tttt G D PG D PG D PG D P ????
于是,当已知 t-1,t-2,t-3期的 GDP时,就可对第 t期的
GDP作出外推预测。
模型 3的预测式与此相类似,只不过多出一项常数项。
对 2001年中国支出法 GDP的预测结果(亿元)
预测值 实际值 误差
模型 1 95469 95933 -0.48%
模型 3 97160 95933 1.28%
由于 中国人均居民消费 ( CPC) 与人均国内生产总值
( GDPPC) 这两时间序列是非平稳的, 因此不宜直接建立它
们的因果关系回归方程 。
但它们都是 I(2)时间序列, 因此可以建立它们的
ARIMA(p,d,q)模型 。
下面只建立 中国人均居民消费 ( CPC) 的随机时间序列模
型 。
中国人均居民消费 ( CPC) 经过二次差分后的新序列记
为 CPCD2,其自相关函数, 偏自相关函数及 Q统计量的值列
于下表:
例 9.2.4 中国人均居民消费的 ARMA(p,q)模型
在 5%的显著性水平下,通过 Q统计量容易验证该序列本
身就接近于一白噪声,因此可 考虑采用零阶 MA(0)模型,
表 9,2.4 C P C D 2 序列的自相关函数、偏自相关函数与 Q 统计量值
k A C F P A C F Q k A C F P A C F Q
1 0, 1 2 5 0, 1 2 5 0, 2 6 9 7 0, 1 9 6 0, 0 1 4 6, 2 8 6
2 - 0, 2 9 4 - 0, 3 1 4 1, 8 8 2 8 - 0, 2 1 8 - 0, 3 3 5 8, 0 6 7
3 - 0, 0 3 4 0, 0 6 0 1, 9 0 6 9 - 0, 0 1 0 0, 0 2 4 8, 0 7 2
4 - 0, 2 1 3 - 0, 3 5 0 2, 9 1 9 10 0, 1 0 2 - 0, 1 4 7 8, 6 5 0
5 - 0, 2 5 8 - 0, 1 9 3 4, 5 7 6 11 - 0, 0 7 1 0, 0 0 1 9, 0 2 5
6 0, 1 3 1 0, 0 1 7 5, 0 5 7 12 0, 0 0 6 - 0, 1 1 9 9, 0 2 9
ttCP CD ??2
由于 k=2时,|r2|=|-0.29|> 14/1
因此,也可考虑采用下面的 MA模型:
222 ??? tttC P C D ???
当然,还可观察到自相关函数在滞后 4,5,8时有大于
0.2的函数值,因此,可考虑在模型中增加 MA(4),MA(5)、
MA(8)。 不同模型的回归结果列于表 9.2.5。
表 9.2.5 中国居民人均消费水平的 ARMA 模型
模型 a M A ( 2 ) M A ( 4 ) M A ( 5 ) M A ( 8 ) AR ( 1 ) R2 S S R A I C
1 2 4, 5 7 0 9 3 1 3 7, 4 8, 9 4
2 3 2, 4 - 0, 8 9 0, 4 2 5 3 6 9 9, 9 8, 5 4
( 3, 6 2 ) ( - 7, 4 3 )
3 1 4, 0 7 - 0, 7 2 - 1, 7 1 0, 7 2 8 1 2 8, 8 8, 0 3
( 8, 7 5 ) ( - 3, 0 7 ) ( - 5, 0 8 )
4 1 1, 7 3 - 1, 0 9 - 1, 9 9 - 1, 3 0, 8 2 1 7 4 8 0, 8 7, 7
( 1 7, 8 1 ) ( - 3, 3 8 ) ( - 4, 6 1 ) ( - 1, 5 8 )
5 1 1, 7 9 - 1, 0 7 - 1, 9 1 - 1, 2 5 - 0, 3 4 0, 8 1 1 7 4 0 2, 7 7, 8 4
( 1 4, 9 3 ) ( - 3, 1 0 ) ( - 2, 5 6 ) ( - 1, 4 2 ) ( - 0, 1 5 )
6 1 4, 9 5 - 0, 6 6 - 1, 2 7 - 1, 9 9 0, 7 5 2 2 9 2 4, 2 7, 9 7
( 5, 1 6 ) ( - 2, 1 4 ) ( - 1, 7 7 ) ( - 1, 2 9 )
7 2 1 4, 2 5 - 2, 5 3 - 2, 4 5 - 6, 5 2 1, 3 9 0, 9 9 8 9 4 3, 7 7, 0 6
( 6 3, 8 3 ) ( - 2, 2 5 ) ( - 2, 5 3 ) ( - 2, 2 3 ) ( 9 8, 2 6 )
可以看出,在纯 MA模型中,模型 4具有较好的性质,但由
于 MA(5)的 t检验偏小,因此可选取模型 3。
最后,给出通过模型 3的外推预测。
模型 3的展开式为:
4221
2111
2
71.172.007.142
)()(
????
????
???????
?????????
tttttt
ttttttt
C P CC P CC P C
C P CC P CC P CC P CC P CC P CC P C
???
即 4221 71.172.007.142 ???? ?????? tttttt CP CCP CCP C ???
由于 ?t表示预测期的随机扰动项,它未知,可假设为 0,
于是 t期的预测式为,
4221 ?71.1?72.007.142 ???? ????? ttttt C P CC P CC P C ??
为模型 3中滞后 2期与滞后 4期的相应残差项
的估计值。
2??t? 4??t?
表 9.2.6列出了采用模型 3对中国居民人均居
民消费水平的 2期外推预测。
为了对照,表中也同时列出了采用 § 2.10的
模型的预测结果。 表 9.2.6 中国居民人均消费水平 2 期外推预测比较(单位:元)
实际值 AR MA 模型 因果关系模型
预测值 相对误差( % ) 预测值 相对误差( % )
1997 2834 3048 7.6 2822 - 0.4
1998 2972 3407 14.6 2977 0.2