第八章时间序列分析随机过程的概念在概率论的基本理论中，我们首先建立了概率空间，
进一步定义了随机变量和它的分布函数，用以刻划随机现象的统计规律性。在那里，我们讨论的是一个或者几个随机变量。但在实际中，我们还需要讨论一族无穷多个按照一定关系联系起来的随机变量。例如，考虑电话交换台接到用户的呼唤次数的问题。如果用 表示在时刻 t以前交换台接到用户的呼唤总次数，于是，对于固定资产的时刻 t而言,是一个随机变量。而当长时间观察并记录可得,它就是一族无穷多个随机变量构成的时间函数。也就是说，描述交换台接到用户的呼唤次数，需要用一族依赖于时间的随机变量。通常我们把这样的一族随机变量称为随机过程。
)(tX
)(tX
}),(),({ 21?tXtX
定义 1 设 是一个概率空间,T是一个参数集,是 上的函数，如果对于每一个,都是 上的随机变量，则称随机变量族 为定义在 上的随机过程。简记为
),,( PF?
),)(( TtX tT
Tt?
))((tX
),,( PF?}:)({ TtX
t
),,( PF? });({ TttX?
随机过程的有限维分布函数族研究随机现象，主要是研究它的统计规律性。对于随机过程，如何刻划它的统计规律性呢？在概率论中我们已经知道，一个随机变量的统计规律性完全由它的分布函数所刻划，有限个随机变量的统计规律性完全被它们的联合分布函数所刻划。既然随机过程可视为一族随机变量，是否也可以用一个无穷多维的联合分布函数来刻划它呢？由测度论的理论可知，使用无穷维分布函数的方法是行不通的。可行的办法，就是采用有限维分布函数族来刻划随机过程的统计特性。
定义 2 设随机过程的状态空间为 R，对于任意自然数 n以及任意参数,n个随机变量 的联合分布函数为所有这些分布函数的集合称为随机过程的有限维分布函数族。
Tttt n?,,,21?
)(,),(),( 21 ntXtXtX?
})(,,)(,)({),,,;,,,( 22112121 nnnn xtXxtXxtXPxxxtttF
}1,,,,);,,,;,,,({ 212121 nTtttxxxtttF nnn
例 1 利用重复抛硬币的试验定义一个随机过程设“出现正面”和“出现反面”的概率各为 0.5，
试求它的一维分布函数,和二维分布函数族。
出现反面出现正面
t
ttX
2
c o s)(?
);5.0( xF
),;1,5.0( 21 xxF
随机过程的数字特征定义 3 设 是一随机过程，对任意固定的 t，随机变量 X(t)的数学期望和方差都存在,我们分别称为随机过程的均值函数和方差函数
});({ TttX?
)()( tDXtD X?
)()( tEXtm X?
例 2 求例 1中的随机过程的均值函数与方差函数定义 4 设 是一随机过程，对任意固定的 t1和 t2，随机变量 的二阶原点矩和协方差都存在,我们分别称为随机过程的（自）相关函数和（自）协方差函数
});({ TttX?
)(),( 21 tXtX
)]()([),( 2121 tXtXEttR X?
))(),(c o v (),( 2121 tXtXttC X?
例 3:求例 1中的随机过程的相关函数和协方差函数平稳随机过程平稳随机过程是一类应用广泛的随机过程。它在通讯、生物、自动控制、系统论、信息论、经济领域等方面有着广泛的应用。从它的有限维分布族和数字特征来考虑，平稳随机过程又分为强平稳过程和弱平稳过程。我们只介绍弱平稳过程定义 5 设 是一随机过程，如果满足
(1)对任一的 t,为常数；
(2)对任一的 t,；
(3)对任一的 与 t无关，
则称为弱平稳过程。
}),({ TttX?
mtm X?)(
mttR X ),(
)(),( RttR XTtt,
例 4 设随机过程,其中 是相互独立的二元随机变量，它们分别以 的概率取值 -1,2。
(1)求随机过程 的均值函数和相关函数；
(2)证明 是弱平稳过程但不是强平稳过程
tYtXtZ c o ss in)(
YX,
}),({ TttZ?
}),({ TttZ?
31,32
对于弱平稳过程，由于均值函数为常数 m，将过程进行平移，可以使得它的均值为零。其统计性质不会发生改变，下面我们提到弱平稳过程都是零均值的，并且我们还把弱平稳过程叫做平稳过程。
一类简单的平稳时间序列,称为平稳白噪声序列,
简称白噪声,如果平稳时间序列的协方差函数 （ 也是相关函数 ） 为
},2,1,0,{tt?
0,0
0,
)()(
2
k
k
EkRkC ktt
平稳时间序列的均值函数和协方差函数的估计如果经检验证实所研究的时间序列是平稳的，那么一个重要的问题是如何估计它的均值函数和协方差函数。
首先是均值函数的估计。设 是平稳时间序列，记 。固定 t1，可以这样估计 m：取的许多样本轨道，将这些轨道在处的所有的值取平均作为的估计。这种方法不但非常繁琐，并且在实际中我们观测到的仅是时间序列的一个样本轨道，因此，在实际中是行不通的。可以这样设想：
因为时间序列是平稳的，很自然地，希望用一个很长时期观测的样本轨道来估计平稳序列的统计特征。这种性质称为平稳序列的遍历性。对此可以这样理解：对于具有遍历性的平稳序列，只要观测的时间比较长，它的每个轨道都能“遍历”到各种可能的状态，因而一个轨道按时间的平均可以近似地代替它在固定时刻取值的统计平均。
},2,1,0,{tX t
)( tXEm?
},2,1,0,{tX t
1tt?
定义 6设 是平稳时间序列,如果随机变量（称为过程的时间平均）
的均方极限为 m，即则称 具有均值遍历性。 },2,1,0,{tX
t
t
ti
it XtY 2
1
0][lim 2
mYE t
t
},2,1,0,{tX t
定义 7设 是平稳时间序列,如果随机变量的均方极限为,即则称 具有相关函数遍历性。 },2,1,0,{tX
t
},2,1,0,{tX t
ki
t
ti
it XXtkY?
21)(
)(?XR
0)]()([lim 2 kRkYE Xtt
平稳时间序列的线性模型我们常见的平稳时间序列的线性模型有下面三种形式：
(1)AR序列，即自回归序列；
(2)MA序列，即滑动平均序列；
(3)ARMA序列，即自回归滑动平均序列。
可以证明，上述三种序列模型均具有遍历性，因此，
可以通过它的一个样本轨道来估计自协方差函数和相关函数。下面，我们给出零均值平稳时间序列的线性模型的定义
1,AR序列模型一个零均值平稳时间序列如果在 t时刻的数值可表示成过去 p个时刻上的数值的线性组合再加上 t时刻的白噪声，即其中 是零均值、方差 为的白噪声，
并且它与 不相关。我们称为阶数为 p的自回归模型，简记为 。常数叫做自回归系数，且 。
tptpttt XXXX2211
,2,1,0t
},2,1,0,{tt? 2?
,,21 tt XX
},2,1,0,{tX t
)( pAR
p,,,21?
0?p?
2,MA序列模型一个零均值平稳时间序列满足其中 是零均值、方差 为的白噪声。
我们称为阶数为 q的滑动平均序列,简记为 。
常数叫做自回归系数向量，且 。
,2,1,0t
},2,1,0,{tt? 2?
},2,1,0,{tX t
)(qMA
Tq ),,,( 21
0?q?
qtqttttX2211
3,ARMA序列模型一个零均值平稳时间序列满足其中 是零均值、方差 为的白噪声。
我们称为阶数为 p,q的自回归滑动平均序列,简记为
ARMA(p,q) 。其中
,2,1,0t
},2,1,0,{tt? 2?
},2,1,0,{tX t
0?q?
qtqttt2211
ptpttt XXXX2211
0?p?
平稳时间序列的线性模型的参数估计
1,AR序列模型的参数估计我们可以采用多元线性回归模型的参数估计方法。
取 得到 Nppt,,2,1
111211 ppppp XXXX
222112 ppppp XXXX
NpNpNNN XXXX2211
.
记
TNpp XXXY ),,,( 21
Tp ),,,( 21
T
Npp ),,,( 21
pNNN
pp
pp
XXX
XXX
XXX
1
21
11
X
方程可写为参数的最小二乘估计为
YXXX TT 1)(
)?()?(1? 2 XYXY
pN
T
XY
并利用相关函数的估计式,有因此有
)( pNXX T
)0(?)2(?)1(?
)2(?)0(?)1(?
)1(?)1(?)0(?
RpRpR
pRRR
pRRR
TT pRRRpNYX )(?)2(?)1(?)(
1
)0(?)2(?)1(?
)2(?)0(?)1(?
)1(?)1(?)0(?
RpRpR
pRRR
pRRR
)(?
)2(?
)1(?
pR
R
R
)(?)2(?)1(?)0( 2 pRRRR
2,MA序列模型的参数估计这种序列模型的相关函数为相关函数可用其估计式代替。方程组的解就是参数的估计值。不过它是一个非线性方程组，一般难以求得它的精确解，通常采用数值解法
2222212 )1()()0( qtXER
21322111 )()()1( qqtt XXER
22423122 )()()2( qqtt XXER
.
2)()()( qqtt XXEqR
3,ARMA序列模型的参数估计它的参数的求解方法是分两步进行：
首先求 的估计值。可由下式算得
p,,,21?
1
)(?)2(?)1(?
)2(?)(?)1(?
)1(?)1(?)(?
qRpqRpqR
pqRqRqR
pqRqRqR
)(?
)2(?
)1(?
pqR
qR
qR
然后再求 的估计值,令则 也是零均值平稳时间序列，
且这是关于平稳时间序列的模型。由此可求得的估计值。而 的样本值算式为
2
21,,,, q?
ptptttt XXXXZ2211?,2,1,0t
},2,1,0,{tZ t
qtqttttZ2211
},2,1,0,{tZ t
221,,,, q?
ptptttt XXXXZ 2211?
},2,1,0,{tZ t
平稳时间序列的线性模型的预报所谓预报是指已经知道一个时间序列现在和过去的数值，对将来的数值作估计。设平稳时间序列为
，若已知观测到的数值
，要估计 的数值，称为在 k时刻作 l步预报。 的估计值记为 或,
称为 l步预报值。平稳序列的预报有多种方法，在这时，我们采用最小方差线性估计的原则。用对 作估计，取
},2,1,0,{tX t
kXXX,,,21? lkX?
lkX?
lkZ
)(? lZk
lkX?
kXXX,,,21? lkX?
k
j
jjk XcclZ
1
0)(
使下面推出的预报公式，是建立在一个基本引理的基础上。
基本引理：若已经观测到平稳时间序列的数值，则
(1)将来第 k+l时刻的白噪声估计值 ；
(2)现在或过去第时刻平稳序列估计值。
这些结论直观上是比较明显的。在这时，我们不给证明。下面我们分三种模型分别介绍其预报公式。
m i n)( 2
1
0
k
j
jjlk XccXE?
kXXX,,,21?
0lk?
)1(,? kjXX jj
1,AR序列模型的预报公式当 时当 时
plkpklkllklklk XXXXXX 112211
pl1
pl?
plkplklklk XXXX 2211
2,MA(q)序列模型的预报公式在上式中出现白噪声的估计值，如何根据的数值来计算白噪声的估计值呢我们采用下面的方法,取分别取,用令,
得到
qltqltltltltX 2211?
kXXX,,,21?
qtqtttt X 2211?
kt,,2,1 0 110 q
11? X
1122 X
qkqkkkk X 2211?
.
3,ARMA(p,q)序列模型的预报公式与前面两种模型的预报方法一样,取这也是一种递推公式，在算二步预报值时要用到一步预报值，在算三步预报值时，要用到一步和二步预报值等，并且还出现了白噪声的估计值。白噪声的估计值的计算和序列模型 白噪声的估计值的计算方法相同,先将 ARMA序列模型改写为
plkplklklk XXXX 2211
qlkqlklklk 2211?
)(qMA
ptptttt XXXX2211
qtqtt2211
两边取估计值,并令得到将这些白噪声的估计值代入,就可以得到所有的预报值
k
j
jp XkXXXX
1
110
1?
0 110 q
XX P )(? 2111
XXX P )( 2111122
XXXX P )( 31221122133
q
j
jkj
p
j
jkjkk XX
1
1
1
.
进一步定义了随机变量和它的分布函数，用以刻划随机现象的统计规律性。在那里，我们讨论的是一个或者几个随机变量。但在实际中，我们还需要讨论一族无穷多个按照一定关系联系起来的随机变量。例如，考虑电话交换台接到用户的呼唤次数的问题。如果用 表示在时刻 t以前交换台接到用户的呼唤总次数，于是，对于固定资产的时刻 t而言,是一个随机变量。而当长时间观察并记录可得,它就是一族无穷多个随机变量构成的时间函数。也就是说，描述交换台接到用户的呼唤次数，需要用一族依赖于时间的随机变量。通常我们把这样的一族随机变量称为随机过程。
)(tX
)(tX
}),(),({ 21?tXtX
定义 1 设 是一个概率空间,T是一个参数集,是 上的函数，如果对于每一个,都是 上的随机变量，则称随机变量族 为定义在 上的随机过程。简记为
),,( PF?
),)(( TtX tT
Tt?
))((tX
),,( PF?}:)({ TtX
t
),,( PF? });({ TttX?
随机过程的有限维分布函数族研究随机现象，主要是研究它的统计规律性。对于随机过程，如何刻划它的统计规律性呢？在概率论中我们已经知道，一个随机变量的统计规律性完全由它的分布函数所刻划，有限个随机变量的统计规律性完全被它们的联合分布函数所刻划。既然随机过程可视为一族随机变量，是否也可以用一个无穷多维的联合分布函数来刻划它呢？由测度论的理论可知，使用无穷维分布函数的方法是行不通的。可行的办法，就是采用有限维分布函数族来刻划随机过程的统计特性。
定义 2 设随机过程的状态空间为 R，对于任意自然数 n以及任意参数,n个随机变量 的联合分布函数为所有这些分布函数的集合称为随机过程的有限维分布函数族。
Tttt n?,,,21?
)(,),(),( 21 ntXtXtX?
})(,,)(,)({),,,;,,,( 22112121 nnnn xtXxtXxtXPxxxtttF
}1,,,,);,,,;,,,({ 212121 nTtttxxxtttF nnn
例 1 利用重复抛硬币的试验定义一个随机过程设“出现正面”和“出现反面”的概率各为 0.5，
试求它的一维分布函数,和二维分布函数族。
出现反面出现正面
t
ttX
2
c o s)(?
);5.0( xF
),;1,5.0( 21 xxF
随机过程的数字特征定义 3 设 是一随机过程，对任意固定的 t，随机变量 X(t)的数学期望和方差都存在,我们分别称为随机过程的均值函数和方差函数
});({ TttX?
)()( tDXtD X?
)()( tEXtm X?
例 2 求例 1中的随机过程的均值函数与方差函数定义 4 设 是一随机过程，对任意固定的 t1和 t2，随机变量 的二阶原点矩和协方差都存在,我们分别称为随机过程的（自）相关函数和（自）协方差函数
});({ TttX?
)(),( 21 tXtX
)]()([),( 2121 tXtXEttR X?
))(),(c o v (),( 2121 tXtXttC X?
例 3:求例 1中的随机过程的相关函数和协方差函数平稳随机过程平稳随机过程是一类应用广泛的随机过程。它在通讯、生物、自动控制、系统论、信息论、经济领域等方面有着广泛的应用。从它的有限维分布族和数字特征来考虑，平稳随机过程又分为强平稳过程和弱平稳过程。我们只介绍弱平稳过程定义 5 设 是一随机过程，如果满足
(1)对任一的 t,为常数；
(2)对任一的 t,；
(3)对任一的 与 t无关，
则称为弱平稳过程。
}),({ TttX?
mtm X?)(
mttR X ),(
)(),( RttR XTtt,
例 4 设随机过程,其中 是相互独立的二元随机变量，它们分别以 的概率取值 -1,2。
(1)求随机过程 的均值函数和相关函数；
(2)证明 是弱平稳过程但不是强平稳过程
tYtXtZ c o ss in)(
YX,
}),({ TttZ?
}),({ TttZ?
31,32
对于弱平稳过程，由于均值函数为常数 m，将过程进行平移，可以使得它的均值为零。其统计性质不会发生改变，下面我们提到弱平稳过程都是零均值的，并且我们还把弱平稳过程叫做平稳过程。
一类简单的平稳时间序列,称为平稳白噪声序列,
简称白噪声,如果平稳时间序列的协方差函数 （ 也是相关函数 ） 为
},2,1,0,{tt?
0,0
0,
)()(
2
k
k
EkRkC ktt
平稳时间序列的均值函数和协方差函数的估计如果经检验证实所研究的时间序列是平稳的，那么一个重要的问题是如何估计它的均值函数和协方差函数。
首先是均值函数的估计。设 是平稳时间序列，记 。固定 t1，可以这样估计 m：取的许多样本轨道，将这些轨道在处的所有的值取平均作为的估计。这种方法不但非常繁琐，并且在实际中我们观测到的仅是时间序列的一个样本轨道，因此，在实际中是行不通的。可以这样设想：
因为时间序列是平稳的，很自然地，希望用一个很长时期观测的样本轨道来估计平稳序列的统计特征。这种性质称为平稳序列的遍历性。对此可以这样理解：对于具有遍历性的平稳序列，只要观测的时间比较长，它的每个轨道都能“遍历”到各种可能的状态，因而一个轨道按时间的平均可以近似地代替它在固定时刻取值的统计平均。
},2,1,0,{tX t
)( tXEm?
},2,1,0,{tX t
1tt?
定义 6设 是平稳时间序列,如果随机变量（称为过程的时间平均）
的均方极限为 m，即则称 具有均值遍历性。 },2,1,0,{tX
t
t
ti
it XtY 2
1
0][lim 2
mYE t
t
},2,1,0,{tX t
定义 7设 是平稳时间序列,如果随机变量的均方极限为,即则称 具有相关函数遍历性。 },2,1,0,{tX
t
},2,1,0,{tX t
ki
t
ti
it XXtkY?
21)(
)(?XR
0)]()([lim 2 kRkYE Xtt
平稳时间序列的线性模型我们常见的平稳时间序列的线性模型有下面三种形式：
(1)AR序列，即自回归序列；
(2)MA序列，即滑动平均序列；
(3)ARMA序列，即自回归滑动平均序列。
可以证明，上述三种序列模型均具有遍历性，因此，
可以通过它的一个样本轨道来估计自协方差函数和相关函数。下面，我们给出零均值平稳时间序列的线性模型的定义
1,AR序列模型一个零均值平稳时间序列如果在 t时刻的数值可表示成过去 p个时刻上的数值的线性组合再加上 t时刻的白噪声，即其中 是零均值、方差 为的白噪声，
并且它与 不相关。我们称为阶数为 p的自回归模型，简记为 。常数叫做自回归系数，且 。
tptpttt XXXX2211
,2,1,0t
},2,1,0,{tt? 2?
,,21 tt XX
},2,1,0,{tX t
)( pAR
p,,,21?
0?p?
2,MA序列模型一个零均值平稳时间序列满足其中 是零均值、方差 为的白噪声。
我们称为阶数为 q的滑动平均序列,简记为 。
常数叫做自回归系数向量，且 。
,2,1,0t
},2,1,0,{tt? 2?
},2,1,0,{tX t
)(qMA
Tq ),,,( 21
0?q?
qtqttttX2211
3,ARMA序列模型一个零均值平稳时间序列满足其中 是零均值、方差 为的白噪声。
我们称为阶数为 p,q的自回归滑动平均序列,简记为
ARMA(p,q) 。其中
,2,1,0t
},2,1,0,{tt? 2?
},2,1,0,{tX t
0?q?
qtqttt2211
ptpttt XXXX2211
0?p?
平稳时间序列的线性模型的参数估计
1,AR序列模型的参数估计我们可以采用多元线性回归模型的参数估计方法。
取 得到 Nppt,,2,1
111211 ppppp XXXX
222112 ppppp XXXX
NpNpNNN XXXX2211
.
记
TNpp XXXY ),,,( 21
Tp ),,,( 21
T
Npp ),,,( 21
pNNN
pp
pp
XXX
XXX
XXX
1
21
11
X
方程可写为参数的最小二乘估计为
YXXX TT 1)(
)?()?(1? 2 XYXY
pN
T
XY
并利用相关函数的估计式,有因此有
)( pNXX T
)0(?)2(?)1(?
)2(?)0(?)1(?
)1(?)1(?)0(?
RpRpR
pRRR
pRRR
TT pRRRpNYX )(?)2(?)1(?)(
1
)0(?)2(?)1(?
)2(?)0(?)1(?
)1(?)1(?)0(?
RpRpR
pRRR
pRRR
)(?
)2(?
)1(?
pR
R
R
)(?)2(?)1(?)0( 2 pRRRR
2,MA序列模型的参数估计这种序列模型的相关函数为相关函数可用其估计式代替。方程组的解就是参数的估计值。不过它是一个非线性方程组，一般难以求得它的精确解，通常采用数值解法
2222212 )1()()0( qtXER
21322111 )()()1( qqtt XXER
22423122 )()()2( qqtt XXER
.
2)()()( qqtt XXEqR
3,ARMA序列模型的参数估计它的参数的求解方法是分两步进行：
首先求 的估计值。可由下式算得
p,,,21?
1
)(?)2(?)1(?
)2(?)(?)1(?
)1(?)1(?)(?
qRpqRpqR
pqRqRqR
pqRqRqR
)(?
)2(?
)1(?
pqR
qR
qR
然后再求 的估计值,令则 也是零均值平稳时间序列，
且这是关于平稳时间序列的模型。由此可求得的估计值。而 的样本值算式为
2
21,,,, q?
ptptttt XXXXZ2211?,2,1,0t
},2,1,0,{tZ t
qtqttttZ2211
},2,1,0,{tZ t
221,,,, q?
ptptttt XXXXZ 2211?
},2,1,0,{tZ t
平稳时间序列的线性模型的预报所谓预报是指已经知道一个时间序列现在和过去的数值，对将来的数值作估计。设平稳时间序列为
，若已知观测到的数值
，要估计 的数值，称为在 k时刻作 l步预报。 的估计值记为 或,
称为 l步预报值。平稳序列的预报有多种方法，在这时，我们采用最小方差线性估计的原则。用对 作估计，取
},2,1,0,{tX t
kXXX,,,21? lkX?
lkX?
lkZ
)(? lZk
lkX?
kXXX,,,21? lkX?
k
j
jjk XcclZ
1
0)(
使下面推出的预报公式，是建立在一个基本引理的基础上。
基本引理：若已经观测到平稳时间序列的数值，则
(1)将来第 k+l时刻的白噪声估计值 ；
(2)现在或过去第时刻平稳序列估计值。
这些结论直观上是比较明显的。在这时，我们不给证明。下面我们分三种模型分别介绍其预报公式。
m i n)( 2
1
0
k
j
jjlk XccXE?
kXXX,,,21?
0lk?
)1(,? kjXX jj
1,AR序列模型的预报公式当 时当 时
plkpklkllklklk XXXXXX 112211
pl1
pl?
plkplklklk XXXX 2211
2,MA(q)序列模型的预报公式在上式中出现白噪声的估计值，如何根据的数值来计算白噪声的估计值呢我们采用下面的方法,取分别取,用令,
得到
qltqltltltltX 2211?
kXXX,,,21?
qtqtttt X 2211?
kt,,2,1 0 110 q
11? X
1122 X
qkqkkkk X 2211?
.
3,ARMA(p,q)序列模型的预报公式与前面两种模型的预报方法一样,取这也是一种递推公式，在算二步预报值时要用到一步预报值，在算三步预报值时，要用到一步和二步预报值等，并且还出现了白噪声的估计值。白噪声的估计值的计算和序列模型 白噪声的估计值的计算方法相同,先将 ARMA序列模型改写为
plkplklklk XXXX 2211
qlkqlklklk 2211?
)(qMA
ptptttt XXXX2211
qtqtt2211
两边取估计值,并令得到将这些白噪声的估计值代入,就可以得到所有的预报值
k
j
jp XkXXXX
1
110
1?
0 110 q
XX P )(? 2111
XXX P )( 2111122
XXXX P )( 31221122133
q
j
jkj
p
j
jkjkk XX
1
1
1
.
