1
概率论与数理统计第 16讲本文件可从网址
http://math.vip.sina.com
上下载
(单击 ppt讲义后选择 '工程数学 '子目录 )
2
第十章 随机过程及其统计描述
§ 1 随机过程的概念
3
热噪声电压 电子元件或器件由于内部微观粒子 (如电子 )的随机热骚动所引起的端电压称为热噪声电压,它在任一确定时刻 t的值是一随机变量,记为 V(t),不同时刻对应不同的随机变量,当时间在某区间,譬如 [0,+?)上推移时,热噪声电压表现为一族随机变量,记为
(V(t),t?0),在无线电通讯技术中,接收机在接收信号时,机内的热噪声电压要对信号产生持续的干扰,通过某种装置对元件两端的热噪声电压进行长期测量,并记录结果,作为试验结果,得到一电压 -时间函数,
4
多次试验得到多个电压函数
t
v1(t)
t
v2(t)
t
vk(t)
tj
5
设 T是一无限实数集,把依赖于参数 t?T的一族 (无限多个 )随机变量称为 随机过程,记为
{X(t),t?T},这里对每一个 t?T,X(t)是一随机变量,T叫做 参数集,常把 t看作为时间,称 X(t)
为时刻 t时过程的 状态,而 X(t1)=x(实数 )说成是
t=t1时过程处于状态 x,对于一切 t?T,X(t)所有可能取的一切值的全体称为随机过程的 状态空间,对随机过程 {X(t),t?T}进行一次试验,其结果是 t的函数,记为 x(t),t?T,称它为随机过程的一个 样本函数 或 样本曲线,所有不同的试验结果构成一族样本函数,
6
随机过程可看作多维随机变量的延伸,随机过程与其样本函数的关系就象数理统计中总体与样本的关系一样,
因此,热噪声电压的变化过程 {V(t),t?0}是一随机过程,它的状态空间是 (-?,+?),一次观测到的电压 -时间函数就是这个随机过程的一个样本函数,
在以后的叙述中,为简便起见,常以 X(t),t?T
表示随机过程,在上下文不致混淆的情况下,
一般略去记号中的参数集 T.
7
例 1 抛掷一枚硬币试验,样本空间是 S={H,T},
现藉此定义
),,(,,,,c o s)(-
t
Tt
HttX
当出现当出现?
tt1 t2O
x(t)
x=cos?t
8
其中 P(H)=P(T)=1/2,对任意固定的 t,X(t)是一定义在 S上的随机变量 ; 对不同的 t,X(t)是不同的随机变量,所以 {X(t),t?(-?,+?)}是一族随机变量,即它是随机过程,另一方面,作一次试验,若出现 H,样本函数 x1(t)=cos?t; 若出现 T,
样本函数为 x2(t)=t,所以该随机过程对应的一族样本函数仅包含两个函数,{cos?t,t},显然这个随机过程的状态空间为 (-?,+?).
9
例 2 考虑
X(t)=a cos(wt+Q),t?(-?,?),(1.1)
式中 a和 w是正常数,Q是在 (0,2?)上服从均匀分布的随机变量,
tO
x(t)
x1(t),q1=0
x2(t),q2=3?/2
10
显然,对于每一个固定的时刻 t=t1,
X(t1)=a cos(wt1+Q)是一个随机变量,因而由
(1.1)式确定的 X(t)是一个随机过程,通常称它为随机相位正弦波,它的状态空间是 [-a,a],
在 (0,2?)内随机地取一数 qi,相应地即得这个随机过程的一个样本函数
xi(t)=a cos(wt+qi),qi?(0,2?).
11
例 3 在测量运动目标的距离时存在随机误差,
若以 e(t)表示在时刻 t的测量误差,则它是一个随机变量,当目标随时间 t按一定规律运动时,
测量误差 e(t)也随时间 t而变化,换句话说,e(t)
是依赖于时间 t的一族随机变量,亦即 {e(t),t?0}
是一随机过程,且它们的状态空间是 (-?,+?).
12
例 4 设某城市的 120急救电话台迟早会接到用户的呼叫,以 X(t)表示时间间隔 (0,t]内接到的呼叫次数,它是一个随机变量,且对于不同的
t?0,X(t)是不同的随机变量,于是,{X(t),t?0}是一随机过程,且它的状态空间是 {0,1,2,...}.
13
例 5 考虑抛掷一颗骰子的试验,(i) 设 Xn是第 n
次 (n?1)抛掷的点数,对于 n=1,2,...的不同值,
Xn是不同的随机变量,因而 {Xn,n?1}构成一随机过程,称为伯努利过程或伯努利随机序列,
(ii)设 Xn是前 n次抛掷中出现的最大点数,{Xn,
n?1}也是一随机过程,它们的状态空间都是
{1,2,3,4,5,6}.
14
工程技术中有很多随机现象,例如,地震波幅,
结构物承受的风荷载,时间间隔 (0,t]内船舶甲板 "上浪 "的次数,通讯系统和自控系统中的各种噪声和干扰,以及生物群体的生长等等变化过程都可用随机过程这一数学模型来描绘,
不过,这些随机过程都不能象随机相位正弦波那样,很方便,很具体地用时间和随机变量 (一个或几个 )的关系式表示出来,其主要原因是自然界和社会产生随机因素的机理极为复杂,
甚至不可能观察到,因此只有通过分析样本函数才能掌握它们的规律性,
15
随机过程的不同描述方式在本质上是一致的,
在理论分析时往往以随机变量族的描述方式作为出发点,而在实际测量和数据处理中往往采用样本函数族的描述方式,这两种描述方式在理论和实际两方面是互为补充的,
随机过程可依其在任一时刻的状态是连续型或离散型随机变量而分成 连续型随机过程 和离散型随机过程,热噪声电压,例 2和 例 3是连续型随机过程,例 1,例 4和 例 5是离散型随机过程,
16
随机过程还可依时间 (参数 )是连续或离散进行分类,当时间集 T是有限或无限区间时,称
{X(t),t?T}为连续参数随机过程 (以下如无特别指明,"随机过程 "总是指连续参数而言的 ),
如果 T是离散集合,例如 T={0,1,2,...},则称
{X(t),t?T}为离散参数随机过程或随机序列,
此时常记成 {Xn,n=0,1,2,...}等,如 例 5.
17
有时为了数字化的需要,实际中也常将连续参数随机过程转化为随机序列处理,例如,我们只在时间集 T={Dt,2Dt,...,nDt,...}上观察电阻热噪声电压 V(t),这时就得到一个随机序列
{V1,V2,...,Vn,...},
其中 Vn=V(nDt),显然,当 Dt充分小时,这个随机序列能够近似地描述连续时间情况下的热噪声电压,
18
参数 t通常解释为时间,但它也可以表示其它的量,诸如序号,距离等,例如,在例 5中,我们假定每隔一个单位时间抛掷骰子一次,那么第
n次抛掷的骰子出现的点数 Xn就相当于 t=n时骰子出现的点数,
19
§ 2 随机过程的统计描述
20
(一 )随机过程的分布函数族 给定随机过程
{X(t),t?T},对于每一个固定的 t?T,随机变量
X(t)的分布函数一般与 t有关,记为
FX(x,t)=P{X(t)?x},x?R,
称它为随机过程 {X(t),t?T}的 一维分布函数,
而 {FX(x,t),t?T}称为 一维分布函数族,
一维分布函数族刻画了随机过程在各个个别时刻的统计特性,
21
为了描述随机过程在不同时刻状态之间的统计联系,一般可对任意 n(n=2,3,...)个不同时刻
t1,t2,...,tn?T,引入 n维随机变量 (X(t1),X(t2),...,
X(tn)),它的分布函数记为
FX(x1,x2,...,xn;t1,t2,...,tn)=
P{X(t1)?x1,X(t2)?x2,...,X(tn)?xn},
xi?R,i=1,2,...,n.
对于固定的 n,称 {FX(x1,x2,...,xn;t1,t2,...,tn),ti?T}
为随机过程 {X(t),t?T}的 n维分布函数族,
22
当 n充分大时,n维分布函数族能够近似地描述随机过程的统计特性,显然,n取得越大,则
n维分布函数族描述随机过程的特性也越趋完善,一般,可以指出 (科尔莫戈罗夫定律 ):有限维分布函数族,即 {FX(x1,x2,...,xn,n=1,2,...,t1,
t2,...,tn),ti?T}完全地确定了随机过程的统计特性,
23
(二 ) 随机过程的数字特征 随机过程的分布函数族能完善地刻画随机过程的统计特性,但是人们在实际中,根据观察往往只能得到随机过程的部分资料 (样本 ),用它来确定有限维分布函数族是困难的,甚至是不可能的,因而象引入随机变量的数字特征那样,有必要引入随机过程的基本的数字特征 -均值函数和相关函数等,将会看到,这些数字特征在一定条件下是便于测量的,
24
给定随机过程 {X(t),t?T},固定 t?T,X(t)是一随机变量,它的一切均值一般与 t有关,记为
mX(t)=E[X(t)],(2.1)
称 mX(t)随机过程 {X(t),t?T}的 均值函数,
注意,mX(t)是随机过程的所有样本函数在时刻
t的函数值的平均值,通常称这种平均为 集平均 或 统计平均,
均值函数 mX(t)表示了随机过程 X(t)在各个时刻的摆动中心,
25
把随机变量 X(t)的二阶原点矩和二阶中心矩分别记作
)3.2(
},)]()({[)](V a r [)()(
)2.2()]([)(
22
22
ttXEtXtDt
tXEt
XXX
X
m?
-
和并分别称它们为随机过程 {X(t),t?T}的均方值函数和方差函数,方差函数的算术平方根?X(t)
称为随机过程的标准差函数,它表示随机过程
X(t)在时刻 t对于均值 mX(t)的平均偏离程度,
26
t
X(t)
mX(t)
mX(t)-?X(t)
mX(t)X(t)
x1(t)
x2(t)
xi(t)
27
又设任意 t1,t2?T,把随机变量 X(t1)和 X(t2)的二阶矩原点混合矩记作
RXX(t1,t2)=E[X(t1)X(t2)],(2.4)
并称它为随机过程 {X(t),t?T}的 自相关函数,
简称 相关函数,RXX也简记为 RX(t1,t2).
X(t1)和 X(t2)的二阶混合中心矩记作
CXX(t1,t2)=Cov[X(t1),X(t2)]
=E{[X(t1)-mX(t1)][X(t2)-mX(t2)]},(2.5)
并称它为随机过程 {X(t),t?T}的自协方差函数,
简称协方差函数,CXX(t1,t2)也常简记为 CX(t1,t2).
28
由 (2.2)和 (2.4)式知
)6.2().,()(2 ttRt XX
)8.2().(),(),()( 22 tttRttCt XXXX m? -
由 (2.5)式展开,得
CX(t1,t2)=RX(t1,t2)-mX(t1)mX(t2),(2.7)
特别,当 t1=t2=t时,由 (2.7)式得由上面可知诸数字特征中最主要的是均值函数和自相关函数,
29
随机过程 {X(t),t?T},如果对每一个 t?T,二阶矩 E[X2(t)]都存在,则称它为 二阶矩过程,
二阶矩过程的相关函数总存在,事实上,由于
E[X2(t1)],E[X2(t2)]存在,根据柯西 -许瓦兹不等式有
{E[X(t1)X(t2)]}?E[X2(t1)X2(t2)],t1,t2?T.
即知 RX(t1,t2)=E[X(t1)X(t2)]存在
30
在实际中,常遇到一种特殊的二阶矩过程 -正态过程,随机过程 {X(t),t?T}称为 正态过程,如果它的每一个有限维分布都是正态分布,亦即对任意整数 n?1及任意 t1,t2,...,tn?T,(X(t1),
X(t2),...,X(tn))服从 n维正态分布,由第四章的结论知,正态过程的全部统计特性完全由它的均值函数和自协方差函数 (或自相关函数 )所确定,
31
例 1 设随机变量 A~N(0,1),B~U(0,2),A,B相互独立,求随机过程 X(t)=At+B,t?T=(-?,?)的均值函数 mX(t)和自相关函数 RX(t1,t2).
解 由题意 E(A)=0,E(A2)=1,E(B)=1,E(B2)=4/3,
mX(t)=E[X(t)]=E[At+B]=tE[A]+E[B]=1,
RX(t1,t2)=E[X(t1)X(t2)]=E[(At1+B)(At2+B)]
=t1t2E[A2]+(t1+t2)E[AB]+E[B2]
=t1t2+4/3,t1,t2?T.
32
例 2 求随机相位正弦波 (§ 1例 2)的均值函数,
方差函数和自相关函数,
解 由假设 Q的概率密度为
.,0
,20,
2
1
)(
其它
q
qf
,0d
2
1
)c o s (
)]c o s ([)]([)(
2
0
q
qw
Qwm
ta
taEtXEt
X
于是,由定义
33
而自相关函数
,c os
2
d
2
1
)c os ()c os (
)]c os ()c os ([
)]()([),(
2
2
0
21
2
21
2
2121
w?
q
qwqw
QwQw
a
tta
ttaE
tXtXEttR
X
.
2
),()(),()(
2
22 attRtttRt
XXXX-? m?
式中?=t2-t1,特别,令 t1=t2=t,即得方差函数为
34
例 3 设 X(t)=Acoswt+Bsinwt,t?T=(-?,+?),其中 A,B是相互独立,且都服从正态分布 N(0,?2)
的随机变量,w是实常数,试证明 X(t)是正态过程,并求它的均值函数和自相关函数,
解 由题设 A,B是相互独立的正态变量,所以
(A,B)是二维正态变量,对任意一组实数
t1,t2,...,tn?T,
X(ti)=Acoswti+Bsinwti,i=1,2,...,n
都是 A,B的线性组合,而正态变量的任何线性组合仍然是正态变量,因此 X(t1),X(t2),...,X(tn)
是 n维正态变量,因为 n,ti是任意的,因此 X(t)
是正态过程,
35
另因 E(A)=E(B)=E(AB)=0,E(A2)=E(B2)=?2,
由此可算得 X(t)的均值函数和自协方差函数
(自相关函数 )分别为,
mX(t)=E(Acoswt+Bsinwt)=0,
CX(t1,t2)=RX(t1,t2)
=E[(Acoswt1+Bsinwt1)(Acoswt2+Bsinwt2)]
=?2(coswt1coswt2+sinwt1sinwt2)
=?2cosw(t2-t1).
36
(三 )二维随机过程的分布函数和数字特征 实际问题中,有时必须同时研究两个或以上随机过程及它们之间的统计联系,例如,某地在时段 (0,t]内的最高温度 X(t)和最低温度 Y(t)都是随机过程,需要研究它们的统计联系,又如,输入到一个系统的信号和噪声可以都是随机过程,这时输出也是随机过程,需要研究输出与输入之间的统计联系等,对这类问题,除了对各个随机过程的统计特性加以研究外,还必须将几个随机过程作为整体研究其统计特性,
37
设 X(t),Y(t)是依赖于同一参数 t?T的随机过程,
对于不同的 t?T,(X(t),Y(t))是不同的二维随机变量,称 {(X(t),Y(t)),t?T}为 二维随机过程,
给定二维随机过程 {(X(t),Y(t)),t?T},t1,t2,...,tn;
t'1,t'2,...,t'm是 T中任意两组实数,称 n+m维随机变量 (X(t1),X(t2),...,X(tn);Y(t'1),Y(t'2),...Y(t'm))的分布函数
F(x1,x2,...,xn;t1,t2,...,tn:y1,y2,...,yn;t'1,t'2,...,t'm),
xi,yj?R,i=1,2,...,n,j=1,2,...,m
为这个二维过程的 n+m维分布函数 或随机过程 X(t)与 Y(t)的 n+m维联合分布函数,
38
如果对于任意的正整数 n,m,任意的数组 t1,t2,
...,tn?T,t'1,t'2,...,t'm?T,n维随机变量 (X(t1),X(t2),
...,X(tn))与 m维随机变量 Y(t'1),Y(t'2),...Y(t'm)相互独立,称随机过程 X(t)和 Y(t)是 相互独立 的,
关于数字特征,除了 X(t),Y(t)各别的均值和自相关函数外,在应用课题中感兴趣的是 X(t)和
Y(t)的二阶混合原点矩,记作
RXY(t1,t2)=E[X(t1)Y(t2)],t1,t2?T,(2.9)
并称它为随机过程 X(t)和 Y(t)的 互相关函数,
39
还有如下定义的 X(t)和 Y(t)的 互协方差函数
CXY(t1,t2)=E{[X(t1)-mX(t1)][Y(t2)-mY(t2)]}
=RXX(t1,t2)-mX(t1)mY(t2),t1,t2?T,(2.10)
如二随随机过程 (X(t),Y(t))对任意的 t1,t2?T有
CXY(t1,t2)=0,(2.11)
则称随机过程 X(t)和 Y(t)是 不相关 的,
两个随机过程如果是相互独立的,且它们的二阶矩存在,则它们必然不相关,反之,从不相关一般并不能推断出它们是相互独立的,
40
当同时考虑 n(n>2)个随机过程或 n维随机过程时,可引入它们的多维分布,以及均值函数和两两之间的互相关函数 (或互协方差函数 ).
在许多应用问题中,经常要研究几个随机过程之和 (例如,将信号和噪声同时输入到一个线性系统的情形 )的统计特性,现考虑三个随机过程 X(t),Y(t)和 Z(t)之和的情形,令
W(t)=X(t)+Y(t)+Z(t),
显然,均值函数
mW(t)=mX(t)+mY(t)+mZ(t).
41
而 W(t)的自相关函数可以根据均值运算规则和相关函数的定义得到,
RWW(t1,t2)=E[W(t1)W(t2)]
=RXX(t1,t2)+RXY(t1,t2)+RXZ(t1,t2)
+RYX(t1,t2)+RYY(t1,t2)+RYZ(t1,t2)
+RZX(t1,t2)+RZY(t1,t2)+RZZ(t1,t2).
此事表明,几个随机过程之和的自相关函数可以表示为各个随机过程的自相关函数以及各对随机过程的互相关函数之和,
42
如果上述三个随机过程是两两不相关的,且各自的均值函数都为零,则由 (2.11)式可知诸互相关函数均等于零,此时 W(t)的自相关函数简单地等于各个过程的自相关函数之和,即
RWW(t1,t2)=RXX (t1,t2)+RYY (t1,t2)+RZZ (t1,t2)
(2.12)
特别地,令 t1=t2=t,由上式可得 W(t)的方差函数
(此外即为均方值函数 )为
).()()()()( 22222 ttttt ZYXWW
43
§ 3 泊松过程及维纳过程
44
泊松过程及维纳过程是两个典型的随机过程,
它们在随机过程的理论和应用中都有重要的地位,它们都属于所谓独立增量过程,所以下面先介绍独立增量过程,
给定二阶矩过程 {X(t),t?0},称随机变量 X(t)-
X(s),0?s<t为随机过程在区间 (s,t]上的增量,
如果对任意选定的正整数 n和任意选定的
0?t0<t1<t2...<tn,n个增量
X(t1)-X(t0),X(t2)-X(t1),...,X(tn)-X(tn-1)
相互独立,则称 {X(t),t?0}为 独立增量过程,
45
对于独立增量过程,可以证明,在 X(0)=0的条件下,它的有限维分布函数族可以由增量
X(t)-X(s)(0?s<t)的分布所确定,
特别,若对任意的实数 h和 0?s+h<t+h,X(t+h)-
X(s+h)与 X(t)-X(s)具有相同的分布,则称 增量具有平稳性,这时,增量 X(t)-X(s)的分布函数实际上只依赖于时间差 t-s(0?s<t),而不依赖于 t和 s本身 (事实上,令 h?-s即知 ),当增量具有平稳性时,称相应的独立增量过程是 齐次的 或时齐的,
46
设 X(0)=0和方差函数 DX(t)为已知,计算独立增量过程 {X(t),t?0}的协方差函数 CX(s,t).
记 Y(t)=X(t)-mX(t),则当 X(t)具有独立增量时,
Y(t)也具有独立增量 ; Y(0)=0,E[Y(t)]=0,且方差函数 DY(t)=E[Y2(t)]=DX(t),当 0?s<t时
CX(s,t)=E[Y(s)Y(t)]
=E{[Y(s)-Y(0)][(Y(t)-Y(s))+Y(s)]}
=E[Y(s)-Y(0)]E[Y(t)-Y(s)]+E[Y2(s)]
=DX(s).
由此知对任意 s,t?0,
CX(s,t)=DX(min(s,t)),(3.1)
47
(一 )泊松过程 考虑下列随时间推移迟早会重复出现的事件,
(i) 自电子管阴极发射的电子到达阳极 ;
(ii) 意外事故或意外差错的发生 ;
(iii) 要求服务的顾客到达服务站,此处 "
顾客 "与 "服务站 "的含义也是相当广泛的,例如,"顾客 "可以是电话的呼叫,"服务站 "是
120急救台 ; "顾客 "可以是来领配件的汽车维修工,"服务站 "是维修站配件仓库的管理员,
"顾客 "也可以是联网的个人电脑,"服务站 "
是某网站的主页等等,
48
为建立一般模型方便起见,把电子,顾客等看作时间轴上的质点,电子到达阳极,顾客到达服务站等事件的发生相当于质点出现,于是抽象地说,我们研究的对象将是随时间推移,陆续地出现在时间轴上的许多质点所构成的随机的质点流,
以 N(t),t?0表示在时间间隔 (0,t]内出现的质点数,{N(t),t?0}是一状态取非负整数,时间连续的随机过程,称为 计数过程,
49
一样本函数如图所示,
1
3
5
N(t)
t1 t2 t5O t
50
令 N(t0,t)=N(t)-N(t0),0?t0<t,它表示时间间隔
(t0,t]内出现的质点数,"在 (t0,t]内出现 k个质点
",即 {N(t0,t)=k}是一事件,其概率记为
Pk(t0,t)=P{N(t0,t)=k},k=0,1,2,...,(3.2)
现假设 N(t)满足如下条件,
1o 在不相重叠的区间上的增量具有独立性 ;
2o 对于充分小的 Dt
P1(t,t+Dt)=P{N(t,t+Dt)=1}=lDt+o(Dt),(3.3)
其中常数 l>0称为过程 N(t)的强度,而 o(Dt)当
Dt?0时是关于 Dt的高阶无穷小 ;
51
3o 对于充分小的 Dt,
)4.3(
)( Δ})Δ,({)Δ,(
22
tojtttNPtttP
jj
j
4oN(0)=0.
把满足条件 1o~4o的计数过程 {N(t),t?0}称作 强度为 l的泊松过程,相应的质点流或即质点出现的随机时刻 t1,t2,...称作 强度为 l的泊松流,
下面先求出增量的分布律,
52
对泊松过程,因
)5.3().( ΔΔ1
)Δ,()Δ,(1)Δ,(
32
1),(
2
10
0
0
tot
tttPtttPtttP
ttP
k
k
k
k
-?
-?-
l
有和结合条件下面就泊松过程来计算概率 (3.2)
53
首先确定 P0(t0,t),为此,对 Dt>0,考虑
P0(t0,t+Dt)=P{N(t0,t+Dt)=0}
=P{N(t0,t)+N(t,t+Dt)=0}
=P{N(t0,t)=0,N(t,t+Dt)=0},
由条件 1o和 (3.5)式,上式可写成
P0(t0,t+Dt)=P{N(t0,t)=0}P{N(t,t+Dt)=0}
=P0(t0,t)[1-lDt+o(Dt)]
或 P0(t0,t+Dt)-P0(t0,t)?-lP0(t0,t)Dt+o(Dt).
现以 Dt除上式两边,并令 Dt?0,得微分方程
)6.3().,(
d
),(d
00
00 ttP
t
ttP l-?
54
复习一阶线性微分方程的解,
一阶线性微分方程
)()(
d
d xQyxP
x
y
.e)(ee
.de)(e
d)(d)(d)(
d)(d)(
dxxQC
CxxQy
xxPxxPxxP
xxPxxP
--
-
它的通解是
55
因为 N(t0,t0)=0,故 P0(t0,t0)=1,把它看作初始条件即可从方程 (3.6)解得
P0(t0,t)=exp[-l(t-t0)],t>t0,(3.7)
再来计算 Pk(t0,t),k?1,根据和事件概率公式和条件 1o,有
P{N(t0,t+Dt)=k}=P{N(t0,t)+N(t,t+Dt)=k}
.}),({})Δ,({
0
0?
-
k
j
jkttNPjtttNP
),2()()Δ,(),()Δ,(
22
0
- ktotttPttPtttP
j
j
k
j
jkj
由 P0(t,t+Dt)=1-lDt+o(Dt)并注意到
56
上式可表示成
-
k
j
jkjk ttPtttPtttP
0
00 ),()Δ,()Δ,(
)8.3(.),,(),(
d
),(d
0010
0 ttttPttP
t
ttP
kk
k-?
-ll
=[1-lDt+o(Dt)]Pk(t0,t)
+[lDt+o(Dt)]Pk-1(t0,t)+o(Dt) (k?1).
将此式适当整理后,两边除以 Dt,并令 Dt?0,
就可以得到 P0(t0,t)满足的微分 -差分方程初始条件为 Pk(t0,t0)=0,k?1,(3.9)
57
于是,令 k=1,并利用已求出的 P0(t0,t),可解出
P1(t0,t)=l(t-t0)exp[-l(t-t0)],t>t0.
如此重复,即逐次令 k=2,3,...就可求得在 (t0,t]
内出现 k个质点的概率为
Pk(t0,t)=P{N(t0,t)=k}
,2,1,0,,e
!
)]([
0
)(0 0-? -- ktt
k
tt ttk ll
(3.10)
由上式易见增量 N(t0,t)=N(t)-N(t0)的概率分布是参数为 l(t-t0)的泊松分布,且只与时间差 t-
t0有关,所以强度为 l的泊松过程是一齐次的独立增量过程,
58
在有些书中,泊松过程也用另一种定义,即若计数过程 {N(t),t?0}满足下列三个条件,
(i)它是独立增量过程 ;
(ii)对任意的 t>t0?0,增量 N(t)-N(t0)~?(l(t-t0));
(iii) N(0)=0,
则称 {N(t),t?0}是一强度为 l的泊松过程,
则从前面的演算结果不难看到从条件 1o~4o可以推出 (i)~(iii),反之,在 (ii)中令 t-t0=Dt,并利用 e-lDt的泰勒级数展开式,就能得到条件 2o和
3o,由此,定义泊松过程的两组条件是等价的,
59
因为 N(t)-N(t0)~?(l(t-t0)),t>t0?0,可知
E[N(t)-N(t0)]=Var[N(t)-N(t0)]=l(t-t0).
特别地,令 t0=0,由于假设 N(0)=0,故可推知泊松过程的均值函数和方差函数分别为
E[N(t)]=lt,DN(t)=var[N(t)]=lt,(3.11)
从 (3.11)式可以看到,l=E[N(t)/t],即泊松过程的强度 l(常数 )等于单位长时间间隔内出现的质点数目的期望值,关于泊松过程的协方差函数,由 (3.1),(3.11)式直接推得,
CN(s,t)=l min(s,t),s,t?0.
而相关函数
RN(s,t)=E[N(s)N(t)]=l2st+l min(s,t),s,t?0.
60
如果强度 l非均匀,即 l是时间的函数 l=l(t),
t?0,则称泊松过程为非齐次的,对于非齐次泊松过程,用类似的方法,可得
.d)(1d)(),(
.d)()]([
.,2,1,0,0
,
!
ed)(
})()({
),m a x (
0
),m i n (
0
0
0
d)(
0
0
0
-
-
tsts
N
t
k
t
t
tsR
tNE
ktt
k
ktNtNP
t
t
ll
l
l
l
61
下面介绍与泊松过程有关的两个随机变量,即等待时间和点间间距,以及它们的概率分布,
在较多的实际问题中,通常对质点的观察,不是对时间间隔 (t1,t2]中出现的质点计数,而是对记录到某一预定数量的质点所需要的时间进行计时,例如,为研究含某种放射性元素的物质,常对它发射出来的粒子作计时试验,
一般,设质点 (或事件 )依次重复出现的时刻
t1,t2,...,tn,...
是一强度为 l的泊松流,{N(t),t?0}为相应的泊松过程,
62
以惯用记号记
W0=0,Wn=tn,n=1,2,....
Wn是一随机变量,表示第 n个质点 (或事件第 n
次 )出现的 等待时间,如下图所示,
T1 T2 Tk
O W1 W2 Wk-1 Wk t
63
求 Wn的分布函数如下
.0,0)(
,0,
!
)(
})({
})({1}{1}{)(
--
-
ttF
t
k
t
entNP
ntNPtWPtWPtF
n
n
W
nk
k
t
nnW
l
l
)12.3(
.,0
,0,e
)!1(
)(
d
)(d
)(
1
-
-
-
其它
t
n
t
t
tF
tf
t
n
W
W
n
n
lll
将它关于 t求导,得 Wn的概率密度为
64
这就是说,泊松流 (泊松过程 )的等待时间 Wn服从 G分布,特别,质点 (或事件 )首次出现的等待时间 W1服从指数分布,
)13.3(
.,0
,0,e)(
1
-
其它
ttf t
W
ll
又记 Ti=Wi-Wi-1,i=1,2,...
它也是一个连续型随机变量,称为相继出现的第 i-1个质点和第 i个质点的点间间距,下面来求 Ti的分布,
65
由于 T1=W1,所以 T1服从指数分布,对于 i?2,也可以证明,Ti也服从同样的指数分布,即
)14.3(,,3,2
.0,0
,0,e)(
- i
t
ttf t
T i
ll
且 T1,T2,...,Ti,...是相互独立的随机变量,即有定理一 强度为 l的泊松流 (泊松过程 )的点间间距是相互独立的随机变量,且服从同一个指数分布,
66
定理二 如果任意相继出现的两个质点的点间间距是相互独立,且服从同一个指数分布,则质点流构成了强度为 l的泊松过程,
这两个定理刻画出了泊松过程的特征,定理二说明,为要确定一个计数过程是不是泊松过程,
只要用统计方法检验点间间距是否独立,且服从同一个指数分布,
泊松过程或泊松流是研究排队理论的工具,在技术领域内它又是构造 (模似 )一类重要噪声
(散粒噪声 )的基础,
67
(二 )维纳过程 维纳过程是布朗运动的数学模型,英国植物学家布朗在显微镜下,观察漂浮在平静的液面上的微小粒子,发现它们不断地进行着杂乱无章的运动,这种现象后来称为布朗运动,以 W(t)表示运动中一微粒从时刻 t=0
到时刻 t>0的位移的横坐标 (同样也可以讨论纵坐标 ),且设 W(0)=0,根据爱因斯坦 1905年提出的理论,微粒的这种运动是由于受到大量随机的相互独立的分子的碰撞的结果,于是,粒子在时段 (s,t]上的位移可以看作是许多微小位移的代数和,则 W(t)-W(s)服从正态分布,
68
其次,由于粒子的运动完全是由液体分子的不规则碰撞而引起的,这样,在不相重叠的时间间隔内,碰撞的次数,大小和方向可假定是相互独立的,这就是说 W(t)具有独立的增量,另外,液面处于平衡状态,这时粒子在一时段上位移的概率分布可以认为只依赖于这时段的长度,而与观察的起始时刻无关,即 W(t)具有平稳增量,
69
给定二阶矩过程 {W(t),t?0},如果它满足
1o具有独立增量 ;
2o对任意的 t>s?0,增量
W(t)-W(s)~N(0,?2(t-s)),且?>0;
3oW(0)=0,
则称此过程为 维纳过程,
W(t)
O t
70
维纳过程增量的分布只与时间差有关,所以它是齐次的独立增量过程,它也是正态过程,事实上,对任意 n(n?1)个时刻 0<t1<t2<...<tn(记
t0=0),把 W(tk)写成
,,,2,1,)]()([)(
1
1 nktWtWtW
k
i
iik-
-
它们都是独立的正态随机变量的和,因此
(W(t1),W(t2),...,W(tn))是 n维正态变量,即
(W(t),t?0}是正态过程,因此,其分布完全由它的均值函数与自协方差函数所确定,
71
根据条件 2o,3o可知 W(t)~N(0,?2t),由此可得维纳过程的均值与方差函数分别为
E[W(t)]=0,DW(t)=?2t,
其中?2称为维纳过程的参数,它可通过实验观察值加以估计,再根据 (3.1)就可求得自协方差函数 (自相关函数 )为
CW(s,t)=RW(s,t)=?2min(s,t),s,t>0.
维纳过程不只是布朗运动的数学模型,电子元件在恒温下的热噪声也可归结为维纳过程,
72
作业 第十章习题第 353页第 4题
73
请提问
概率论与数理统计第 16讲本文件可从网址
http://math.vip.sina.com
上下载
(单击 ppt讲义后选择 '工程数学 '子目录 )
2
第十章 随机过程及其统计描述
§ 1 随机过程的概念
3
热噪声电压 电子元件或器件由于内部微观粒子 (如电子 )的随机热骚动所引起的端电压称为热噪声电压,它在任一确定时刻 t的值是一随机变量,记为 V(t),不同时刻对应不同的随机变量,当时间在某区间,譬如 [0,+?)上推移时,热噪声电压表现为一族随机变量,记为
(V(t),t?0),在无线电通讯技术中,接收机在接收信号时,机内的热噪声电压要对信号产生持续的干扰,通过某种装置对元件两端的热噪声电压进行长期测量,并记录结果,作为试验结果,得到一电压 -时间函数,
4
多次试验得到多个电压函数
t
v1(t)
t
v2(t)
t
vk(t)
tj
5
设 T是一无限实数集,把依赖于参数 t?T的一族 (无限多个 )随机变量称为 随机过程,记为
{X(t),t?T},这里对每一个 t?T,X(t)是一随机变量,T叫做 参数集,常把 t看作为时间,称 X(t)
为时刻 t时过程的 状态,而 X(t1)=x(实数 )说成是
t=t1时过程处于状态 x,对于一切 t?T,X(t)所有可能取的一切值的全体称为随机过程的 状态空间,对随机过程 {X(t),t?T}进行一次试验,其结果是 t的函数,记为 x(t),t?T,称它为随机过程的一个 样本函数 或 样本曲线,所有不同的试验结果构成一族样本函数,
6
随机过程可看作多维随机变量的延伸,随机过程与其样本函数的关系就象数理统计中总体与样本的关系一样,
因此,热噪声电压的变化过程 {V(t),t?0}是一随机过程,它的状态空间是 (-?,+?),一次观测到的电压 -时间函数就是这个随机过程的一个样本函数,
在以后的叙述中,为简便起见,常以 X(t),t?T
表示随机过程,在上下文不致混淆的情况下,
一般略去记号中的参数集 T.
7
例 1 抛掷一枚硬币试验,样本空间是 S={H,T},
现藉此定义
),,(,,,,c o s)(-
t
Tt
HttX
当出现当出现?
tt1 t2O
x(t)
x=cos?t
8
其中 P(H)=P(T)=1/2,对任意固定的 t,X(t)是一定义在 S上的随机变量 ; 对不同的 t,X(t)是不同的随机变量,所以 {X(t),t?(-?,+?)}是一族随机变量,即它是随机过程,另一方面,作一次试验,若出现 H,样本函数 x1(t)=cos?t; 若出现 T,
样本函数为 x2(t)=t,所以该随机过程对应的一族样本函数仅包含两个函数,{cos?t,t},显然这个随机过程的状态空间为 (-?,+?).
9
例 2 考虑
X(t)=a cos(wt+Q),t?(-?,?),(1.1)
式中 a和 w是正常数,Q是在 (0,2?)上服从均匀分布的随机变量,
tO
x(t)
x1(t),q1=0
x2(t),q2=3?/2
10
显然,对于每一个固定的时刻 t=t1,
X(t1)=a cos(wt1+Q)是一个随机变量,因而由
(1.1)式确定的 X(t)是一个随机过程,通常称它为随机相位正弦波,它的状态空间是 [-a,a],
在 (0,2?)内随机地取一数 qi,相应地即得这个随机过程的一个样本函数
xi(t)=a cos(wt+qi),qi?(0,2?).
11
例 3 在测量运动目标的距离时存在随机误差,
若以 e(t)表示在时刻 t的测量误差,则它是一个随机变量,当目标随时间 t按一定规律运动时,
测量误差 e(t)也随时间 t而变化,换句话说,e(t)
是依赖于时间 t的一族随机变量,亦即 {e(t),t?0}
是一随机过程,且它们的状态空间是 (-?,+?).
12
例 4 设某城市的 120急救电话台迟早会接到用户的呼叫,以 X(t)表示时间间隔 (0,t]内接到的呼叫次数,它是一个随机变量,且对于不同的
t?0,X(t)是不同的随机变量,于是,{X(t),t?0}是一随机过程,且它的状态空间是 {0,1,2,...}.
13
例 5 考虑抛掷一颗骰子的试验,(i) 设 Xn是第 n
次 (n?1)抛掷的点数,对于 n=1,2,...的不同值,
Xn是不同的随机变量,因而 {Xn,n?1}构成一随机过程,称为伯努利过程或伯努利随机序列,
(ii)设 Xn是前 n次抛掷中出现的最大点数,{Xn,
n?1}也是一随机过程,它们的状态空间都是
{1,2,3,4,5,6}.
14
工程技术中有很多随机现象,例如,地震波幅,
结构物承受的风荷载,时间间隔 (0,t]内船舶甲板 "上浪 "的次数,通讯系统和自控系统中的各种噪声和干扰,以及生物群体的生长等等变化过程都可用随机过程这一数学模型来描绘,
不过,这些随机过程都不能象随机相位正弦波那样,很方便,很具体地用时间和随机变量 (一个或几个 )的关系式表示出来,其主要原因是自然界和社会产生随机因素的机理极为复杂,
甚至不可能观察到,因此只有通过分析样本函数才能掌握它们的规律性,
15
随机过程的不同描述方式在本质上是一致的,
在理论分析时往往以随机变量族的描述方式作为出发点,而在实际测量和数据处理中往往采用样本函数族的描述方式,这两种描述方式在理论和实际两方面是互为补充的,
随机过程可依其在任一时刻的状态是连续型或离散型随机变量而分成 连续型随机过程 和离散型随机过程,热噪声电压,例 2和 例 3是连续型随机过程,例 1,例 4和 例 5是离散型随机过程,
16
随机过程还可依时间 (参数 )是连续或离散进行分类,当时间集 T是有限或无限区间时,称
{X(t),t?T}为连续参数随机过程 (以下如无特别指明,"随机过程 "总是指连续参数而言的 ),
如果 T是离散集合,例如 T={0,1,2,...},则称
{X(t),t?T}为离散参数随机过程或随机序列,
此时常记成 {Xn,n=0,1,2,...}等,如 例 5.
17
有时为了数字化的需要,实际中也常将连续参数随机过程转化为随机序列处理,例如,我们只在时间集 T={Dt,2Dt,...,nDt,...}上观察电阻热噪声电压 V(t),这时就得到一个随机序列
{V1,V2,...,Vn,...},
其中 Vn=V(nDt),显然,当 Dt充分小时,这个随机序列能够近似地描述连续时间情况下的热噪声电压,
18
参数 t通常解释为时间,但它也可以表示其它的量,诸如序号,距离等,例如,在例 5中,我们假定每隔一个单位时间抛掷骰子一次,那么第
n次抛掷的骰子出现的点数 Xn就相当于 t=n时骰子出现的点数,
19
§ 2 随机过程的统计描述
20
(一 )随机过程的分布函数族 给定随机过程
{X(t),t?T},对于每一个固定的 t?T,随机变量
X(t)的分布函数一般与 t有关,记为
FX(x,t)=P{X(t)?x},x?R,
称它为随机过程 {X(t),t?T}的 一维分布函数,
而 {FX(x,t),t?T}称为 一维分布函数族,
一维分布函数族刻画了随机过程在各个个别时刻的统计特性,
21
为了描述随机过程在不同时刻状态之间的统计联系,一般可对任意 n(n=2,3,...)个不同时刻
t1,t2,...,tn?T,引入 n维随机变量 (X(t1),X(t2),...,
X(tn)),它的分布函数记为
FX(x1,x2,...,xn;t1,t2,...,tn)=
P{X(t1)?x1,X(t2)?x2,...,X(tn)?xn},
xi?R,i=1,2,...,n.
对于固定的 n,称 {FX(x1,x2,...,xn;t1,t2,...,tn),ti?T}
为随机过程 {X(t),t?T}的 n维分布函数族,
22
当 n充分大时,n维分布函数族能够近似地描述随机过程的统计特性,显然,n取得越大,则
n维分布函数族描述随机过程的特性也越趋完善,一般,可以指出 (科尔莫戈罗夫定律 ):有限维分布函数族,即 {FX(x1,x2,...,xn,n=1,2,...,t1,
t2,...,tn),ti?T}完全地确定了随机过程的统计特性,
23
(二 ) 随机过程的数字特征 随机过程的分布函数族能完善地刻画随机过程的统计特性,但是人们在实际中,根据观察往往只能得到随机过程的部分资料 (样本 ),用它来确定有限维分布函数族是困难的,甚至是不可能的,因而象引入随机变量的数字特征那样,有必要引入随机过程的基本的数字特征 -均值函数和相关函数等,将会看到,这些数字特征在一定条件下是便于测量的,
24
给定随机过程 {X(t),t?T},固定 t?T,X(t)是一随机变量,它的一切均值一般与 t有关,记为
mX(t)=E[X(t)],(2.1)
称 mX(t)随机过程 {X(t),t?T}的 均值函数,
注意,mX(t)是随机过程的所有样本函数在时刻
t的函数值的平均值,通常称这种平均为 集平均 或 统计平均,
均值函数 mX(t)表示了随机过程 X(t)在各个时刻的摆动中心,
25
把随机变量 X(t)的二阶原点矩和二阶中心矩分别记作
)3.2(
},)]()({[)](V a r [)()(
)2.2()]([)(
22
22
ttXEtXtDt
tXEt
XXX
X
m?
-
和并分别称它们为随机过程 {X(t),t?T}的均方值函数和方差函数,方差函数的算术平方根?X(t)
称为随机过程的标准差函数,它表示随机过程
X(t)在时刻 t对于均值 mX(t)的平均偏离程度,
26
t
X(t)
mX(t)
mX(t)-?X(t)
mX(t)X(t)
x1(t)
x2(t)
xi(t)
27
又设任意 t1,t2?T,把随机变量 X(t1)和 X(t2)的二阶矩原点混合矩记作
RXX(t1,t2)=E[X(t1)X(t2)],(2.4)
并称它为随机过程 {X(t),t?T}的 自相关函数,
简称 相关函数,RXX也简记为 RX(t1,t2).
X(t1)和 X(t2)的二阶混合中心矩记作
CXX(t1,t2)=Cov[X(t1),X(t2)]
=E{[X(t1)-mX(t1)][X(t2)-mX(t2)]},(2.5)
并称它为随机过程 {X(t),t?T}的自协方差函数,
简称协方差函数,CXX(t1,t2)也常简记为 CX(t1,t2).
28
由 (2.2)和 (2.4)式知
)6.2().,()(2 ttRt XX
)8.2().(),(),()( 22 tttRttCt XXXX m? -
由 (2.5)式展开,得
CX(t1,t2)=RX(t1,t2)-mX(t1)mX(t2),(2.7)
特别,当 t1=t2=t时,由 (2.7)式得由上面可知诸数字特征中最主要的是均值函数和自相关函数,
29
随机过程 {X(t),t?T},如果对每一个 t?T,二阶矩 E[X2(t)]都存在,则称它为 二阶矩过程,
二阶矩过程的相关函数总存在,事实上,由于
E[X2(t1)],E[X2(t2)]存在,根据柯西 -许瓦兹不等式有
{E[X(t1)X(t2)]}?E[X2(t1)X2(t2)],t1,t2?T.
即知 RX(t1,t2)=E[X(t1)X(t2)]存在
30
在实际中,常遇到一种特殊的二阶矩过程 -正态过程,随机过程 {X(t),t?T}称为 正态过程,如果它的每一个有限维分布都是正态分布,亦即对任意整数 n?1及任意 t1,t2,...,tn?T,(X(t1),
X(t2),...,X(tn))服从 n维正态分布,由第四章的结论知,正态过程的全部统计特性完全由它的均值函数和自协方差函数 (或自相关函数 )所确定,
31
例 1 设随机变量 A~N(0,1),B~U(0,2),A,B相互独立,求随机过程 X(t)=At+B,t?T=(-?,?)的均值函数 mX(t)和自相关函数 RX(t1,t2).
解 由题意 E(A)=0,E(A2)=1,E(B)=1,E(B2)=4/3,
mX(t)=E[X(t)]=E[At+B]=tE[A]+E[B]=1,
RX(t1,t2)=E[X(t1)X(t2)]=E[(At1+B)(At2+B)]
=t1t2E[A2]+(t1+t2)E[AB]+E[B2]
=t1t2+4/3,t1,t2?T.
32
例 2 求随机相位正弦波 (§ 1例 2)的均值函数,
方差函数和自相关函数,
解 由假设 Q的概率密度为
.,0
,20,
2
1
)(
其它
q
qf
,0d
2
1
)c o s (
)]c o s ([)]([)(
2
0
q
qw
Qwm
ta
taEtXEt
X
于是,由定义
33
而自相关函数
,c os
2
d
2
1
)c os ()c os (
)]c os ()c os ([
)]()([),(
2
2
0
21
2
21
2
2121
w?
q
qwqw
QwQw
a
tta
ttaE
tXtXEttR
X
.
2
),()(),()(
2
22 attRtttRt
XXXX-? m?
式中?=t2-t1,特别,令 t1=t2=t,即得方差函数为
34
例 3 设 X(t)=Acoswt+Bsinwt,t?T=(-?,+?),其中 A,B是相互独立,且都服从正态分布 N(0,?2)
的随机变量,w是实常数,试证明 X(t)是正态过程,并求它的均值函数和自相关函数,
解 由题设 A,B是相互独立的正态变量,所以
(A,B)是二维正态变量,对任意一组实数
t1,t2,...,tn?T,
X(ti)=Acoswti+Bsinwti,i=1,2,...,n
都是 A,B的线性组合,而正态变量的任何线性组合仍然是正态变量,因此 X(t1),X(t2),...,X(tn)
是 n维正态变量,因为 n,ti是任意的,因此 X(t)
是正态过程,
35
另因 E(A)=E(B)=E(AB)=0,E(A2)=E(B2)=?2,
由此可算得 X(t)的均值函数和自协方差函数
(自相关函数 )分别为,
mX(t)=E(Acoswt+Bsinwt)=0,
CX(t1,t2)=RX(t1,t2)
=E[(Acoswt1+Bsinwt1)(Acoswt2+Bsinwt2)]
=?2(coswt1coswt2+sinwt1sinwt2)
=?2cosw(t2-t1).
36
(三 )二维随机过程的分布函数和数字特征 实际问题中,有时必须同时研究两个或以上随机过程及它们之间的统计联系,例如,某地在时段 (0,t]内的最高温度 X(t)和最低温度 Y(t)都是随机过程,需要研究它们的统计联系,又如,输入到一个系统的信号和噪声可以都是随机过程,这时输出也是随机过程,需要研究输出与输入之间的统计联系等,对这类问题,除了对各个随机过程的统计特性加以研究外,还必须将几个随机过程作为整体研究其统计特性,
37
设 X(t),Y(t)是依赖于同一参数 t?T的随机过程,
对于不同的 t?T,(X(t),Y(t))是不同的二维随机变量,称 {(X(t),Y(t)),t?T}为 二维随机过程,
给定二维随机过程 {(X(t),Y(t)),t?T},t1,t2,...,tn;
t'1,t'2,...,t'm是 T中任意两组实数,称 n+m维随机变量 (X(t1),X(t2),...,X(tn);Y(t'1),Y(t'2),...Y(t'm))的分布函数
F(x1,x2,...,xn;t1,t2,...,tn:y1,y2,...,yn;t'1,t'2,...,t'm),
xi,yj?R,i=1,2,...,n,j=1,2,...,m
为这个二维过程的 n+m维分布函数 或随机过程 X(t)与 Y(t)的 n+m维联合分布函数,
38
如果对于任意的正整数 n,m,任意的数组 t1,t2,
...,tn?T,t'1,t'2,...,t'm?T,n维随机变量 (X(t1),X(t2),
...,X(tn))与 m维随机变量 Y(t'1),Y(t'2),...Y(t'm)相互独立,称随机过程 X(t)和 Y(t)是 相互独立 的,
关于数字特征,除了 X(t),Y(t)各别的均值和自相关函数外,在应用课题中感兴趣的是 X(t)和
Y(t)的二阶混合原点矩,记作
RXY(t1,t2)=E[X(t1)Y(t2)],t1,t2?T,(2.9)
并称它为随机过程 X(t)和 Y(t)的 互相关函数,
39
还有如下定义的 X(t)和 Y(t)的 互协方差函数
CXY(t1,t2)=E{[X(t1)-mX(t1)][Y(t2)-mY(t2)]}
=RXX(t1,t2)-mX(t1)mY(t2),t1,t2?T,(2.10)
如二随随机过程 (X(t),Y(t))对任意的 t1,t2?T有
CXY(t1,t2)=0,(2.11)
则称随机过程 X(t)和 Y(t)是 不相关 的,
两个随机过程如果是相互独立的,且它们的二阶矩存在,则它们必然不相关,反之,从不相关一般并不能推断出它们是相互独立的,
40
当同时考虑 n(n>2)个随机过程或 n维随机过程时,可引入它们的多维分布,以及均值函数和两两之间的互相关函数 (或互协方差函数 ).
在许多应用问题中,经常要研究几个随机过程之和 (例如,将信号和噪声同时输入到一个线性系统的情形 )的统计特性,现考虑三个随机过程 X(t),Y(t)和 Z(t)之和的情形,令
W(t)=X(t)+Y(t)+Z(t),
显然,均值函数
mW(t)=mX(t)+mY(t)+mZ(t).
41
而 W(t)的自相关函数可以根据均值运算规则和相关函数的定义得到,
RWW(t1,t2)=E[W(t1)W(t2)]
=RXX(t1,t2)+RXY(t1,t2)+RXZ(t1,t2)
+RYX(t1,t2)+RYY(t1,t2)+RYZ(t1,t2)
+RZX(t1,t2)+RZY(t1,t2)+RZZ(t1,t2).
此事表明,几个随机过程之和的自相关函数可以表示为各个随机过程的自相关函数以及各对随机过程的互相关函数之和,
42
如果上述三个随机过程是两两不相关的,且各自的均值函数都为零,则由 (2.11)式可知诸互相关函数均等于零,此时 W(t)的自相关函数简单地等于各个过程的自相关函数之和,即
RWW(t1,t2)=RXX (t1,t2)+RYY (t1,t2)+RZZ (t1,t2)
(2.12)
特别地,令 t1=t2=t,由上式可得 W(t)的方差函数
(此外即为均方值函数 )为
).()()()()( 22222 ttttt ZYXWW
43
§ 3 泊松过程及维纳过程
44
泊松过程及维纳过程是两个典型的随机过程,
它们在随机过程的理论和应用中都有重要的地位,它们都属于所谓独立增量过程,所以下面先介绍独立增量过程,
给定二阶矩过程 {X(t),t?0},称随机变量 X(t)-
X(s),0?s<t为随机过程在区间 (s,t]上的增量,
如果对任意选定的正整数 n和任意选定的
0?t0<t1<t2...<tn,n个增量
X(t1)-X(t0),X(t2)-X(t1),...,X(tn)-X(tn-1)
相互独立,则称 {X(t),t?0}为 独立增量过程,
45
对于独立增量过程,可以证明,在 X(0)=0的条件下,它的有限维分布函数族可以由增量
X(t)-X(s)(0?s<t)的分布所确定,
特别,若对任意的实数 h和 0?s+h<t+h,X(t+h)-
X(s+h)与 X(t)-X(s)具有相同的分布,则称 增量具有平稳性,这时,增量 X(t)-X(s)的分布函数实际上只依赖于时间差 t-s(0?s<t),而不依赖于 t和 s本身 (事实上,令 h?-s即知 ),当增量具有平稳性时,称相应的独立增量过程是 齐次的 或时齐的,
46
设 X(0)=0和方差函数 DX(t)为已知,计算独立增量过程 {X(t),t?0}的协方差函数 CX(s,t).
记 Y(t)=X(t)-mX(t),则当 X(t)具有独立增量时,
Y(t)也具有独立增量 ; Y(0)=0,E[Y(t)]=0,且方差函数 DY(t)=E[Y2(t)]=DX(t),当 0?s<t时
CX(s,t)=E[Y(s)Y(t)]
=E{[Y(s)-Y(0)][(Y(t)-Y(s))+Y(s)]}
=E[Y(s)-Y(0)]E[Y(t)-Y(s)]+E[Y2(s)]
=DX(s).
由此知对任意 s,t?0,
CX(s,t)=DX(min(s,t)),(3.1)
47
(一 )泊松过程 考虑下列随时间推移迟早会重复出现的事件,
(i) 自电子管阴极发射的电子到达阳极 ;
(ii) 意外事故或意外差错的发生 ;
(iii) 要求服务的顾客到达服务站,此处 "
顾客 "与 "服务站 "的含义也是相当广泛的,例如,"顾客 "可以是电话的呼叫,"服务站 "是
120急救台 ; "顾客 "可以是来领配件的汽车维修工,"服务站 "是维修站配件仓库的管理员,
"顾客 "也可以是联网的个人电脑,"服务站 "
是某网站的主页等等,
48
为建立一般模型方便起见,把电子,顾客等看作时间轴上的质点,电子到达阳极,顾客到达服务站等事件的发生相当于质点出现,于是抽象地说,我们研究的对象将是随时间推移,陆续地出现在时间轴上的许多质点所构成的随机的质点流,
以 N(t),t?0表示在时间间隔 (0,t]内出现的质点数,{N(t),t?0}是一状态取非负整数,时间连续的随机过程,称为 计数过程,
49
一样本函数如图所示,
1
3
5
N(t)
t1 t2 t5O t
50
令 N(t0,t)=N(t)-N(t0),0?t0<t,它表示时间间隔
(t0,t]内出现的质点数,"在 (t0,t]内出现 k个质点
",即 {N(t0,t)=k}是一事件,其概率记为
Pk(t0,t)=P{N(t0,t)=k},k=0,1,2,...,(3.2)
现假设 N(t)满足如下条件,
1o 在不相重叠的区间上的增量具有独立性 ;
2o 对于充分小的 Dt
P1(t,t+Dt)=P{N(t,t+Dt)=1}=lDt+o(Dt),(3.3)
其中常数 l>0称为过程 N(t)的强度,而 o(Dt)当
Dt?0时是关于 Dt的高阶无穷小 ;
51
3o 对于充分小的 Dt,
)4.3(
)( Δ})Δ,({)Δ,(
22
tojtttNPtttP
jj
j
4oN(0)=0.
把满足条件 1o~4o的计数过程 {N(t),t?0}称作 强度为 l的泊松过程,相应的质点流或即质点出现的随机时刻 t1,t2,...称作 强度为 l的泊松流,
下面先求出增量的分布律,
52
对泊松过程,因
)5.3().( ΔΔ1
)Δ,()Δ,(1)Δ,(
32
1),(
2
10
0
0
tot
tttPtttPtttP
ttP
k
k
k
k
-?
-?-
l
有和结合条件下面就泊松过程来计算概率 (3.2)
53
首先确定 P0(t0,t),为此,对 Dt>0,考虑
P0(t0,t+Dt)=P{N(t0,t+Dt)=0}
=P{N(t0,t)+N(t,t+Dt)=0}
=P{N(t0,t)=0,N(t,t+Dt)=0},
由条件 1o和 (3.5)式,上式可写成
P0(t0,t+Dt)=P{N(t0,t)=0}P{N(t,t+Dt)=0}
=P0(t0,t)[1-lDt+o(Dt)]
或 P0(t0,t+Dt)-P0(t0,t)?-lP0(t0,t)Dt+o(Dt).
现以 Dt除上式两边,并令 Dt?0,得微分方程
)6.3().,(
d
),(d
00
00 ttP
t
ttP l-?
54
复习一阶线性微分方程的解,
一阶线性微分方程
)()(
d
d xQyxP
x
y
.e)(ee
.de)(e
d)(d)(d)(
d)(d)(
dxxQC
CxxQy
xxPxxPxxP
xxPxxP
--
-
它的通解是
55
因为 N(t0,t0)=0,故 P0(t0,t0)=1,把它看作初始条件即可从方程 (3.6)解得
P0(t0,t)=exp[-l(t-t0)],t>t0,(3.7)
再来计算 Pk(t0,t),k?1,根据和事件概率公式和条件 1o,有
P{N(t0,t+Dt)=k}=P{N(t0,t)+N(t,t+Dt)=k}
.}),({})Δ,({
0
0?
-
k
j
jkttNPjtttNP
),2()()Δ,(),()Δ,(
22
0
- ktotttPttPtttP
j
j
k
j
jkj
由 P0(t,t+Dt)=1-lDt+o(Dt)并注意到
56
上式可表示成
-
k
j
jkjk ttPtttPtttP
0
00 ),()Δ,()Δ,(
)8.3(.),,(),(
d
),(d
0010
0 ttttPttP
t
ttP
kk
k-?
-ll
=[1-lDt+o(Dt)]Pk(t0,t)
+[lDt+o(Dt)]Pk-1(t0,t)+o(Dt) (k?1).
将此式适当整理后,两边除以 Dt,并令 Dt?0,
就可以得到 P0(t0,t)满足的微分 -差分方程初始条件为 Pk(t0,t0)=0,k?1,(3.9)
57
于是,令 k=1,并利用已求出的 P0(t0,t),可解出
P1(t0,t)=l(t-t0)exp[-l(t-t0)],t>t0.
如此重复,即逐次令 k=2,3,...就可求得在 (t0,t]
内出现 k个质点的概率为
Pk(t0,t)=P{N(t0,t)=k}
,2,1,0,,e
!
)]([
0
)(0 0-? -- ktt
k
tt ttk ll
(3.10)
由上式易见增量 N(t0,t)=N(t)-N(t0)的概率分布是参数为 l(t-t0)的泊松分布,且只与时间差 t-
t0有关,所以强度为 l的泊松过程是一齐次的独立增量过程,
58
在有些书中,泊松过程也用另一种定义,即若计数过程 {N(t),t?0}满足下列三个条件,
(i)它是独立增量过程 ;
(ii)对任意的 t>t0?0,增量 N(t)-N(t0)~?(l(t-t0));
(iii) N(0)=0,
则称 {N(t),t?0}是一强度为 l的泊松过程,
则从前面的演算结果不难看到从条件 1o~4o可以推出 (i)~(iii),反之,在 (ii)中令 t-t0=Dt,并利用 e-lDt的泰勒级数展开式,就能得到条件 2o和
3o,由此,定义泊松过程的两组条件是等价的,
59
因为 N(t)-N(t0)~?(l(t-t0)),t>t0?0,可知
E[N(t)-N(t0)]=Var[N(t)-N(t0)]=l(t-t0).
特别地,令 t0=0,由于假设 N(0)=0,故可推知泊松过程的均值函数和方差函数分别为
E[N(t)]=lt,DN(t)=var[N(t)]=lt,(3.11)
从 (3.11)式可以看到,l=E[N(t)/t],即泊松过程的强度 l(常数 )等于单位长时间间隔内出现的质点数目的期望值,关于泊松过程的协方差函数,由 (3.1),(3.11)式直接推得,
CN(s,t)=l min(s,t),s,t?0.
而相关函数
RN(s,t)=E[N(s)N(t)]=l2st+l min(s,t),s,t?0.
60
如果强度 l非均匀,即 l是时间的函数 l=l(t),
t?0,则称泊松过程为非齐次的,对于非齐次泊松过程,用类似的方法,可得
.d)(1d)(),(
.d)()]([
.,2,1,0,0
,
!
ed)(
})()({
),m a x (
0
),m i n (
0
0
0
d)(
0
0
0
-
-
tsts
N
t
k
t
t
tsR
tNE
ktt
k
ktNtNP
t
t
ll
l
l
l
61
下面介绍与泊松过程有关的两个随机变量,即等待时间和点间间距,以及它们的概率分布,
在较多的实际问题中,通常对质点的观察,不是对时间间隔 (t1,t2]中出现的质点计数,而是对记录到某一预定数量的质点所需要的时间进行计时,例如,为研究含某种放射性元素的物质,常对它发射出来的粒子作计时试验,
一般,设质点 (或事件 )依次重复出现的时刻
t1,t2,...,tn,...
是一强度为 l的泊松流,{N(t),t?0}为相应的泊松过程,
62
以惯用记号记
W0=0,Wn=tn,n=1,2,....
Wn是一随机变量,表示第 n个质点 (或事件第 n
次 )出现的 等待时间,如下图所示,
T1 T2 Tk
O W1 W2 Wk-1 Wk t
63
求 Wn的分布函数如下
.0,0)(
,0,
!
)(
})({
})({1}{1}{)(
--
-
ttF
t
k
t
entNP
ntNPtWPtWPtF
n
n
W
nk
k
t
nnW
l
l
)12.3(
.,0
,0,e
)!1(
)(
d
)(d
)(
1
-
-
-
其它
t
n
t
t
tF
tf
t
n
W
W
n
n
lll
将它关于 t求导,得 Wn的概率密度为
64
这就是说,泊松流 (泊松过程 )的等待时间 Wn服从 G分布,特别,质点 (或事件 )首次出现的等待时间 W1服从指数分布,
)13.3(
.,0
,0,e)(
1
-
其它
ttf t
W
ll
又记 Ti=Wi-Wi-1,i=1,2,...
它也是一个连续型随机变量,称为相继出现的第 i-1个质点和第 i个质点的点间间距,下面来求 Ti的分布,
65
由于 T1=W1,所以 T1服从指数分布,对于 i?2,也可以证明,Ti也服从同样的指数分布,即
)14.3(,,3,2
.0,0
,0,e)(
- i
t
ttf t
T i
ll
且 T1,T2,...,Ti,...是相互独立的随机变量,即有定理一 强度为 l的泊松流 (泊松过程 )的点间间距是相互独立的随机变量,且服从同一个指数分布,
66
定理二 如果任意相继出现的两个质点的点间间距是相互独立,且服从同一个指数分布,则质点流构成了强度为 l的泊松过程,
这两个定理刻画出了泊松过程的特征,定理二说明,为要确定一个计数过程是不是泊松过程,
只要用统计方法检验点间间距是否独立,且服从同一个指数分布,
泊松过程或泊松流是研究排队理论的工具,在技术领域内它又是构造 (模似 )一类重要噪声
(散粒噪声 )的基础,
67
(二 )维纳过程 维纳过程是布朗运动的数学模型,英国植物学家布朗在显微镜下,观察漂浮在平静的液面上的微小粒子,发现它们不断地进行着杂乱无章的运动,这种现象后来称为布朗运动,以 W(t)表示运动中一微粒从时刻 t=0
到时刻 t>0的位移的横坐标 (同样也可以讨论纵坐标 ),且设 W(0)=0,根据爱因斯坦 1905年提出的理论,微粒的这种运动是由于受到大量随机的相互独立的分子的碰撞的结果,于是,粒子在时段 (s,t]上的位移可以看作是许多微小位移的代数和,则 W(t)-W(s)服从正态分布,
68
其次,由于粒子的运动完全是由液体分子的不规则碰撞而引起的,这样,在不相重叠的时间间隔内,碰撞的次数,大小和方向可假定是相互独立的,这就是说 W(t)具有独立的增量,另外,液面处于平衡状态,这时粒子在一时段上位移的概率分布可以认为只依赖于这时段的长度,而与观察的起始时刻无关,即 W(t)具有平稳增量,
69
给定二阶矩过程 {W(t),t?0},如果它满足
1o具有独立增量 ;
2o对任意的 t>s?0,增量
W(t)-W(s)~N(0,?2(t-s)),且?>0;
3oW(0)=0,
则称此过程为 维纳过程,
W(t)
O t
70
维纳过程增量的分布只与时间差有关,所以它是齐次的独立增量过程,它也是正态过程,事实上,对任意 n(n?1)个时刻 0<t1<t2<...<tn(记
t0=0),把 W(tk)写成
,,,2,1,)]()([)(
1
1 nktWtWtW
k
i
iik-
-
它们都是独立的正态随机变量的和,因此
(W(t1),W(t2),...,W(tn))是 n维正态变量,即
(W(t),t?0}是正态过程,因此,其分布完全由它的均值函数与自协方差函数所确定,
71
根据条件 2o,3o可知 W(t)~N(0,?2t),由此可得维纳过程的均值与方差函数分别为
E[W(t)]=0,DW(t)=?2t,
其中?2称为维纳过程的参数,它可通过实验观察值加以估计,再根据 (3.1)就可求得自协方差函数 (自相关函数 )为
CW(s,t)=RW(s,t)=?2min(s,t),s,t>0.
维纳过程不只是布朗运动的数学模型,电子元件在恒温下的热噪声也可归结为维纳过程,
72
作业 第十章习题第 353页第 4题
73
请提问
