323
龚光鲁,钱敏平著 应用随机过程教程 – 与在算法和智能计算中的应用
清华大学出版社,2003
第 12 章 连续时间连续状态的 Markov 过程,鞅,Ito 积分与随机微分方程
1,连续时间连续状态的 Markov 过程
1,1 平稳 Gauss 过程
定义 １２,１ Gauss 平稳过程 { ξ t,t ∈ R} 称为 Markov 型 的,如果其相关函数
)()( sttEsB +?= xx 是连续函数,而且对任意 s ≥ 0,t ∈ R 有 
22
,,,||inf||inf tstR
ni
tistRttnin EE iii axxxax aa?=? +∈
≤
+∈≤≤ ∑,(1 2,1)
其含义是,在均方距离 2|||| xx E= 下,若 用过程在时刻 t 以前的资料 }:{ tuu ≤x 的有限线性组合去近似 st+x,其最佳的近似只需在 )( ],0[ tL x }:{ 为任意实数aaxD t= 中寻找 。
对于 Markov 型的 G auss 平稳过程,(12,1) 右方必然在某个 ( 依赖于 s 的 ) a 上达到,
我们记 此 a 为 )(sa,又由于 (12.1) 成立,那么,对任意 0≥u 及 21 ll,有
22
21 |)(||)(| tsttutst sEE xaxxlxlx?≥+? +?+,
从而,对任意 0,>su,由投影公式有
0]))([( =+ uttst sE xxax,
即
)()()( uBsusB a=+,(12,2)
取 0=u,我们得到 )0( )()( B sBs =a,在 (12.2) 两端除以 )0(B 后便得到
)0,()()()( ≥=+ ususus aaa,
再 由 )(sB 的连续性,即 )(sa 是 连续 函数,及 )0(1)( aa =≤s 推出
)0,()0()( ≥= seBs t ba b,
记 )0(B=g,便得 B(s)= g e sb?,0,>gb 的情形称为非退化情形,当 0<s 时,由平稳性我们显见有 )()( sBsB?=,合起来便成为
g=)(sB e ||sb?,(12,3)
324
此条件也是具有连续相关函数 )(tB 的实值非退化 Gauss 平稳过程 }:{ ∞<<?∞ ttx 是
Markov 型的充要条件,
定理 １２,２ 非退化的 Markov 型的 Gauss 平稳过程 }:{ ∞<<?∞ ttx,在任意有限个时刻所得的随机向量 ),,(
1 ntt
xx L 的 联合分布 具 有 密度,
证明 不失一般性,我们可以假定 0≡tEx,1== bg,ntt << L1,由 (12,1)
及 (12,2) 我们得到
)1(,0])[(
1
1)(?≤=?
njeE
jn
nn
n tt
tt
t xxx,
利用 }:{ ∞<<?∞ ttx 的 Gauss 性就得到 )( 11 )( nnnn tttt e xx 与 ),,(
11 ttn
xx L
相互独立,
下面我们用数学归纳法证明 ),,(
1ttn
xx L 有联合密度 。
当 1=n 时,由于 )1,0(~
1
Ntx,显见它有密度,今 作 归纳法假定,设 1?= mn 时已有密度 ),,( 11),,(
11 mtt
xx
m
LLr,往证在 mn = 时结论也成立,为此我们记
Dh =
m 1
1)(

m
mm
m t
tt
t e xx,
那么它的方差为
2)( )()(
1
1
=
n
nn
n t
tt
tm eEVar xxh
)(2)0( 1)( 1=? mmtt ttBeB mm + e )0()(2 1 Bmm tt )(2 11= mm tte,
即 mh )1,0( )(2 1 mm tteN～ ),由于它与 ),,(
11 ttm
xx L
独立,从而 ),,,(
11 ttm m
xxh L
有密度,
),,,( 11,,,
11 m
xxyp
mttm
LL xxh
),,( 11),,(
11
= mtt xx
m
LLr )1(2
)(2
)1(2
2
1 )1(2
1


mtmt
mm
e
y
tt
e
ep,
利用 随机变量密度 函数的变换公式,并利用?= mxy 1)( 1 mtt xe mm,就得到 ),,( 1ttm xx L
的 密度 表达式为
),,( 1),,(
1 mtt
xx
m
LLr
325
),,( 11),,(
11
= mtt xx
m
LLr )1(2
)(
)(2
)1(2
2)1(
1
1 )1(2
1



mtmt
mtmtmm
mm
e
exx
tt
e
ep
∏
=





=
m
k
e
exx
tt
x
ktkt
ktktkk
kk
e
e
e
1
)1(2
)(
)(2
2 )1(2
2)1(
1
1
2
1
)1(2
1
2
1
pp (12,4)
推论 １２,３ 对于相关函数为 esB g=)( ||sb? 的 Gauss 平稳过程 }:{ ∞<<?∞ ttx,
及 ntt << L1,),,(
1ttn
xx L 有密度
),,( 1),,(
1 ntt
xx
n
LLr
∏
=





=
n
k
e
exx
tt
x
ktkt
ktktkk
kk
e
e
e
1
)1(2
)(
)(2
2 )1(2
2)1(
1
1
2
1
)1(2
1
2
1 b
b
g
bpgpg,(12,4) ’
推论 １２,４ 相关函数为 esB g=)( ||sb? 的 Gauss 平稳 过程 }:{ ∞<<?∞ ttx,具有以下的 Markov 性质,对于任意 n 及任意 11 +<< ntt L,在给定 ),,(
1ttn
xx L ),,( 1xxn L= 的条件下,
1+nt
x 的条件分布密度只与
nt
x nx= 有关,而与 ),,(
11 ttn
xx L
),,( 11 xxn L?= 无关
( 即在
nt
x nx= 已知的条件下,
1+nt
x 与 ),,(
11 ttn
xx L
条件独立 ),
证明 我们 把 在 ),,(
1ttn
xx L ),,( 1xxn L= 的条件下
1+nt
x 的条件分布密度 记 为
),,|( 11,,|
11
xxxp nnttt
nn
LL +
+
,而把 在
nt
x nx= 的条件下
1+nt
x 的条件分布密度 记 为
)|( 1|
1 nntt
xxp
nn ++
,由 (12,4) ＇,我们有
),,|( 11,,|
11
xxxp nnttt
nn
LL +
+ ),,(
),,(
1),,(
11),,(
1
11
xx
xx
ntt
ntt
n
n
L
L
L
L
r
r +
+=
)1(2
)(
)(2
)1(2
2)1(
1
1 )1(2
1 ntnt
ntntnn
nn
e
exx
tt
e
e
+?
+?
+
+


= b
b
bpg
)(
),( 1),(
1
nt
nntt
x
xx
n
nn
r
r +
+= )|(
1|1 nntt xxp nn ++=,
再对 1+nx 在某个集合 Λ 上积分,便得
326
),,|( 1
11
xxP tntt
nn
==Λ∈
+
xxx L )|(
1 ntt
xP
nn
=Λ∈=
+
xx,
这就是时间与状态都连续的随机过程 }:{ ∞<<?∞ ttx 的 Markov 性,因为它表明,在已知此过程的现在时刻 ( 即 ntt = ) 的取值
nt
x nx= 的条件下,过程在过去的取值
),,(
11 ttn
xx L
),,( 11 xxn L?= 并不影响将来 ( 即 1+=+ ntst ) 的
1+nt
x 取值的统计规律,因此这正是第 6 章中的连续时间离散状态 Markov 性在连续时间连续状态情形的推广,
推论 １２,５ ),,(
1ttn
xx L 的联合密度可以写为,
),,( 1),,(
1 ntt
xx
n
LLr )|()|()( 1|12|1
1121
= nnttttt xxpxxpxp
nn
L,
它即是 " 起始 " 密度 )( 1
1
xpt 与一系列条件密度的乘积,
以下我们只考虑 0≥t,且 0,,0 >≡ gbxtE 的情形,我们把 nt 改记为 s,1 nn tt 改记为 t,再将 )|(| xyp sst+ ( 注意它的表达式与 s 无关 ) 改记为 ),,( yxtp,
命题 １２,６ },,0:),,({ Ryxtyxtp ∈≥ 满足 Kolmogorov - Chapman 方程,
∫=+ ),,( yxstp ),,( zxtp dzyztp ),,(,(12,5)
证明 为了 看起来对称,令,21 tst =+,32 ttt =+ 321,,xyxzxx ===,于是
∫ ∫= 2123,|12| ),|()|(),,(),,( 12312 dxxxxpxxpdzyztpzxsp ttttt
2
21,
321,,
1
21,
),(
),,(
)(
),(
21
321
1
21 dx
xx
xxx
x
xx
tt
ttt
t
tt
r
r
r
r∫=
)|()|,( 13|2123|,
13123
xxpdxxxxp ttttt == ∫ ),,( yxtsp +=,
1,2 时间与状态都连续的时齐 Markov 过程
定义 １２,６ 假定 对 于 任意的 n 及 n 个时刻 ntt << L1,),,(
1ttn
xx L 都有正的联合密度 ),,( 1),,( 1 ntt xxn LLr,且其条件分布满足,对任意的 tttt nn +=<< +11 L,
0,≥= ntst,都有不依赖 nt 的关系,
),,|( 11,,,|
11
xxxyp nttttt
nnn
LL?+
)|()|( || xypxyp ststtt
nn ++
== ( 记成 ),,( yxtp ),
(12,6)
则称 随机过程 }0:{ ≥ttx 为时齐的 Markov 过程,并称 ),,( yxtp 为此 Markov 过程的 转移密
327
度,
推论 １２,７ 时齐的 Markov 过程的转移密度满足,
(P.1),0),,( ≥yxtp 1),,( =∫ dyyxtp ;
(P.2) Chapman - Kolmogorov 方程,∫=+ ),,( yxstp ),,( zxtp dzyztp ),,(,
[ 注 1] 转移密度 ),,( yxtp 是转移概率 )(tpij 在状态空间为实数集时的对应表示,
[ 注 2] 时齐 Markov 过程 也 可以只对 t>0 时要求 ),,(
1ttn
xx L 都有正的联合密度,也就是说,初值 0x 可以特殊一些,不必要求它有密度,因为我们可以利用时齐性补充定义在条件 x=0x 下,tx 的条件密度为 ),,( yxtp,从而可以讨论 0x 取离散值或有密度的情形,也就是说对于在本书中在时间区间 ),0( ∞ 上定义的时齐 Markov 过程 }0:{ >ttx,在加 进 0=t 的随机变量 0x 以后,总可以扩展为时间区间 ),0[ ∞ 上时齐的 Markov 过程 }0:{ ≥ttx,
[ 注 3] 定义中关于存在正的有限维联合分布密度的要求不是必须的,由于 没有这个假定 时 需要用测度论的知识,所以在本书中 只取最简单的情形,
例 １２,８ （ OU 过程 ） 0,>gb 的 Markov 型 Gauss 平稳过程是时齐的 Markov 过程,
其转移密度为
)1(2
)(
2
2
2)
)1(2
1),,( t
t
e
xey
t
e
e
yxtp b
b
bpg


=,(12,7)
而且有
g
pg
2
2
2
1),,(lim y
t eyxtp
∞→ = )(yj
=
( 即 极限分布为 ),0( gN,与 b,x 都 无关 ),
在 Chapman - Kolmogorov 方程中令 ∞→s,并把 z 改记为 x,便得 到
∫= dxxyxtpy )(),,()( jj,(12,8)
即 )( yj 是一个满足 （ １２,８ ） 分布密度,称为 ),,( yxtp 的 不变 密度,它是 时间连续状态离散 的 Markov 链 的不变分布在连续状态情形的对应表示,
注 具有 (12.7) 形式的转移密度的 Markov 过程,称为参数为 ),( gb 的 OU 过程
（ Ornstein - Uhlenbeck 过程 ）,
OU 过程 在有限个采样时刻上的样本,可以用如下的 随机 模拟 得到,
相关函数为 ||)( tetB bg?= 的 OU 过程在等距采样点 ntt,,1 L 上的样本的 随机 模拟,可以由 下面 步骤得到,
328
令 nyy,,1 L 为独立的 )1,0(N 随机数,kk ttt?=? +1,定义
iyx g=1,)2(,)1(
2
1 niyexex i
t
i
t
i ≤<?+=

bb g,
则 nxx,,1 L 就是 OU 过程在 所要的采样 时刻上的 值,
例 １２,９ Brown 运动是时齐的 Markov 过程,其转移密度为
t
xy
etyxtp 2
)( 2
2
1),,(=
p,
此时有
0),,(lim =∞→ yxtpt,(12,9)
定义 １２,１０ （ 不变密度 ） 若概率分布密度 )(?j 关于时齐 Markov 过程的转移函数
),,( yxtp,满足
∫= dxxyxtpy )(),,()( jj,
则称 )(?j 为 ),,( yxtp 的 ( 或 随机过程 }0:{ ≥ttx 的 ） 不变概率分布密度函数,简称 不变密度,
2 鞅列与鞅
2,1 条件期望 再访 ( 仅作参考 )
背景与例子
定义 １２,１１ 若 ),( hx 为离散的或具有联合密度 的随机向量,那么
)|()( yEy ==? hxj 是一个 Borel 函数,定义 )()|( hjhx?=E,于是,对于 h 的 任意的 一个 Borel 函数 )(hh,只要它满足,对于任意 Borel 函数 g,恒有
)]()([))(( hhhx ghEgE = (E.1)
( 这个式子等价于,对于任意 Borel 集合 Λ,恒有
)]()([))(( hhhx ΛΛ = IhEIE ),(E.1) ’
那么就有
1))()|(( == hhx hEP,
引理 １２,１２ （ 均方最佳近似 ）
若 ∞<2xE,则存在 Borel 函数 )(xh,使
329
22 ))((inf))(( hxhx fEhE
f?=? 函数,
这个 )(hh 是已知 h 时 x 的最佳近似,也可以由上面的方程 (E.1) 或 (E.1) ’得到,它就是
)|( hxE,
定义 １２,１３ （ 条件期望的 抽象定义 ）
若只假定 ∞<|| xE,则测度论证明了,存在 Borel 函数 j 满足,
对于任意 Bor el 函数 g,恒 有
)]()([))(( hhjhx gEgE =
( 等价于用 }Borel:)({ 集为ΛΛ hI 代替 }Boral:)({ 函数为gg h ),我们 定义 )()|( hjhx?=E,
这个 j 在下述意义下唯一,若另有一个 Borel 函数 y 也满足,对于任意 Borel 函数 g 有
)]()([))(( hhyhx gEgE =,那么必有 1))()(( == hyhjP,因此,条件期望 )|( hxE 在不计概率为 0 的差异时是确切定义的,
显见 定义 １２,１１ 是定义 １２,１３ 的 特殊情形,类似地可以定义
),|( VhxE,),,|( 1 nE hhx L,
条件期望的 主要性质
(1) )|( hxE 对 x 具有线性性质 ; 对常数 c 有 aaE =)|( h ;
(2) )|()()|)(( hxhhhx EggE = ;
(3) 若 hx,相互独立,则 hxhhx == aaEffE )],([)|),(( ;
(4) =]|),|([ hVhxEE )|( hxE ; =],|)|([ VhhxEE )|( hxE,
条件期望的定义的 再 推广
定义 １２,１４ 假定 ∞<|| xE,则 ),,,|( 1 LL nE hhx 定义为,∞→n 时
),,|( 1 nE hhx L 在 以下 意义下的极限随机变量,
∞→ ),,|(|lim 1 nn EE hhx L 0|),,,|( 1 =LL nE hhx,
定义 １２,１５ ),|( tsE s ≤hx 定义为满足下 述 两个条件的随机变量 ∧x,
(1) ∧x ∈ Φ )(h （ 回忆起第 １１ 章第 2 节中的定义,若 随机变量族
＝h }:{ ts
s ≤h 中任意有限个元素的任意有界连续函数全体组成 的集合 为 Φ )(h,而包含 Φ )(h 且对 L 2 中收敛性封闭的最小集合 就是 Φ )(h ）；
330
(2) 对于 有界的 随机变量 ∈V Φ )(h,都有
)(xVE )( Vx∧= E,
这种 条件期望仍 满足前面所述的 相应 性质,
* [注 ] 条件期望的 进一步推广 (对于?s 代数 F的条件期望 )
１,F称为?s 代数 (或称为 事件体 ),如果它满足,
(F.1) 必然事件 ∈W F;
(F.2) 若随机事件 ∈A F,则其对立事件 ∈cA F;
(F.3) 若随机事件 ∈nA F,则其并事件 ∈
∞
=
n
n
AU
1
F,
２,若存在 ∈^x F,使得 对于任意 ∈V F满足,)()( ^ VxxV EE =,则
^x
称为 x 关于?s 代数 F
的条件期望 (在 不计零概率的差异下,它也是完全确定的 ),我们把它记为 |(xE F ),即 |(xE F ) ∈F,
且对于任意 ∈V F满足,()( EE =xV |(xE F ) )V,
３,若 F是 }:{ tss ≤h 生成的?s 代数,意即它是包含所有形如 }{ xs ≤h (任意 ts ≤,任意
实数 x ) 的事件的最小?s 代数,则 有 定义 可知
|(xE F ):|() tsE s ≤= hx,
这与定义 １２,１５ 一致,所以这里的定义是 前面所有的 定义 的推广,
类似地有
(1),|(xE F ) 对 x 具有线性性质,且 对常数 c 有 |(cE F c=),
(2),若 ∈h F ( 意即,对于任意实数 x,事件 ∈≤ ){ xh F),则 |(xhE F |() xhE= F ),
(3),若 x 与?s 代数 F 相互独立 ( 意即,F 中的任意事件都与随机变量 x 独立 ),则
|(xE F xE=),
( 4 ),若另有?s 代数 G 满足,G? F ( 即 G 比 F 小 ),那么我们有
|([ xEE F |) G |() xE= G ) ; |([ xEE G |) F |() xE= G ),
此外,类似 地还有 最佳近似性质,
2,1 鞅列
定义 １２,１ ６ 把一个随机序列 }0:{ ≥nYn 作为 一系列,历史事件,的参照,记
=
nY },,{ 0 nYY L,则随机变量集合 )( nYΦ ( 即 其 均方信息空间 ) 称为?n 前历史,代表
331
n 前有用信息,另一个随机序列 }0:{ ≥nX n 称为 )( nY 可知的,如果 对于任意 n,都有
∈nX )( nYΦ,随机变量 h 称为 nY 可知的,如果 ∈h )( nYΦ,
注 这里的术语,可知的,,是一种直观的说法,在更为强调理论 的书本或文献中,将代之以,适应的,,
定义 １２,１７
随机变量序列 nY 称为 鞅列,如果对 ∞<? ||,nYEn,m? 有
|( mnYE + nY nY=) ; (12,10)
又 nX 称为 )( nY 鞅列,如果 }{ nX 为 )( nY 可知的,且对 ∞<? ||,nXEn,m? 有
|( mnXE + nY nX=),(12,11)
由于 }{ nX 为 )( nY 可知的,由条件期望的性质 得到,若 nX 是 )( nY 鞅列,则 nX 也是鞅列,
[ 注 ] 如果上面式子中的,=,分别改为,≥,或,≤,,则对应的随机序列分别称为 下鞅列,或 上鞅列,
命题 １２,１８ |(,,mnXEmn +? nY nX=),当且仅当,|(,1+? nXEn nY nX=),
即 nX 为 )( nY 鞅,等价于,对于任意 n 有
|( 1+nXE nY nX=）,(12,11) ’
证明 对 m 用归纳法,由条件期望的性质立得
|( 1++mnXE nY () E= |( 1++mnXE ＋ １nY |) nY |() 1+= nXE nY nX=),
鞅列的直观含义,
假定 nY 是鞅列,设想我们在时刻 n 以本金 nY 参加博弈,在下一时刻 1+n 的实际资金
1+nY 是随机的,它在,最近,的历史 nY 已知条件下的条件期望 )|( 1 nn YYE + 为
|(()|( 11 ++ = nnn YEEYYE nY nnnn YYYEY == )|()|),
即在 nY 已知的条件下,下一时刻 1+n 的收益的条件平均与现有的本金 nY 恰好相等,这说明了此博弈是 ( 平均 ) 公平的,因此鞅列代表一个平均趋势公 平 发展的 博弈的本金随机序列,而下鞅列则代表按平均趋势必赢的博弈,上鞅列则代表按平均趋势必输的博弈,
例 １２,１９ （ 随机徘徊 ） }{,,0 10 innYY xxx ++== L 独立同分布,且 0=iEx,nY
即随机徘徊,易验证它是鞅列,
例 １２,２０,|( XEX n?= nY ) 是 )( nY 鞅列,
332
例 １２,２１ 如果 }{ nX 为 )( nY 可知的,而 ∑
=
+?=
1
0
1 |([
n
k
knn XEXZ kY ]) kX?,则易检查 }( nZ 为 )( nY 鞅列,nZ 正是由 nX 相继地减去它与鞅列的差的波动而得到的,因此在直观上它应该是鞅列,( 事实上我们有
|( 1+nZE nY |() 1+= nXE nY ) ∑
=
+?
n
k
kXEE
0
1 |([( kY |) nY |(] kXE? nY ))
|( 1+= nXE nY ) ∑
=
+?
n
k
kXE
0
1 |(( kY kX?) )
|(( 1
1
0
+
=
∑?= k
n
k
n XEX kY kX?) ) nZ=,
例 １２,２２ (平方可积鞅列 ),在例 12.19 中若 ∞<= 22 sxiE,定义
2222 snYEYYZ
nnnn?=?=,
则 nZ 为 )( nY 鞅列,
证明 令 2nn YX =,则 nX 为 )( nx 可知的,记 nX },,{ 0 nxx L=,因为 1+kx 与 kX 独立,
所以 |( 1+kE x kX 0) 1 == +kEx,|( 21+kE x kX 221) sx == +kE,于是
|( 1+kXE kX kX?) |( 21+= kYE kX 2) kY? |)(( 21++= kkYE x kX 2) kY?
|)((2[ 12 ++= kkn YEY x kX 22 ]) kY?+s |(2 1+= kk EY x kX 22) ss =+,
可见有 |( 1+nZE nX =) |( 1+nXE nX nn ZnXn =?=+? 222)1() ss,所以 nZ 为 )( nx 鞅,
例 １２,２３ (随机利率 ) 设 nX 为 )( nY 可知的非负随机序列,对 nY },,{ 0 nYY L=,
若随机利率 nd 是 )( nY 可知的,且 满足条件
|( 1+nXE nY nXe nd=),
令
10 =Z,nn XeZ n )( 10?++?= dd L,
那么 nZ 为 )( nY 鞅列,
证明 |( 1+nZE nY =) |( 1)( 0 +++? nXEe ndd L nY nZ=),
333
例 １２,２４ (指数鞅列 ) 在例 １２,１９ 中令 ∏
=
=
n
k
s
s
n k
k
Ee
eZ
1
x
x
,则 nZ 为 )( nx 鞅列,
证明 记 nX },,{ 0 nxx L=,由 1+nx 与 nX 的独立性立得
|( 1+nZE nX |(1) 1
1
+
+
= n
n
s
sn eEEeZ
x
x nX nZ=),
例 １２,２５ ( 分支鞅列 ) 设开始时刻第 0 代有一个细胞,在下一个整数时刻分裂为第一代的细胞后,各个新细胞又按相同的规律独立地在下一个整数时刻再进行同样方式的分裂,记第 n 代第 k 个细胞分裂的个数为随机变量 kn,h,它们是独立同分布的,且假定它们有期望 m,设经过第 n 代分裂后的细胞总数为 nx,于是
1,1,0
,1
++==
nnnn x
hhxx L,
那么 nnmx 是鞅列,
证明 由各代之间以及同一代的各个个体间的独立性,我们有


10,,| nn
nE xx
m
x L


++=
10
,1,,,|1
nn
nn nE xx
m
hh x LL


++=
1
,1,|1
nn
nn nE x
m
hh xL ∑?
=
=== 1
1
1
11
,
1 n
k
n
n
n
n
knn E
x
m
x
m
mxh
m,
可见结论成立,
例 １２,２６ ( 似然比 ) 设 }{ nY 为独立同分布列,具有分布密度 g,若 0)( ≥xf 满足 ∫ = 1)( dxxf ( 即 )(xf 是另一个随机变量的分布密度 ),那么
∏
=
=
n
k k
k
n Yg
YfX
1 )(
)(
是 )( nY 鞅列,
证明 因为 ∫ ==

1)(
)(
)(
)(
)( dyyg
yg
yf
Yg
YfE
n
n,所以有


=
11111,|)(
)(),,|(
n
n
n
nnn YYYg
YfEXYYXE LL


=
)(
)(
1
n
n
n Yg
YfEX
1?= nX,
例 １２,２７ (Levy 鞅 )
设时齐的 Markov 链 nx 的转移矩阵为 P )( ijp=,对于状态空间上的任意有界函数 f,
334
定义 有界函数 f 到有界函数的 映射 P f 为
( P )())( jfpif ij
j
∑=,
对于给定的函数 )(if,令
()()(
1
0
0 ∑?
=
=
n
k
nn ffX xx P I- )() kf x,
其中 I 为恒同 映射,即对于任意 f,都有 I ff =,那么 nX 是 )( nx 鞅,
证略,
鞅列的性质,停时与选样定理
命题 １２,２８ 设 nX 为 )( nY 鞅列,则 常数=nEX,
证明 用全期望定理 |([ 11 ++ = nn XEEEX nY nEX=)],
定义 １２,２９ 一个可以取值 ∞+ 的非负整值随机时刻 t,称为 关于 )( nY 的停时 (简称 )( nY 停时 ),如果事件 t 在 n 时发生与否,只依赖于 )( nY 的历史记录 nY },,{ 0 nYY L=,即复合随机变量 )(}{ tnI 是 nY 可知的随机变量,
在博弈过程中,参与者常根据他事先设计的规则,来决定退出与否 (典型的规则,例如有,,输完退出,输赢超过本钱的 80%时退出等等,这些事先设计好的时刻都是随机的,根据这些设计好的退出时刻,可知,在时刻 n 退出,是一个随机事件,它由时间序列在时刻 n 与时刻 n 以前的历史情况所完全确定,因此,这些设计好的随机时刻都是停时 ),这种退出时刻就是停时,
命题 １２,３０ 固定的非负整值常数 n 是一个 )( nY 停时 ; 又如果 st,都是 )( nY 停时,
0≥n,则 n∧∧ tst,也是 )( nY 停时,
在此,我们要解释清楚一个记号,随机序列 ){ nX 之所以可以有有限维分布的概念,是因为这时作一次试验所得的基本事件 w 确定后,随机序列 ){ nX 就相应地得到了采样数值列 )}({ wnX,假定 t 是一个只取有限值的停时,那么 )(wtt = 就是作一次试验所得的基本事件 w 确定后一个时刻的值,此时,我们可以自然的定义随机序列 }{ nX 在停时 t 上的取值为,)()( wwt
D
t XX =,
下面的采用的选样定理的叙述形式,是概率论中非常著名的 Doob 停止定理的简单部分,
335
它在应用中是常见的 (Doob 停止定理的一般形式则需要较多的工具,本书不再列入 ),
如上所述,典型的停时是参加博弈的人给自己预先制定的退出博弈的时间 t,例如,他的资金达到 1000 元的时刻 (若在时刻 n,他有 nx 元,那么,t 就是 nx 首达 1000 的时刻 ),一个鞅所描述的博弈是公平的,即对于任意 n 均有 0xx EE n =,那么在任意停时 t 上是否也有
0xxt EE = 呢? 一般这并不一定成立,例如,nx 是满足 10 =x 的随机徘徊,令停时 t 为首达 2 的时刻,由于简单随机徘徊 nx 可以取负值,这就是容许参加博弈的人欠钱,但是 由于每次输赢的概率 都 是 21,这时 有 1)( =∞<tP,于是 我们有 2,10 == txx EE,即博弈人在时刻 t 停止的策略是稳赢 1 元的策略,因此 它 不是公平策略,其原因在于,让参加博弈的人不加限制地欠钱是一个对于他过分有利的条件,这对于他的博弈对手是很不公平的,由此看来要满足 0xxt EE =,停时 t 就必须有所限制,下面的定理给出了常见的充分条件,
定理 １２,３１ ( 选样定理 )
设 nX )0( ≥n 是鞅,若 t 是一个 （ nX ） 停时,且满足下面两个条件之一,
（ １ ） t 是有界停时,
（ ２ ） ∞<|| tXE 且 0)(lim }{ =? >
∞→ nnn
IXE t,
那么我们有
0EXEX =t,
证明 先假定 t 有界,设 m≤t,由于 t 是停时,所以随机事件 ckk }1{}{?≤=≥ tt 是由
01,,XX k L? 的信息确定的,于是有
0],,|)[(],,|)[( 011011 =?=≥?≥? XXXXEIXXIXXE kkkkkkkk LL tt,
由此我们得到
=? )( 0XXE t ])[( 0
1
jj
m
j
IXXE =
=
∑ t ])([ 1
11
jkk
j
k
m
j
IXXE =?
==
= ∑∑ t
])[( 1
1
j
m
kj
kk
m
k
IXXE =
=
=
∑∑?= t 0])[( 1
1
=?= ≥?
=
∑ kkk
m
k
IXXE t,
对于一般的 t,那么 mm ∧=tt 也是停时,故 0EXEX
m
=t,从而由假定推出
≤?=? ≥ ])[(||| mm IXXEEXEX
m tttt
|(||)(| mmm IXEIXE ≥≥ + ttt 0 →? ∞→m,
最后就得到 0EXEX =t,
336
[注 ] 条件 0)(lim }{ =? >
∞→ nnn
IE tx 是一个纯粹技术性的条件,
选样定理告诉我们,,对于一个 (平均地 )公平的博弈,它在 ＂ 公平的停时 ＂ 上也反映了 (平均地 )公平的性质,
鞅方法与选样定理在应用中 的典型例子是博弈输光问题,
例 １２,３２ （ 输光问题 ） 设甲,乙两人作双人博弈,每次 1 元,直至其中一人输光为止,设在时刻 0 甲有初始资金 a 元,乙有初始资金 b 元,假定每次博奕时甲赢的概率是 p,
而乙赢的概率是 pq?= 1,求甲先输光的概率 ap,及乙先输光的概率 bq,并求此种博奕的平均持续时间,
记时刻 n 时甲有资金 nx 元,输光问题实际上是一个简单随机徘徊被两个吸收壁 ０ 与
ba + 中那一个吸收的问题 （ 甲输光对应于被 ０ 吸收,乙输光对应于被 ba + 吸收 ）,今 nx 为简单随机徘徊,nn XXa +++= L1x,}0:{ ≥nX n 独立同分布,且


pqX n
11~,令
}0:inf{ banT n +== 或x ( inf f +∞= ),于是
1),(),0( =++==== baTbTa qpbaPqPp xx,
为了利用鞅方法求 ap,我们区分如下各种情形,
(1) qp = 情形,
我们有 nnnnn qpE xxxxxx =?++=+ )1()1()|( 1 ０，,L,所以 nx 是鞅,注意到有双侧吸收壁 ba +,0 的简单随机徘徊作为 Markov 链时只有 ba +,0 是常返态,故 ∞<T,于是
0)()()()|(| }{}{ →>+=+≤ >> nTPbaEIbaIE nTnTnx,于是由定理 １２,３１ 得到
aEE T == 0xx,但是
bTTT qbabaPbaPE )()()()0(0 +=+=++=?= xxx,
从而 ba aqb +=,这是乙输光的概率,进而有 ba bqp ba +=?= 1,
下面求 此 博奕的平均持续时间 )|( 0 aTE =x,为此我们定义 nnn?= 2xh,因为
)1(),,|(),,|( 02 101 +?= ++ nEE nnnn xxxxxh LL
)1()1()1( 22 +++= nqp nn xx nn n hx =?= 2,
所以 nh 是 )( nx 鞅,利用直观,我们指出 ∞<ET (事实上,假定 nV 是以 0 与 ba + 为反射壁的反射
337
随机徘徊,那么 nV 是正常返的,再记 }0:inf{' banT n +== 或V,就有 ∞<'ET,由此得到
∞<< 'ETET ),由 nban ++≤ 2)(|| h,∞<T 及 )(0)()( ∞→→< >> nTIEnIE nTnT 推出
0)(lim }{ =? >
∞→ nTnn
IE h,用定理 １２,３１ 得到 20 aEE T == hh,即
ETabaETqbapETEa baT?+=?++?=?= )()(0 222 x,
由此得到
abET =,
(2) qp > 情形,令 qp?=m,
这时是不公平的博弈,甲方赢的概率大,为了计算 ba qp,,令 npqn xV )(=,此时 0< pq <1,
我们验证 nV 是 )( nx 鞅,事实上
)1()1(
001 )()(],,|)[(),,|(
1?+
+ +==
= nnn
p
qq
p
qp
p
qEE
nnn
xxx xxxxV LL n
p
q x)(=
nV=,
类似地,我们也有 0)(lim }{ =? >
∞→ nTnn
IE V,同样 地 由定理 １２,３１ 推出 aT pqEE )(0 == VV,
另一方面按定义我们还有
)1()()( 0 abaaT ppqppqE?+= +V,
把它代入前一式,我们得到
ba
baa
a
p
q
p
q
p
q
p
+
+
=
)(1
)()(
,
ba
a
b
p
q
p
q
q
+?
=
)(1
)(1
,
类似地,如果 00 =x,}inf{],[ baba n 或?==? xt,ba qp,定义如前,那么
aba paP =?=? )( ],[tx,bba qbP ==? )( ],[tx,
为了求此博奕的平均持续时间,我们再定义 mx nZ nn?=,它满足
mxxxxx )1(),,|(),,|( 0101 +?= ++ nEZE nnnn LL
nnn Znqp =+++= mxx )1()1()1(,
即 nZ 是 )( nx 鞅,类似地可以验证 0)(lim }{ =? >
∞→ nTnn
IZE,我们由定理 １２,３１ 推出
338
0EZEZT =,即 aETqbap ba =?++? m)(0,故而有
])[(1 aqbaET b?+= m,
下面我们假定 00 =x,记 nx 首达 1 的时刻为 1t,我们要计算 1tE,为此令
}1inf{]1,[ 或NN n?==? xt,
它与 1t 都 是 )( nx 停时,类似地验证 0)(lim }]1,[{ =? >?
∞→ nNnn
IZE t,于是由定理 １２,３１ 得
0]1,[ EZEZ N =?t,即
0]1,[)1(1 =+? NEpNp NN tm,
此处 )( ]1,[ NZPp NN?==?t,可见
)1(1[1])1(1[1]1,[ +?=+?=? NpNNE N mmt ]
)(1
)()(
1
1
+
+
N
NN
p
q
p
q
p
q
,
于是我们有
mtt
1]1,[lim
1 NEE N?= ∞→ qp?=
1,
(3) qp < 情形,留作习题,
定理 １２,３３ （ 下鞅列的 Doob 分解 ）
设 nX 是 )( nY 下鞅列,则存在唯 一的 )( nY 鞅列 nM,满足,
（ １ ） 初值 11 XM =,
（ ２ ） 存在 )( 1?nY 可知的 （ 也称为 )( nY 可料的 ） 递增随机序列 nA,使 01 =A,且
nnn AMX +=,(11,14)
证明 存在性,令
∑?
=
+=
1
1
1 |([
n
k
kn XEA kY 0),2(],) 1 =≥? AnX k,
由此定义立见随机序列 nA 是 )( 1?nY 可知的,用 下鞅性得到 nA 是递增的,再令
= nn XM ∑
=
+
1
1
1 |([
n
k
kXE kY ]) kX?,)2( ≥n,11 XM =,
339
则容易验证它是鞅列,
唯一性,设另有一个符合条件的分解 '' nnn AMX +=,那么鞅列
nnnn AAMM?=? ''
应该是 )( 1?nY 可知的,所以
=? 'nn MM |)'[( nn MME? )1?nY 0'' 1111 =?==?= MMMM nn L,
2,2 连续时间参数的鞅
定义 １２,３４
用一个随机过程 }0:{ ≥tYt 作为整个,历史,的参照,另一个随机过程 }0:{ ≥tX t
称为 )( tY 可知的,如果对于任意 tXt,可以表示成 }:{ tsYs ≤ 中元素 的函数的极限,
随机过程 tY 称为鞅,如果任意 t 有 ∞<|| tYE,且对于任意 n,任意
nssst >>>> L1 有
sssst YYYYYE n =),,,|( 1 L,(12,15)
tX 称为 )( tY 鞅,如果 }{ tX 为 )( tY 可知的,∞<|| tXE,且对于任意 n,任意
nssst >>>> L1 有
sssst XYYYXE n =),,,|( 1 L,(12,16)
由条件期望的性质,可以证明这个定义等价于,对于任意 st > 有
sut XsuYXE =≤ ):|(,(12,16) ’
由于 }{ tX 为 )( tY 可知的,由条件期望的性质得到,若 tX 是 )( tY 鞅,则 tX 也是鞅,
与鞅列类似,连续时间的鞅的直观含义仍然是公平博弈,
例 １２,３５ 独立增量过程 tY,如果 满足,0,,00 =?= tEYtY 那么它是鞅,
证明 注意,00 =Y 故 与 ),,,( 0
211
YYYYYY
nsssss
L 独立,而后者又与
),,,(
1 nsss
YYY L 相互线性表出,所以 st YY? 就与 ),,,(
1 nsss
YYY L 独立,用条件期望的性质,
对于任意 n,任意 nssst >>>> L1,有
=),,,|(
1 nssst
YYYYE L ),,,|(
1 nsssst
YYYYYE L? ),,,|(
1 nssss
YYYYE L+
ssst YYYYE =+?= )(,
340
推论 １２,３６ Brown 运动 tB 是鞅 ； 若 tN 为强度为 l 的 Poisson 过程,则 tNt l?
是鞅,
例 １２,３７ (平 方可积鞅 ) 设例 １２,３５ 中的独立增量过程有二阶矩,即对于任意
t,令 ∞<= 22 ttEY sD,22 ttt YZ s?=?,则 tZ 为 )( tY 鞅,
证明 显然 tX 为 )( tY 可知的,由例 １２,３５ 中的分析,2)( st YY? 也 与
),,,(
1 nsss
YYY L 独立,因而,对于任意 n,任意 nssst >>>> L1,有
),,,|(
1 nsssst
YYYYYE L? 0)( =?= st YYE,
于是
,
),,,|(
1
22
nsssst YYYYYE L? |])(2)([(
2
sstst YYYYYE?+?= ),,,1 nsss YYY L
)(2)( 2 stsst YYEYYYE?+?= 2)( st YYE?=
2222 )]([2
ststsst YYYEEYEY ss?==,】
推论 １２,３８ 对于 Brown 运动 tB 而言,tBt?2 是 )( tB 鞅 ； 又若 tN 为强度为 l 的
Poisson 过程,则 ttNt ll 2)( 是 )( tN 鞅,
例 １２,３９ (指数鞅 ) 对 Brown 运动 tB,2
2tc
cB
t
tez?= 是 )(
tB 鞅,
证明 任意 n,任意 nssst >>>> L1,由例 １２,３５ 知道 2
)()( 2 stcBBc
s
t ste
z
z= 与
),,,(
1 nsss
BBB L 独立,再注意 sz 是 sB 的函数,利用条件期望的性质便得
|( tzE ),,,
1 nsss
BBB L |(
s
t
s z
zEz= ),,,
1 nsss
BBB L
|( 2
)()( 2 stcBBc
s
steEz

= ),,,
1 nsss
BBB L )( 2
)()( 2 stcBBc
s
steEz

= sz=,
例 １２,４０ (与连续时间的 Markov 链相系的鞅 )
设 }0,{ ≥ttx 为具有保守的转移速率矩阵 )( ijqQ = 的连续时间的 Markov 链,假定它具有右连续的轨道 (即 w 固定式时,)(wxt 是 t 的右连续函数 ),那么如下定义的随机过程
duqIX j
t
tjt uxx ∫?=
0
}{ )(,(12,17)
341
duqIY u
t
tt ΛΛ ∫?= xx
0
)(,(12,18)
duQffZ u
t
tt ))(()(
0
xx ∫?= (12,19)
都是?x 鞅,其中 Λ 是一个状态集,ij
j
i qq ∑
Λ∈
Λ =,函数 )(if 只在有限个 i 上取非 0 值,而
∑=
j
ij jfqiQf )())((,
(证 明提 示 对于 任意 st >,利用 Markov 性,我们有 ( 把 s 看成现在,则 duq j
t
s
ux∫ 是过程的将来的值 )
=≤ ):|( suXE ut x )|():|()|((
0
}{ sj
t
s
uj
s
stj duqEsuduqEIE uu xxxx xx ∫∫?≤?
duqEduqstp sj
t
s
j
s
j uus )|()(
0
xxxx ∫∫=
dukPqduqstp sukj
t
s k
j
s
j us )|()(
0
xxxx == ∫∑∫
duqsupduqstp kjk
t
s k
j
s
j sus )()(
0
= ∫∑∫ xxx
dusupduqstp j
t
s
j
s
j sus )(')(
0
= ∫∫ xxx ( Master 方程 )
duqp j
s
j us xx ∫?=
0
)0( sj
s
sj XduqI u =?= ∫ xx
0
}{ )(,
类似地可以证明 tt ZY,也都是鞅,
命题 １２,４１ 设 tX 为 )( tY 鞅,则 0EXEX t ≡,
定义 １２,４２ 可取值 ∞+ 的非负随机时刻 t,称为 关于 )( tY 的停时 (简称 )( tY 停时 ),如果事件 t 在 t 前发生与否只依赖于 )( tY 的历史记录,即随机过程 }{ tI ≤t 是 )( tY 可知的,
随机变量 h 称为 }:{ tsYs ≤ 可 知的,如果 h 可以表示成 }:{ tsYs ≤ 中的元素的函数列的极限,
注 同样,”可知的,是直观的术语,在学术名称为,适应的,,
342
显见,常数时间是停时 ; 又如果 st,都是停时,0≥t,则 t∧∧ tst,也是停时,
与离散时间的鞅列类似地,对连续时间的鞅同样有如下的选样定理,
定理 １２,４３ ( 选样定理 )
设 tx )0( ≥t 是轨道连续的 （ 其实只需轨道右连续 ） 鞅,若停时 t 满足下述条件之一,
（ １ ） t 是有界停时,
（ ２ ） ∞<|| txE 且 0)(lim }{ =? >
∞→ ttt
IE tx,
那么我们有
0xxt EE =,
（ 证 略 ）
选样定理对研究漂移 Brown 运动是一个重要的工具,