142
龚光鲁,钱敏平著 应用随机过程教程及其在 算法与智能计算中的应用
清华大学出版社,2003
第 6章 连续时间 的 Markov 链 (Q-过程 )
1 连续 时间 的 Markov 链及其转移矩阵
1,1 连续 时间 的 Markov 链的 定义 及 等价性描述
定义 ６,１ 随机变量族 }0:{ ≥ttx 称为 连续时间的 Markov 链,如果这些随机变量都是离散的 (状态空间 S 至多是一个可数集,即它或者有限,或者与自然数一一对应 ),而且对于
0,0 1 ≥>>?≥? msssm L 及任意状态 miiji,,,,1 L,都有
=====+ ),,,|( 1
1 msssst
iiijP
m
xxxx L )|( ijP sts ==+ xx,(6,1)
Markov 性可以有许多 等价 叙述,我们概括如下,
等价叙述 １ 若 A 为 只与 资料 },{ suu <x 有关的一个 事件,则 有
)(),( ijPAijP stssts ===== ++ xxxx,(6,2)
等价 叙述 2 对于过程在时刻 s 以后所确定的事件 B 及 等价叙述 1 中之 A有
)(),( iBPAiBP ss === xx,(6,3)
等价叙述 3 在已知,现在,的条件下,,将来,与,过去,是条件独立的,
等价 叙述 4 对 状态空间上的 任意 有界函数 f,及 01 >>>> msss L,均有
))((),,)(( 1
1
ifEiiifE stsmsssts
m
===== ++ xxxxxx L (6,4)
((6,1)式 也是 (6,4)式 的特例,即 )()( }{ xIxf j= 的情形 ),
等价性质 5 （ 最一般的形式 ） 对于常见的实数集合 Λ,只由随机序列 }{ tx 在时刻 s 及其后的信息所决定的随机变量 h,以 及 任意 01 >>>> msss L,恒有
)(),,( 1
1
iPiiiP smsss
m
=Λ∈====Λ∈ xhxxxh L
或 更一般地
)(),,( 1
1
iEiiiE smsss
m
===== xhxxxh L,（ 6。 5）
1,２ 连续 时间 的 Markov 链 概率转移矩阵
定义 ６,２ 记
=),( tspij )(),|( stijP st ≥== xx,
定义无穷矩阵
143
P )),((),( tspts ij=,
称为 转移矩阵,补充定义 P =),( ss I (无穷单位矩阵 ),
命题 ６,３ （ 概率转移矩阵族的性质 ）
与离散时间情形 类似地,对于为分量全是 1 的无穷行向量 ( 矩阵 ) 1,我们有
(P.1) 1),(0 ≤≤ tspij,P ),( ts 1 T =1 T,
(P.2) ( Chapman - Kolmogorov 方程 ) 对于 stu ≥≥? 有
P =),( us P ),( ts P ),( ut,(6,6)
其分量形式为
∑=
k
kjikij utptspusp ),(),(),(,(6,6)’
证明与离散时间情形类似,
１,３ 连续 时间 的时齐的 Markov 链
定义 ６,４ 连续 时间 的 Markov 链称为 时齐的,如果其转移阵 P ),( tss + 与 s 无关,此时我们 另 记
P )( st? = P ),( ts 。 (6,7),
那么 Chapman-Kolmogorov 方程变为
P =+ )( ts P )(s P )(t (6,8)
在本书中,除非特别声明,我们所考虑的连续 时间 的 Markov 链均为 时 齐的,与时间 离散的情形类似,连续 时间 的 Markov 链的转移矩阵 P )(t 是刻 画 此链的统计特征的要素,即有
定理 6,５ （ Markov 链的有限维分布与绝对概率 ）
（ 1） 若时续的 时间 Markov 链 }0,{ ≥ttx 的初始分布为 )()0( 0 iPi == xm,其转移矩阵为 P ))(()( tpt ij=,则对于 ntt <<<? L10,有
)()()()0(),,,( 1121100
1211001?
====
nniiiiiiintt
ttpttptpiiiP
nnn
LL mxxx (6,9)
（ 2） 设 )()( iPt ti == xm,并记由 )(tim 构成的行向量为 m )(t = ):)(( Siti ∈m,那么
)( st +m = )(sm P )(t,从而有 )(tm = )0(m P )(t
从而连续 时间 的 Markov 链的统计性质 （ 包括其长期行为 ） 完全由转移矩阵 P )(t 及初始分布
)0(m 所决定,】
连续 时间 的 Markov 链也有强 Markov 性,
离散 时间 的时齐 Markov链的多步转移矩阵 P )(n 是 由一个,最小的,P所生成 的,而在
144
连续 时间 时,在 P )(t 中找不到直接生成它的,最小者,,但是,从 Chapman-Kolmogorov 方程
P =+ )( ts P )(s P )(t,P I=)0( 的形式看,它是一个无穷维的矩阵值函数方程,我们 拿一个与它相象而最 且 简单的函数方程 1)0(),()()( ==+ fsftfstf 分析,这个方程 在 0=t 处连续的 通 解为 且 而 解 )(tf 则完全 由 a )0('f= 确定,由此 猜测,在正常的情形下,如果
P?→? →0tt)( I 满足,P )(t 在 0=t 处的微商 P ’ )0( 似乎应该 存 在,而且 描述 P )(t 的演化进程的最基本的量 也应该 就是 P ’ )0(,
事实上,在实际应用中都可以无妨地认为,P ’ )0( 确实有限,而 且唯一确定了 P )(t (用严格的 数学可以证明,P ’ )0( 只是在较广的意义理解下存在,即,)(),0(' jipij ≠ 存在,但 )0('iip 却可能取 ∞?,而且这样的 P ’ )0( 未必能唯一地确定 P )(t,这些都是 理论 概率论中的纯 数学 问题,而 在实际应用中一般 是 不会遇到 的 ),于是就应用范围所关心的视点而言,我们可以说,在实用中遇到的连续 时间 的 Markov 链的转移矩阵 P )(t 关于 t 是可微的,而且 P )(t 可由它在 0=t 处 的微商 P ’ )0( 所确定,
定义 ６,６ 设 P?→? →0tt)( I 满足,把 P ’ )0( 记为 Q,称为转移矩阵 P )(t 的 转移速率 矩阵 或 形式生成元 （ 有时 也简称为 Q 矩阵 ） 即
PQ
= ’ )0(,(6,10)
概率速率 矩阵 Q 之所以重要,是因为一般 P )(t 不能直接由测量得到,然而 Q 却可通过实验手段测得,由它 再通过解一个称为 Kolmogorov 方 程的矩阵微分方程就可解出 P )(t
(参见后文 ),这样就能 得到连续 时间 的 Markov 链的统计分布,这 构成 了 研究连续 时间 的
Markov 链的统计行为的主要思路,
又由于形式生成元 Q 与转移矩阵 P )(t 间的密切关系,所以 在我国的概率界 常称 P )(t 为转移速率 矩阵 Q 的 Q-过程,这是一个具有中国特色的称谓,
在 本章中,我们恒 假定满足
P?→? →0tt)( I,(6.11)
2 Poisson 过程与复合 Poisson 过程再访
例 ６,７ （ Poisson 过程作为 Markov 过程转移矩阵与 转移速率 矩阵 ）
145
Poisson 过程是独立增量过程,所以它有 Markov 性,故 它是连续 时间 的 Markov 链,由第 ３ 章知道 Poisso n 过程的转移矩阵依赖于连续时间参数 t,即
P
≥?==
)(0
)()!( )()(),()(
其它情形
ijij tetppt
ij
t
ijij
ll
,
因此 转移矩阵是一个上三角形无穷矩阵,这时 转移速率 矩阵 （ 形式生成元 ） 为
Q = )( ijq =
OOO
OOO
00
00
0
ll
ll
ll
,
注意 Poisson 过程的转移速率 矩阵 Q 的每一行的和都是 0,这 个事实对于 只有 有限个状态的连续 时间 的 Markov链总是对的,写成向量形式就是 Q 1 0=T,但是对于一般有可数个状态的连续 时间 的 Markov 链 确未必正确,因为 在数学上 我们 只能证明 Q 1 0≤T,因此也 就 引 出了许多的困难,从而 激 起了 纯理论研究的 概率论学 者 的 兴趣,好在实际应用中的 连续 时间 的 Markov 链,常常 都满足 Q 1 0=T,
定义 ６,８ 满足条件
P?→? →0tt)( I,Q 1 0=T (6,１ 2)
的 Q 称为 保守的 转移速率 矩阵,
在实际应用中就忽视 Q 1 0≠T 的情形,这就是说,在实际应用中遇到的转移矩阵总认为是保守的 。 即如果 发现 了 非保守 情形,则 可能是遗漏了某些状态,
例 ６,９ （ 复合 Poisson 过程的转移矩阵与 转移速率 矩阵 ）
设 tN 为强度 l 的 Poisson 过程,}{ kY 为与之独立的独立同分布随机序列,则
tNt YY ++=
L1x
是 复合 Poisson 过程,又 因为它也是独立增量过程,所以它有 Markov 性,假定
)1(,21~
21
∑ =
j
j
j
k ffff
jY
LL
LL
,
那么 tx 是连续 时间 的 Markov 链,我们来求它的转移矩阵与 转移速率 矩阵,对于 ts <
)(,0),( jitspij >=,)()0(),( sttii eNNPtsp==?= l,
146
而 当 ji < 时,由 独立增量性及全概 率 公式 得到
)|(),( ijPtsp stij === xx )|( 11 iYYijYYP
tts NNN
=++?=++= + LL
)( 1 ijYYP
ts NN
=++= + L )( 1 ijYYP
st NN
=++=?L
)()|( 1
1
kNNPkNNijYYP ststk
k
=?==++= ∑
≥
L
)()( 1
1
kNNPijYYP stk
k
==++= ∑
≥
L 。
归纳地记概率向量 f ),,,( 1 LL iff= 的 k 次 卷积 ( 它们代表 k 个独立同分布的随机变量的和的分布 ) 为
∑
=
==
l
j
kk
l jlfjflfflf
1
11**1 )()()(,)(,
那么我们得到
∑
≥
=
1
)(*
!
))(()(),(
k
k
stk
ij k
steijftsp ll,
这说明转移矩阵是时齐的上三角形无穷矩阵,易见其 转移速率 矩阵 为
Q = )( ijq =
OOO
OOO
LL
LL
21
21
21
0
0
ff
ff
ff
lll
lll
lll
,(6,13)
由此可见复合 Poisson 过程 的 Q 矩阵 也是保守的,
3,由 转移速率矩阵 确定时间连续的 Markov 链
3,1 Kolmogorov 方程及 Master 方程
定理 6,１０
(1) PQ = ’ )0( )( ijq= 在广义下存在,即,
)(,0,0 jiqq ijii ≠≥≤≤∞?,∑ ≤
j
ijq 0,(6,14)
(2) 若总状态数有限,则?∞>iiq,且 Q 保守 (即 ∑ =
j
ijq 0 ),此时 P )(t 由 Q 唯一
地确定,而且它可以表达为以下的收敛级数,
P )(t = e Q t D= L+++ !2!1
2QQ
I ; (6.15)
147
另一方面,P )(t 也可以通过求解下面两个方程之一得到,
Kolmogorov 向前 方程 （ Fokker - Plank 方程 ）
P ’ )(t = P )(t Q,P =)0( I ; (6.16)
Kolmogorov 向后方程,P ’ )(t = Q P )(t,P =)0( I (6.17)
（ 3 ） 对于非有限 个 状态的 Markov 链,只要 Q 保守 (即 Q T1 0= ),且 iii qq?=? 是 i 的有界函数,则 (2) 中的所有结论全都成立,
( 本定理的证明冗长,且需要较多的数学准备知识,本书 中 从略,我们只指出,
Kolmogorov 向前方程与 Kolmogorov 向后方程可以由 Chapman-Kolmogorov 方程
P =+ )( st P )(t P )(s 及 P =+ )( st P )(s P )(t 形式地对 s 取微商后 再 令 0=s 得到 ),
[ 注 ] 应用中的 绝 大多数的转移速率矩阵,都满足本定理中 (3) 的条件,最典型的情形出现在从 每 个状态只能转移到有限个状态的情形,
从本段以下,我们恒假定 如下条件满足,
ijij0t tp d=→ )(lim,iq 有界,Q 保守 （ Q
T1 0= ）,(6,18)
具有满足 (6.18)的 转移 速率矩阵 Q 的转移矩阵 P )(t,称 作 以 Q 为转移速率 矩阵 的连续 时间的 Markov 链,,
Kolmogorov 向后方程写成分量就是
∑
≠
+?=
ik
kjikijiij tpqtpqtp )()()(',
把它看成 )(tpij 的微分方程,乘上其积分因子为 tqie 后积分便得
∑∫
≠
+=
ik
kjik
sqt
0ijij
tq dsspqe0ptpe ii )()()(,
于是得到 下面的结论,
定理 6,１１ ( Kolmogorov 向后方程的分量形式的积分迭代 )
Kolmogorov 向后方程就等价于积分方程组
∑∫
≠
+=
ik
kjik
sqt
0ij
tq
ij dsstpqeetp
ii )()( d,
由这个方程可作如下的迭代算法,
L
0)0( =ijp
∑∫
≠
+=
ik
1n
kjik
sqt
0ij
tqn
ij dsstpqeetp
ii )()( )()( d,
当 ∞→n 时,)(nijp 收敛,其极限就是 Kolmogorov 向后方程的解,
（ 此定理的证明不难,读者可自行验证 ）
3,2 转移速率矩阵的概率含义
148
我们引述下面的定理,它在已知概率速率 矩阵 Q 时,对于 模拟对应的连续 时间 的 Markov
链 的轨道,起关键的作用,
定理 6,１２
设转移速率 矩阵 Q 满足 （ 6,18 ） 的 连续 时间 的 Markov 链为 tx,记 t 为 次 Markov 链 首次跳跃 的 时刻,即
}:inf{ 0xxt ≠= tt,
那么
（ 1） tqieitP==≤ 1)|( 0xt （ 即,在条件概率 )|( 0 iP =? x 下,
iq
exp~t ）,
（ 2 ） t 与 rx 在条件概率 )|( 0 iP =? x 下条件独立,
（ 3 ） 在条件概率 )|( 0 iP =? x 下,,
+?
+? LLL
LLK
i
ii
i
ii
q
q
q
q
ii
1,1,
11
~tx,
（ 在定理假定下,Markov 链的轨道是右连续的,而定理结论的证明,需要对轨道作细致的分析,本书从略 ）,
定理 6,１３ 设条件 （ 6 。 18 ） 成立,记 kt 为 Markov 链 tx 的第 k 次跳跃时刻,
则 kk txh
= 是离散时间的时齐 Markov 链,其转移矩阵为
~P
~
)( ijp=,其中
=
≠=
)(0
)(~
ij
ijqqp
i
ij
ij,kh 称为连续 时间 的 Markov 链 tx 的 嵌入链,它表达了 Markov 链 tx 的跳跃情况,
( 证 明提 示,只需检查 Markov 性 ),
4,连续 时间 的 Markov 链 的极限分布
4,1 连续 时间 的 Markov 链 的转移矩阵的平均极限
与定理 5,４０ 完全类似地可以得到
定理 6,１４ 满足 条件 （ 6,18 ） 的 连续 时间 的 Markov 链 的转移矩阵 有 平均极限
∫T0T1 P →? ∞→Tdtt)( L某个,
而且 它满足
P )(t L = L P )(t = L = L 2,
同时 L 具有离散时间情形类似的分块形式,
4,2 连续 时间 的 Mar kov 链 的极限分布
引理 6,１５ 设条件 （ 6,18 ） 满足,则
(1) 对于任意 i 及任意 0≥t,恒有 0)( >tpii,
149
(2) 对于 ij ≠,要么 0tpij ≡)( ; 要么存在 0t,使 )(,)( 0ij tt0tp ≥?>,
证明 我们只对 有限状态情形证明,
(1) 由于 P?→? →0tt)( I,必 定 存在 0h0 >,当 0hh ≤ 时,对于任意 i,有 0hpii >)(,从而对于任意 t,有 0)()( >≥ niiii ntptp,
(2) 对于 ji ≠,若 0)( ≡tpij 不成立,则必 定 存在 0t,使 0tp 0ij >)(,于是由 (1) 得到
)(,)()()( 00jj0ijij tt0ttptptp ≥?>?≥,
定理 6,１６ 对于满足 （ 6,18 ） 条件 的 连续 时间 的 Markov 链,存在 行和为 １ 的 矩阵 P )(∞,
使
P?→? ∞→tt)( P )(∞,
证明 我们也只对有限 个 状态 的 情形证明,由引理 6.1 5 (1),对任意 0h >,Markov 链 }:{ 0nnh ≥x
所有的状态 i 都是非周期的,因为 i 是 常返态,由定理 5,50 注 1 推得 )(lim nhpiin ∞→ 存在,我们把它记成 )()( ∞hiip,
对于 ji ≠,若 0tpij ≡)( 不成立,则由引理 6.1(2) 0t?,使 )(,)( 0tt0tp 0ij >≥?>,对于
0th ≥,因为 i 是 常返态 且 i 可达 j,从 而 i 与 j 属于同一个非周期常返类,由定理 5,50 注 1 推得
)(lim nhpijn ∞→ 存在,总之有 P →? ∞→nnh)( P )()( ∞h,
再则,由定理 6,14,P )(nh 的平均极限 ∑
=
∞→
n
1k
n n
1lim P )(kh 也应为 L,从而 P )()( ∞h = L,
最后,我们来证明 P?→? ∞→tt)( L,事实上,由 于 P?→? →0tt)( I,当 h 小时有
ed <? |)(| kjkj hp,又 对于任意充分大的 t,有 hhhtt <? ][,因而
∑ <≤?
k
kjkjikijij hh
ttph
h
tph
h
tptp ed |)][(|)]([|)]([)(|,
由此可见
=∞→ )(lim tpijt ijijt lhhtp =∞→ )]([lim,
引理 6,１７ 对于满足 （ 6 。 18 ） 的 连续 时间 的 Markov 链 }:{ 0tt ≥x,如果 ji,关于它
150
的嵌入链 )(
~~
ijpP = 互通 （ 也称为 Q － 互通 ）,其中
i
ij
ijij q
qp )1(~ d?=
,则对于任意 h,状态 ji,关于 Markov 链 }:{ 0nnh ≥x 也是互通的,
证明 我们只对有限状态情形给出证明,
由互通可知存在 m1 ii,,L,使 ),;,,0(,101 jiiinkii nkk ===≠ ++ L,0qqq jiiiii
n211
>L,
注意到当 ≤h 某个 0h 时,由 P?→? →0tt)( I,对 于 任意 ji ≠ 有 )()( hohqhp ijij +=,便得 到
0hphphp jiiiii
n211
>)()()( L,即 对于任意 0hh ≤,i 与 j 关于 Markov 链 }:{ 0nnh ≥x 是互通的,
对于 0hh > 的情形,只要注意对于 h 给定,必然存在一个 m 使 0hmh <,由此 对于任意的 ji,,只要
0mhpij >)(,利用引理 ５,１５ 就得 0mhpmhphp 1mjjijij >≥?)()()(,】
定理 6,１８ 对于满足 （ 6,18 ） 条件的 连续 时间 的 Markov 链 }:{ 0tt ≥x,如果其转移速率阵 为 Q － 互通 （ 意即对于任意 ji ≠,存在 m1 ii,,L,使
),;,,0(,101 jiiinkii nkk ===≠ ++ L,0
211
>jiiiii
n
qqq L ）,
那么
P?→? ∞→tt)( pT1=,
此时 p 或者是一个概率分布,或者恒为 ０,
证明 由引理 6,１７,对 h?,}:{ 0nnh ≥x 都是互通的 Markov 链,由定理 6,１６ 可知此时 L 具有相同的行向量故有形式 L pT1=,
5,连续时间的 Markov 链的转移矩阵 P )(t 的不变分布
5,1 连续 时间 的 Markov 链的转移矩阵 P )(t 的不变分布与其嵌入链的不变分布
定义 ６,１９ 概率分布向量 p 称为 P )(t 的不变分布,如果对于 任意 t 恒有
p = p P )(t,
在 (6.18) 条件满足下,它 还 等价于
p 0=Q,
事实上,我们只在有限状态情形给出证明,等价的必要性显然,今用后向方程证明充分性,利用
151
( Pp )(t ) ’= P(p ))(t ’= QPp 0)( =t,
便 得 到 Pp )(t = Pp )0( = p,
命题 ６,２０ 以 P )(t 为转移矩阵,并以其不变分布 p 为初 始 分布 的 连续 时间 的
Markov 链 }0:{ ≥ttx,是平稳过程,即,对于 任意 kttks,,,,1 L,},,(
1 stst k ++
xx L 与
},,(
1 ktt
xx L 有相同的联合分布,
定义 ６,２１ 概率分布向量
~p
称为 嵌入链 的转移矩阵
~P
的不变分布,如果
~~~ Ppp =
,
命题 6,２２ 若 p 为 连续 时间 的 Markov 链的转移矩阵 P )(t 的不变分布,则
~p ),,,( ~
1
~ LL
ipp= 是嵌入链
~P
的不变分布,其中 ∑=
j
jj
ii
i q
q
p
pp~ ; 反之,若 ~p 是嵌入链 的转移矩阵
~P
的不变分布,且 ∞<=∑
j j
j
qZ
~
p
,则 p ),,,( 1 LL ipp= 是 P )(t 的不变分布,
其中 Zq
i
i
i
~p
p =,
( 请 读者自己验证 )
我们不加证明地给出下面的定理,
5,2 连续 时间 的 Markov 链的遍历极限
定理 6,２３ 在 (6,18) 条件下,若存在唯一 的 概率分布 p 满足 p 0=Q,则
P?→? ∞→tt)( pT1=,
此时还有
（ １ ） 对于定义在状态空间上的函数 )(if,只要满足 ∞<∑
i
iif p|)(|,就以概率为 1 地有
∑∫?→? ∞→
i
i
t t
s ifdsft px )()(
1
0
,
（ ２ ） 对于定义在状态空间上的函数 ),( jig,只要满足 ∑ ∞<
i
iji upjig )(|),(| p,
就以概率为 1 地有
∑∫?→? ∞→+
i
iji
t t
uss upjigdsgt )(),(),(
1
0
pxx,
( 多元函数也有类似的结论,得到这个定理的过程与离散时间的 Markov 链的情形类似 )
152
[ 注 ] ( 关于禁忌概率 )
与离散时间的 Markov 链类似地,对于有限状态的 连续 时间 的 Markov 链,记
),(),|,()( 0 AjiijtPtp tAijA?==>=
xxt,
再记 Q 在状态集 A上的限制为 Q A,即,Q A Ajiijq ∈=,)(,P )(t 在状态集 A上的限制为 P A )(t,
即,P A )(t Ajiij tp ∈=,))((,那么可以证明,对于 Aji,有
P A )(t = e t Q A,
5,3,对称 的与 可逆 的连续 时间 的 Markov 链
定义 ６,２ ４ 转移速率矩阵 Q 称为 配称的,如果存在非负数列向量
m ),,,( i1 LL mm= 满足
jijiji qq mm =,(6,19)
m 称为 Q 的 配称列,易见,m 称为 Q 的配称列等价于 ),,,( 11 LL ii qq mm 为嵌入链 的转移矩阵
~P
的配称列,即,对于任意 ji ≠,恒有
~~
jijjijii pqpq mm =,连续 时间 的 Markov 链的转移矩阵 P )(t 称为 对称的,如果存在非负数列向量 m ),,,( i1 LL mm=,对任意 t 满足
)()( tptp jijiji mm =,(6,20)
（ 也称此连续 时间 的 Markov 链是对称的 ） 而 m 称为 P )(t 的配称列 ; P )(t 称为 可逆的,如果它有一个配称列 p 为概率分布向量,这时 p 称为可逆分布 （ 也称此连续 时间 的 Markov 链是可逆的 ）,可逆分布必是不变分布,
命题 ６,２５ 在 （ 6,18 ） 条件下,连续 时间 的 Markov 链的转移矩阵 P )(t 为对称的,
且以 p 为其可逆分布,当且仅当,它的转移速率矩阵 Q 以 p 为配称列,
在处理一些实际问题中,下面的一个定理相当好用,
定理 6,２６ 若 （ 6,18 ） 满足,且 Q 以概率分布向量 p 为其配称列,且其转移速率矩阵 Q － 互通,则
P?→? ∞→tt)( pT1=,
定理 6,２７ (Kolmogorov 对称性准则 )
Q 互通的 的连续 时间 的 Markov 链为对称的充要条件为,对于任意的一个状态环路
121,iiiiR m →→→→ L 成立下面的 (K) 条件,
(K)?= RR qq,
其中 Kq 是沿环路 R 的转移概率速率的积,即
153
1121 iiiiiiR mmm qqqq?
= L,
而?R 则是环路 R 的反向环路,
在 (K) 条件满足时,配称列 m ),,,( i1 LL mm= 可以求得如下,固定某个状态 0i,对于任意状态 i,任取一条从 0i 到的通路 iiiii mm =→→→→ +110 L,令
0
0 1
1 >=∏
=
+
+
m
k ii
ii
i
kk
kk
q
qv
,
定义
=+
≠+
=
∑
∑
≠
≠
)(1 1
)(1
0
0
0
0
iiv
iivv
ik
k
ik
k
i
im,
在 }{ iq 非有界时,条件 （ 6 。 18 ） 不成立,此时 下面引述的定理对 Q 过程的存在性给出了一种 可能性
定理 6,２８ 若转移速率阵 Q 是保守的 ( 即行和为 1),又假定它有配称列 m,满足,
∑ ∞<
i
im,∑ ∞<
i
iiq m,
那么 此时 P )(t 由 Q 唯一地确定,P )(t 可以通过求解 Kolmogorov 向前方程,
P ’ )(t = P )(t Q,P =)0( I ; 或 Kolmogorov 向后方程,P ’ )(t = Q P )(t,P =)0( I
得到,而且 P )(t 以 p ∑=
i
im
1 m 为可逆分布,
(此定理见之于作者之一的工作 <平稳马氏链的可逆性 >,北京大学学报,第 4 期,1-9 页,
1978),
6,例
6,1 连续时间分支过程
假定一个粒子的各次分裂时间组成一个强度为 l 的指数流,各个粒子的分裂是相互独立的,每个粒子每次分 裂时自己消失并产生子代,各个粒子各次分裂后产生的子代的粒子数都是独立同分布的随机变量,其分布为
LL
LL
kfff
k
10
10,
令 tX 为时刻 t 的粒子数,我们来说明它是 Markov 链,记
154
)|(),( iXjXPhttp thtij ===+ +,
我们分析如下,
1,在 ],( htt + 中,一个粒子分裂两次以上的概率记为 a,则 )(ho=a,
事实上,在 ],( htt + 中第一次分裂的时刻必在某个时刻 st +,而在 ],( htst ++ 中至少还要分裂一次,由于这两个是相互独立的,故它们都发生的概率应为
)1( )()( shst ee+ lll,于是由 ( 推广的 ) 全概率公式得
∫=
h
0
a dsee shst )1( )()(+ lll )()1( hoheeee htht == llll l,
2,在 ],( htt + 中,一个粒子不分裂的概率为 he l? ； 而分裂一次的概率为 hhe ll? ( 这是因为在 ],0( t 中的分裂次数是 Poisson 过程 ),
3,i 个粒子在 ],( htt + 中至少有两个分裂的概率记为 b,则 )(ho=b,
事实上,
)()()(
2
hoeheC
ik
kihkhk
i == ∑
≤≤
lllb,
概括起来,在 ],( htt + 中,如忽略 )(ho 不计,那么或者没有粒子分裂,或者只能有一个粒子分裂,而且它也只能分裂一次,于是我们有
(1)
),( httpii + )|],(( iXihttP t =+= 个粒子全不分裂内
)|],(( iXihttP t =++ 一次且分裂为一个个粒子中恰有一个分裂内
)()1()()( 1111 hohfihiefheCe ihhiih ++?=+= lll lll,
从而以下极限与 t 无关,
)1(1),(lim)( 10 fih httptq iihii=?+= →
l,
(2) 对于 1+≥ ij,
),( httpij +
)|)1(],(( iXijihttP t =+= 个一次且分裂为个粒子中恰有一个分裂内
)()( 11)1(1 hohfiefheC ijihijhi +== + ll ll,
155
从而以下极限也与 t 无关,
10
),(lim)(
+?→
=+= ijijhij fih httptq l,
(3)
),(1,http ii +? )|0],(( iXihttP t =+= 个一次且分裂为个粒子中恰有一个分裂内,
故而以下极限也与 t 无关,
0
1,
01,
),(lim)( fi
h
httptq ii
hii l=
+=?
→
,
(4) 当 1?< ij 时,)(0),( hhttpij =+,所以 0),(lim)(,0,=+= →
h
httptq ji
hji
即 tX 具有与 t 无关的概率转移矩阵,
Q
= OOOO L
L
3210
3210
22)1(22
)1(
00
ffff
ffff
llll
llll
。
可见 tX 是连续时间的时齐的 Markov 链,
6.2 有限格点上的 Ising 模型与 Gauber 动力学
定义 ６,２ ９ （ Ising 模型 ）
Ising 模型是统计力学中的典型模型 。 记 T },,2,1{ NL=,则
=G
T d 就是每边为 N 个格点的 d 维格点阵列,设每个格点上有一个粒子,它可以处于 1+ 与 1? 两种状态之一,称为两种自旋状态 。 那么 T d 个粒子组成的粒子系统带上各自的一种自旋,就组成粒子系统的一个状态,全体状态组成的集合记为 S,它是一个有限集合,即
GS }1,1{ +?= ∈== xx),(:{ hhh T d }11)(,+?= 或xh,
S 中的一个元素是粒子系统的一个状态,在统计力学中有一个专用的名称,称为一个 组态 。
在组态空间 S 上定义了如下的一个 能量函数,
∑ ∑=
相邻yx x
xhyxH
,
)()()(21)( hhhh,
其中第一个和为所有相邻格点对上的自旋,对于能量的贡献,而第二个和表示 外场,
令 xh 为只在格点 x 处改变组态 h 的自旋符号后所得的组态,即
156
=?
≠=
xyx
xyyyx
),(
),()(
h
hh,
定义 ６,３０ （ Ising 模型的 Glauber 动力学 ）
Ising 模型的 Glauber 动力学是指如下的转移机制,当 hx ≠ 时,只当组态 x 与组态 h 间在一个格点上的自旋不同时,才容许 x 到 h 的转移,且这时的转移速率为
== 其它情形 ）(0 )(),,(
xxC
q xhxxh,
其中 ),( xxC 可有两种取法,
))()((),( xxbx HH xexC= ∑ ∑=
+?
相邻yx x
xhyx
e,
))()()(( hhhb
或
))()((1
1),(
xxbx HH xexC+=,
参数 b 是绝对温度的倒数,称为 倒温度,而 ∑?=?
x
xCq
一切
),( xxx,因为状态 （ 组态 ） 数是有限的 （ 共 dN2 个 ）,Glauber 动力学就是由转移速率矩阵 Q Sq ∈= hxxh,)( 所决定的连续时间的 Markov 链,其转移矩阵为
P )(t = e Q t = L+++ 2
2
!2!1 t
QtQI,
下面求 I sing 模型的 Glauber 动力学的可逆分布,令
)()( xbxa He=
,
它是 Q 配称列,即 hxxh haxa qq )()( =,所以,Glauber 动力学的转移速率矩阵 Q 确定的 Markov 链具有可逆分布 p ):( S∈= xpx,而 S 为状态空间 （ 全体组态 ）,其中
∑
∈
=
S
H
H
e
e
h
hb
xb
xp )(
)(
,
p 称为此 Ising 模型的 Gibbs 分布,
进而,由于转移速率矩阵 Q 的互通性,运用定理 6,２６ 得到转移概率矩阵有极限
P?→? ∞→tt)( pT1=,可见 Gibbs 分布是 Glauber 动力学的极限分布,
6,3 生灭类过程
定义 ６,３１ 状态空间为 整数,且转移速率矩阵为
157
Q
+?
+?=
OO
OOO
OOO
jjjj
iiii
lmlm
lmlm
)(
)(
的连续时间的 Markov 链,称为 生灭过程,其中 0,>ii ml,}{ ii ml + 为有界序列,i 为整数,
此时 Q 是互通的,有配称列 a ),,,,( LLL ji aa=,满足 11 ++= iiii mala,即可取
),0(,,1
1
10 ≥==
+
+ i
i
i
ii m
laaa )0(,1
1 <=
+
+ j
j
j
jj l
maa
,
如果还满足
∞<++= ∑ ∏∑∏
∞=
=
+
∞
= = +
1 1 1
0 0 1
1
j jk k
k
i
i
k k
kZ
l
m
m
l,
那么 p Z1= a 就是唯一的可逆分布,此时生灭过程的转移矩阵有 P aTtt 1?→? ∞→)(,
例 ６,３ ２ 状 态空间为非负整数,且转移速率矩阵为
Q
+?
+?
+?
=
OO
OOO
iiii lmlm
lmlm
lmlm
ll
)(
)(
)(
2222
1111
00
,
的连续时间的 Markov 链,称为 单侧生灭过程,其中 0l,0,>ii ml,}{ ii ml + 为有界序列,
1≥i,类似地,可以得到存在可逆分布的条件,
有一类特例,就是空间齐次情形,即 mmlll === ii,,0,)1( ≥?i 的情形,此时存在可逆分布的充要条件简化为 ml <,在条件成立时,可逆分布为
p ),)(,,,1(
1
1 LL n
m
l
m
l
m
l?=,
例 ６,３３ （ 线性纯生过程,Yule 过程 ）
考察一种初等生物群体的繁殖过程模型,假定每个生物体与其它生物体的繁殖相互独立地服从参数为 l 的 Poisson 过程,且每个生物体分别地繁殖后代,且不会死亡 ( 可以理解为转变为另一种形式保存下来 ),记 tN 为时刻 t 时该生物群体的个数,称为 Yule 过程,令
158
L,2,1,0)()( === nnNPtp tn
在 nNt = （ 即已知在 t 时刻有 n 个生物体 ） 的条件下,我们来考察微小的时间段 ],( htt + 内群体个数的变化规律 。 由 Poisson 过程的直观含 义可知,此过程相当于 n 个相互独立 Poisson
过程的叠加,根据第 3 章的结论,它服从参数 n l 为的 Poisson 过程,于是,在这段时间内繁殖两个或两个以上后代的概率为 )(ho,且在 ht + 时的生物体的个数满足
)(}1],(,1{
}],(,{)(
hohttnNP
httnNPhtp
t
tn
++?=+
++==+
内出生的后代个数为内无后代出生
)()1)(()1)(( 1 hohntphntp nn ++=? ll
在上式两边分别减去 )(tpn,除以 h,令 0→h,我们得到
)()1()()( 1 tpntpntpdtd nnn+?= ll,（ Y.1 ）
其初始条件由时刻 0 的 时生物群体的个数所决定,假定 00 nN =,则 方程 (Y.1) 的初始条件为
)(.0)0(;1)0( 0
0
nnpp nn ≠== （ Y,2 ）
在 0nn < 时,对于任意的 0≥t,显见有 0)( =tpn,在 0nn = 时,则根据 方程 （ Y.1 ） 及
（ Y.2 ） 式 知
1)0(),()(
000 0
=?= nnn ptpntpdtd l,
此方程的解为
tnn etp l00 )(?=,(Y.3)
而在 10 +≥ nn 时,我们可由 方程 (Y.1) 建立一个递推关系,假定 )(1 tpn? 为已知函数,并以
0)0( =np 为初始条件,则可由 方程 (Y.1) 解出
dsspnetp n
t
stn
n )()1()( 1
0
)(
∫?= ll,
最后,由这个递推式及 （ Y.3 ） 式,我们用归纳法可依次求得
00 )1()(
)!1()!(
)!1()(
00
nntnt
n eennn
ntp
= ll,（ 1
0 +≥ nn ）,
以上说明生灭过程 tN 作为连续时间的 Markov 链具有如下的转移,
159
>
=
<
=
)()1()()!1()!( )!1(
)(
)(0
)(
ijeeiij j
ije
ij
tp
ijtit
ti
ij
ll
l,
这时转移速率矩阵为
Q
=
O
OO
ll
ll
ll
ii
22
00
,
例 ６,３４ （ 纯灭过程 ）
若一个系统由 n 个部件并联构成,系统的故障率正比于正在工作但未出故障的部件的数目 k,即此时的故障率为 kkl 。 记 tx 为在时刻 t 正在工作而未出故障的部件的数目,令
)()( kPtp tk == x,
假定在 ],( htt + 中有两个以上的部件发生故障的概率为 )(ho,那么我们有
)()|1( hohkkkP ktht +==?=+ lxx,
用全概率公式,对于 nk < 我们得到
)()()1()())1()( 11 hotphktphkhtp kkkkk +?++=+ ++ ll,
两边减去 )(tpk 后除以 h,令 0→h,便得
)()()1()(' 11 tpktpktp kkkkk ll?+= ++,（ nk < ）,
再则
)()(' tpntp nnn l?=,
初始条件为
)(,0)0(,1)0( nkpp kn <==,
由此我们可以向后归纳地解出这组方程,然而,更简单的是 用 Laplace 变换方法,令
dtetpzp ztkk?
∞
∫=
0
^
)()(,
于是由上面的常微分方程组及初值条件立得
)(1)( ^^ zpnzpz nnn l?=?,
160
)()()1()( ^1^1^ zpkzpkzpz kkkkk ll?+= ++,
由此解得
n
n nzzp l+=
1)(^,
)()(!
!)( 11^
kn
knn
k kznzk
nzp
ll
lll
++=
+?
L
L,
这个例子可以有如下的应用,由于系统是并联的,所以系统的可靠函数 （ 系统在时刻 t
在工作的概率 ） 为 )(1 0 tp?,由此可以通过查 Laplace 变换表,反过来求得 )(0 tp,为此记
)())(()( 21 nxxxxa lll +++= L,
则可得到
∑
=
=
n
k kk
tk
n kak
entp k
1
10 ){'!1)( llll
l
L,
记系统的寿命为 V,它是一个随机变量,于是系统的平均寿命为
∫∫
∞
→
∞
=?=>==
0
0
^
00
0
))(1(lim))(1()( zpzdttpdttPE zVVm ∑
=
=
n
k kk1
1
l,
* 例 ６,３５ （ 带迁移的线性生灭过程 ）
若
Q
+++?
+++?
+++?
=
OO
OOO
lmlm
lmlm
lmlm
iaiiai
aa
aa
aa
i )(
2)22(2
)(
,
其中 0>m 为灭绝率,0>l 为生长率,0>a 为迁移率,为了 使 系统有平稳性,我们假定 ml <,
首先,Q 有配称列 m ),,( 10 Lmm=,它满 足,
LL
mmm 10 =a
mmlm )1()( 1 +=+ + nna nn,
所以可取
161
nnn n
aana
n
na
a
m
ll
m
lmm
mm
m
!
][])1([)1(
1
1
1
0
+?+==?+=
=
=
LL
LL,
于是
∑∞
=
∞<+?++=
0 !
)(])1([1
n
nn
aanaZ
m
ll L,
从而 p Z1= m 是一个分布,
再则,对于 )( ml ++= naqn,有
∞<∑
n
nnq m
这说明定理 6,28 条件满足,因此 Q 是一个对称的 连续时间的 Markov 链的转移矩阵 P )(t 的速率矩阵,
我们将对固定的 i 用向前方程 求 出 }),({ Sjtpij ∈ 的母函数
∑∞
=
=
0
)(),(
j
j
iji ztpztP,
注意 向前方程 P ′ (t)= P (t) Q 的分量形式为 )1( ≥j
)()()(' 1.0,0,tptaptp iii +?=
)()1()())1(()())(()(' 1,1,tpjtpjatpjatp jijiijij +? ++?++++?= mlml,
其初值为 ijijp d=)0(,于是 ),( ztPi 满足
=
+?=
i
i
i
i
i
zzP
z
PzzPza
t
P
),0(
)1)(()1( lm,
这是一个一阶线性偏微分程,可以 通过 特征线法求解,为此,先把方程 改 写成
i
ii P
z
a
t
P
zzz
P
lmlm?=?
+
)1)((
1,
特征线法的思想是引进一条 ( 实际上是一族 ) 曲线 t=t(z),使 ),( ztPi 在 t(z) 上可以表成 z 的函数,我们想要选 t(z),使方程左方成为 dt
zztdPi )),((
( 即 z
Pzt
t
P ii
+
)('
),为此只需选
162
)1)((
1)('
zzzt
=
lm
≠?+
=
=
)()1 1(1
)()1( 1 2
lmlm llm
lml
zz
z,
( 注意 0>> lm ),从此解出 t(z) 得,
≠
=?
+=
)(|1|log1
)()1( 1
)(
lmlmml
lml
z
z
zCzt
)(0 ztC +=?,
这样,)),(( zztPi 满足方程
dt
zztdPi )),(( =(
i
ii P
z
a
t
P
zzz
P
lmlm?=?
+
)
)1)((
1,
此方程是可分离系数的,它的解为
llm
a
i zKzztP
= ||)),((
,
由于这个解是沿依积分常数 C 的曲线族 t(z) 求的,所以这个任意常数 K 必须依赖于 C,即应该有
))()(()( 0 ztztKCKK?==,
于是
llm
a
i zzttKztP
= ||))((),(
0,
为了确定函数 K 的具体形式,需要利用初值 ii zzP =),0(,此即
llm
a
i zzztK ||))((
0?=?,
再作变换 )(0 ztu?=,便得
llm
a
i ututuK |)(|))(()( 1
0
1
0=
,
把它代入 ),( ztPi 的表达式,最后便得到 ),( ztPi 的表达式,
由定理 6,28,我们有
P pTtt 1?→? ∞→)(,
如果 0=a,即无迁移,那么这是 0 点为吸收点的空间齐次的单侧生灭过程,
[注 ] 若条件 lm > 不满足,则易见配称列各分量之和为 ∞,不可能满足定理 6.28 的条件条件,但是,可
163
以 与前面类似地仍可求得 ),( ztPi 的明显表达式,并求得此 Markov 链的灭绝概率,
6,4 系统与 有效度
一个系统常由一些串联,并联,桥联或带反馈的各个部件构成,每个部件独立地工作,
且近似地假定其应用寿命为服从指数分布的随机变量 （ 如果各部件的寿命的分布不是指数分布,则本段的方法不适用 ）,系统在时刻 t 还在工作的概率就称为它的可靠性函数,典型的应用出于设备维修,
例 ６,３６ （ 典型例子 1 － 作为双侧生灭过程的设备系统 )
有 M 台设备独立地工作,每台设备的正常运转时间段为服从参数 λ 的指数随机变量,且相互独立,当运转不正常时就需要检修,假定有 )( Mnn ≤ 个修理工,记 tN 为在时刻 t 此系统中不能正常运转的设备数 ( 包括正在修理的与待修的 ),假定修理工相互独立地,以服从参数 μ 的随机时间修好系统中的一个设备,我们需要求 tN 的不变分布,它描述了系统在稳定时的工作质量,由此可以对于备用件的储备方案提供指导意见,
解 (1) 设备并联的情形,
tN 的 可能取值为 M,,1,0 L,由指数流的性质我们有,每台设备在 ],htt +（ 中需检修
1 次的概率等于 )(hoh +?l,而需检修 2 次以上的概率为 )(ho,又每台在修设备在
],htt +（ 中已修好的概率为 )(hoh +?m,未修好的概率为 )(1 hoh + m,利用 k 个独立同指数分布 ( 参数为 r ) 随机变量的最小值服从参数为 rk 的指数分布这一事实,考虑到设备运转与检修时间之间的独立性,就可求得
>?
=+∧
+=+?
===+
)1|(|)(
)1()()(
)1()()(
)|(
ijho
ijhohin
ijhohiM
iNjNP tht m
l
,
于是 tN 是具有下面的转移速率矩阵的连续时间的 Markov 链,
Q
∧+∧
=
mm
lmlm
ll
nn
iMiniMin
MM
OOO
OOO
)(])()[()(,
Q 是互通的,且具有配称列 m ),,( 0 Mmm L=,它满足
mmlm ))1(()( 1 +∧=? + iniM ii,
由此得到
0
0
1
1 )1()()1( mm
lm
m
lm ∏
=
+
+ +∧
==
+∧
= i
k
i
ii kn
kM
in
iM L,
164
不妨假定 10 =m,令
∑ ∏
=
=
+∧
+= M
i
i
k
i
kn
kMZ
1
1
0 )1(
)(1 ml,p Z1= m,
那 么
≤<++
≤
=
)(
)2)(1()(
)()( 0
Minn innC
niC
ni
ii
M
ii
M
i L
m
l
pml
p,
如果 Mn =,那么由上面可推出
MM )()1(
0 lm
m
m
lp
+=+=
iMi
i
M
Mi
i
Mi CC
+
+=
+
=
lm
m
lm
l
lm
m
m
lp,
这就是说,作为极限分布的可逆分布 p,是二项分布 ),( pnB,其中 Mn = 为独立试验的次数,lm l+=p 为在每次试验中所涉事件发生的概 率,这样 lm l+=p 可以解释为每台设备待修的概率,而 lm m+ 是每台设备不需检修的概率 － 即单台设备的有效度,这说明在并联情形,当 Mn = 且稳定时,即使有修理工的介入,各台设备的有效度是相互独立的,
由定义可知 p 是此连续时间的 Markov 过程的可逆分布,而且 P pTtt 1?→? ∞→)(,特别地对于任意状态 i,有极限关系
M
M
t
Mi Ztp
+=?→?
∞→
lm
lp 1)(
,.,
它是在 Mn = 且时间充分长时,系统故障的概率,
在 Mn = 的情形,我们不但可以算出 tN 的不变分布 ( 也称为平稳分布 ) p,还可以算出在 00 =N 的条件下 tN 的条件分布,
p ))(,),(()( 0 tptpt ML?=,)0|()( 0 === NkNPtp tk,
事实上,只要利用母函数方法去求向前方程 P ′ (t)= P (t) Q 的第一行的解,经过不太繁 琐 的计算便可得到 p )(t 是参数 )1(,)( tepMn mllm l ++== 的二项分布 ),( pnB,从而可以
165
定义一 台设备在时刻 t 的瞬时有效度为 p?1,即 1 - )1( )( te mllm l ++,
(2) 设备组成一个串联系统,
令状态 ０ 与 １ 分别表示系统处在正常工作与处在检修状态,记 tx 为系统在时刻 t 所处的状态,于是 tx 可取值的状态集为 }1,0{=S,且具有转移速率矩 阵
Q
=
mm
ll MM,
它是互通的,并有可逆分布
p ),1(
1
1
m
l
m
l
M
M+=,
在稳定情形下系统正常运转的概率即为 0p,所以这时系统的有效度为 lm mp M+=0,
注意 lm mM+ M)( lm m+>,后者正好是各台设备独立情形的有 效度,可见由于修理工的修理打破了独立性,从而增加了有效度,再则,在串联情形的计算中,修理工的数目 n 并未出现,这说明在实际上只需一个修理工就够了,显见其它 1?n 个是多余的,
如果我们知道了停产的损失费用及设置一个修理工的工资,那么,通过本例的分析,可以帮助我们设计在稳定情形下修理工的最佳配置数目,
例 ６,３７ （ 典型例子 2 － 含不同型设备且修理工数与设备数相等的系统 )
n 台设备分别独立地运转,设第 k 台设备的正常运转时间按参数 kl 的指数分布,而当它不正常时需经参数为 m k 的指数分布随机时间修理才能恢复正常运转,设有 n 个修理工,
且修理所需的时间与正常运转时间之间独立,求系统在稳定情形时的有效度,
解 先设 2=n,
(1) 系统中各设备并联的情形,
取状态空间 Ｓ = ｛ ０,１,２,３ ｝,其中,0,表示两台设备都正常,”1,,“2,分别表示第 1,2 台设备不正常,“3,表示两台设备都不正常,令 tN 在 S 的取值表示系统在时刻 t 所处的状态,
用与前面类似的推导可得 tN 是具有以下转移速率矩阵的连续时间的 Markov 链,
166
Q
+?
+?
+?
+?
=
)(0
)(0
0)(
0)(
2112
1122
2211
2121
mmmm
llmm
llmm
llll
,
Q 是互通的,具有配称列
a ),,,( 2210 aaaa=,
它满足
1110 mala =,2220 mala =,2321 mala =,1312 mala =,
即
0
1
1
1 am
la =,
0
2
2
2 am
la =,
0
2
2
1
1
3 am
l
m
la =,
令
π ),,,( 3210 pppp= ),,,1()1(
21
21
2
2
1
11
21
21
2
2
1
1
mm
ll
m
l
m
l
mm
ll
m
l
m
l?+++=,
它就是 tN 的可逆分布,从 而稳定情形时两台设备并联系统的有效度为
22
2
11
1
3 11 lm
l
lm
lp
++?=?,
这也说明并联情形在稳定时可以看成各台设备是独立运转的,
(2) 系统中各设备串联的情形
此时取状态空间 Ｓ = ｛ ０,１,２ ｝,其中,0,表示两台设备都正常,”1,,“2,分别表示第 1,2 台设备不 正常,令 tN 在 S 的取值表示系统在时刻 t 所处的状态,用与并联情形类似的推导可得,tN 是具有以下转移速率阵的 Q 过程,
Q
+?
=
22
11
2121
0
0
)(
mm
mm
llll
,
Q 是互通的,具有配称列
a ),,( 210 aaa=,
它满足
1110 mala =,2220 mala =,
即
167
0
1
1
1 am
la =,
0
2
2
2 am
la =,
令
π ),,( 210 ppp= ),,1()1(
2
2
1
11
2
2
1
1
m
l
m
l
m
l
m
l?++=,
它就是 tN 的可逆分布,而稳定情形时两台设备串联系统的有效度为 0p,即在稳定情形时的串联有效度为 1
2
2
1
1 )1(?++
m
l
m
l,注意 1
2
2
1
1 )1(?++
m
l
m
l
22
2
11
1
lm
m
lm
m
++>,可见这时比设备独立运转时提高了有效度,此时实际上并不需要两个修理工,而只需一个,
对一般有 2>n 的情形,可以类似地得到相应的结论,令
0 表示系统正常工作,k 表示第 k 台设备在修理,)0( nk ≤<,
tN 为系统在时刻 t 所处的状态,它取值于状态空间 },,1,0{ nS L=,与前面类似地可以证明 tN 是具有下述转移速率矩阵的连续时间的 Markov 链,
Q =
++?
nn
nn
mm
mm
llll
OM
LL
11
11 )(
,
Q 也是互通的,具有配称列
a,),,,( 10 naaa L=,
它满足
)1(,0 nkkkk ≤≤= amal,
于是
π
= 1
1
1 )1(?+++
n
n
m
l
m
l L a
就是 tN 的可逆分布,所以系统在稳定情形时的有效度为,
1
1
1
0 )1(
+++=
n
n
m
l
m
lp L,
显见,由于上式右方大于各设备独立运转时的有效度 ∏
=
+
n
k k
k
1
1)1(
m
l,
168
例 ６,３ 8 ( 具有备用设备的系统 )
设一个冷贮系统有 n 台相同设备组成,其中一台在工作,其它 1?n 台均为备用设备,
车间设有一条修理线,假定设备正常运转时间服从参数为 λ 的指数分布,而修理设备的时间服从参数为 μ 的指数分布,它们之间相互独立,求系统在稳定时的有效度,
解 令 tN 为在时刻 t 在修与待修的设备台数之和,其状态空间为 },,1,0{ nS L=,仿前面的推导可知 tN 是具有下述转移速率矩阵的连续时间的 Markov 链,
Q
+?
+?
=
mm
lmlm
lmlm
ll
)(
)(
OOO,
Q 是互通的,具有可逆分布
π ),,,( 10 nppp L=,
其中
)1(,)(,))(1( 010 nkkkn ≤≤=+++=? pmlpmlmlp L,
0p 即是系统在稳定时的有效度,
例 ６,39 ( 具有性能较差的备用设备的系统 )
设冷贮系统由两台设备组成,其中一台是工作设备,另一台是比前一台性能较差的备用设备,车间设有一个 修理工 。 当失效的工作设备被修好时,则立刻用它来代替正在工作的备用设备,如果工作设备失效,且备用设备也正在修理时,则立刻停修后者,并先修前者,设工作设备与备用设备的正常运转时间分别服从参数为 21,ll 的指数分布 。 而修理好设备的时间分别服从参数为 21,mm 的指数分布,假定它们之间都是相互独立的 。 求系统在稳定时的有效度,
解 取状态空间 Ｓ = ｛ ０,１,２,３ ｝,其中,0,表示两台设备都正常,”1,,“2,
分别表示第 1,2 台设备不正常,“3,表示两台设备都不正常,令 tN 在 S 的取值表示系统在时刻 t 所处的状态,
根据优先修理优先使用工作设备的要求,我们画一张示意 " 流向图 " 如下,
20
31
2
2
1111
←
↑↓↑↓
→?
m
l
mlml
类似的推导可得到 tN 是具有下述转移速率矩阵的连续时间的 Markov 链,
169
Q
+?
+?
=
11
1122
2211
11
)(
)(
mm
llmm
llmm
ll
,
Q 是互通的,但没有配称列,我们可以通过解联立方程 π Q =0,pT1 1=,来得到 tN 的不变分布 π,即
=+++
=++?
=+?
=++?
1
0)(
0)(
0
3210
31212
12101
221101
pppp
pmplm
plmpl
pmpmpl
,
解此方程组我们得到
+
+=
+=
+=
0
12
21
21
21
3
0
12
2
2
1
2
0
12
1
1
ppl mlmm llp
pml lmlp
pml lp
于是系统在稳定时的有效度为 31 p?,
例 6,40 ( 系统有处于其它状态的同型备用设备 )
设热贮系统由两台相同的设备,其中一台处于工作态,另一台处于热贮态 。 它们的正常运转时间分别服从参数为 λ,υ 的指数分布,而设备在不正常时所需修理时间均为参数为 μ
的指数分布,它们都是独立的,修理原则为,先失效的设备先修,但是如果工作态设备失效而热贮态设备正常,则后者自动转变为工作态,而且正常运转时间的指数分布的参数由 υ
自动转变为 λ,此后,如果原来状态的设备修复,则此修复的设备又自动转变为热贮状态,
并且其运转时间的指数分布的参数自 动由 λ 转变为 υ,求这个系统在稳定时的有效度,
解 令状态 0,1,2 分别的含义为,０ 表示两台都正常,1 表示 一台处于工作态,另一台在修理,２ 表示两台都不正常 ( 系统失效 ),状态空间 Ｓ ={1,2,3},tN 为系统在时刻 t
所处的状态,
用类似的思路可以推出 tN 是具有下述转移速率矩阵的联系实践的 Markov 链,
Q
+?
++?
= mm lmlm
ll
)(
)( vv
,
Q 是互通的,具有可逆分布,
π ),,( 210 ppp=,
170
其中
1
2002201 )
)(1(,)(,?++++=+=+=
m
ll
m
lpp
m
llpp
m
lp vvvv,
于是在系统稳定时的有效度为 21 p?,
7,连续时间的 Markov 链的模拟与加速收敛
7,1 连续时间的 Markov 链的轨道的模拟
定理 6,１２ 提供了连续时间的 Markov 链的轨道的随机模拟方法,我们以只有 N 个状态的连续时间的 Markov 链为例,其轨道可以由如下步骤模拟得到,
(1),模拟初 开始 分布 0m,对于 Ni ≤≤1,以概率 )(0 im 取 i,其中
0m ))(,),1(( 00 Nmm L= ;
(2),以
iq
exp 分布的时间呆在 i,然后以概率
i
ij
q
q
跳到 )( ij ≠ ;
(3),以 j 代替 i 后重复 (2),
7,2 加速收敛的均匀化方法
对转移速率矩阵 Q,只要其行和为 0,且
=≤ jji qq supl,我们要找一个快速计算转移矩阵 P )(t 的表达式 。 为此我们定义 IQP +=? l1~,易见它是随机矩阵 （ 意即 其元素非负,
且行和为 1）,故对于任意 n,)( ~P n 的所有分量都小于 1,且满足 )( ~ IPQ?= l,于是
P )(
~
)( PItQt eet== l ∑
∞
=
=
0
~
n
P t
n
n e
n
t ll
!
)(
是指数收敛的,且其收敛速度不低于强度为 l 的 Poisson 过程,
习题 6
1,取非负整值的连续时间的 Markov 链 tN,如果存在非负函数 ),( xtl 使
)(),(]|)[( hohNtNNNE tttht +=?+ l,
则称为以 ),( tNtl 为随机强度的点过程,证明其随机强度是常数的充要条件为它是 Poisson 过程,
2 若 tx 为 Yule 过程,满足 10 =x,设 kS 为其首达 k 的时刻,}:inf{ ktS tk == x,
0,01 =?= tt kkk SS,(1) 求 ),,( 1 ntt L 的分布,
171
(2) 求证在 1+= ntx 的条件下,),,( 1 nSS L 有正比于
tss
stnssnsss
n
nnn Ieeee
<<<<
+
LL 1
1121
0
)()1()()(2 llll
的密度,进一步再把此密度具体地写出来,(提示 仿 照 Poisson 过程 ),
3,对于参数为 ll nn =,mm nn = 的生灭过程 tx,记 tt Em x=,并设 00 m=x,用 Master 方程求出 tm 满足的方程,并求其解,
４,设有 ll =n,mm nn = 的生灭过程 tx,满足 00 =x,求证它的矩母函数为
)1)(1(
=
ses t
t eEe
m
m
l
x,
并由此得到
)1( tt eE mmlx=,
５,若独立增量过程 tN 取整数值,00 =N,且当 0→h 时有
)()1( hohNNP tht +=?=?+ m,)(.)1( hohNNP tht +==?+ l,
)()(1)0( hohNNP tht ++?==?+ lm,
(1),求它的矩母函数 nt
n
znNPztG )(),( == ∑
∞
∞=
满足的偏微分方程,证明
tzzeztG ))(( 1),( mlml +?+?=,
再求 )(,tt NVarEN,并推广这个结论至 ml,都依赖于 t 的情形,
(2),如果再假定 tN 只取非负整数,且 )()1( 0 hoNNP h =?=?,则 tN 是单侧生灭过程,它
可以描述某种种群的大小,设初始种群大小为 iN =0,种群灭绝的时刻 T 就是 tN 首达 0 的时刻,它
是一个随机变量,证明在 lm = 时的灭绝分布为
i
t
ttTP?
+?
=≤
1)( l
l,
６,若独立增量过程 tN 取非负整数值,00 =N,且当 h → 0 时有
)()1( 1 hohNNP tht +==?+ l,
)(.)2( 2 hohNNP tht +==?+ l,)()2( hoNNP tht =>?+,
求 tN 的矩母函数,再推广这个结论,
172
７,若独立增量过程 tN 取非负整数值,00 =N,且当 h → 0 时有
)()|1( hohkNNNP kttht +===?+ l,)()|2( hokNNNP ttht ==≥?+,
求 )0(),()( ≥==
jjNPtP tj 满足的微分方程组,再求解,
* ８,设非负整值的时齐的独立增量过程
tN,满足 00 =N,且对于任意 t 有 1)0(0 <=< tNP,
又若存在 0>d,及一个不全为 0 的非负可和数列 （ 即满足条件 }
1
∞<∑
∞
n
n
a 使
d+
++ ≤?>=?
1|)|(| ChhaNNnNNP
nthttht,
那么 tN 的矩母函数有简单表示式 )1)((),(?= zgteztG l,其中 n
n
a∑
∞
=
=
1
l,nn
n
zpzg ∑
∞
=
=
1
)(,
l
n
n
ap =
,并说明 tN 是取非负整值的复合 Poisson 过程,
９,有 m 台设备,每台的正常运转时间都服从参数为 λ 的指数分布,检修所需时间均服从参数为 μ 的指数分布且与运转情形独立,各台设备也独立,假定采用如下的检修方案,有 k 台不能正常运转就全部停工检修,记时刻 t 不能正常运转的设备数为 tN,
(1),求证 tN 为连续时间的 Markov 链,其转移速率矩阵为
Q
+?+
=
mm
ll
ll
ll
0
)1()1(0
)1()1(0
0
kmkm
mm
mm
OOO
O
,
(2),求 tN 的平稳分布,
１０,设 P )(t 是只有有限个状态连续时间的 Markov 链的转移矩阵,其转移速率矩阵为 Q,证明
(1) 它的行列式是正的,
(2) 0 是 Q 特征值,而且 Q 的非 0 特征值的实部 为负,
(3)如果 Q 对称,且 P )(t 的所有分量全正,那么对于任意 i,对于如下定义的熵函数
)(log)()( tptptH ijij
j
i ∑?= 有
(a) )()(()('
1
tptpqtp ijij
N
j
i?= ∑
=
,
173
(b) 0))(log)())(log()((21)('
1,
≥= ∑
=
tptptptpqtH ijijij
N
ji
,
即 )(tH 是 t 的递增函数,
11,设 P )(t 是只有两个状态的转移矩阵,且至少一个不是吸收态,那么它必定为下述形式
P )0,0,()1( )1(1)( )()(
)()(
>+≥
+?
+
+= +?+?
+?+?
aabaaebea ebbeabat tbatba
tbatba
,
12,设带有迁移 a 的取非负整值的线性纯生过程 tx 的转移速率矩阵为
Q )0,(2)2(
)()(
>
++?
++?
= lll
ll
aaa
aa
aa
OO
,
证明其转移矩阵 P )(t 为上三角形矩阵,满足 tiaii etp )()( l+?=,而当 ji < 时则有
ijttia
jij eejiaiaiaijtp
++++++
= )1()]1[()]1[)(()!(
1)( )( lllll
l L,
13,如果在生灭过程 tN 的转移速率矩阵中的参数为
)0,,,0(,>≥=+= mlmmll annan nn,证明
(1)
=+
≠+==
)(
)(]1[)|( )()(
0
ml
mlml mlml
ati
ieeaiNNE tt
t,
(2) 当 ml < 时有平稳分布,
lmlp
a
)1(0?=,lmlllmp
an
n naaan )1)(]1[()(!++= L,
14,带随机线性自调制 tNl 的 Poisson 过程,称为二重 Poisson 过程,证明不带迁移的纯生过程是其特例,
15,证明取非负整值的连续时间的 Markov 链是时齐的独立增量过程的充要条件为其转移速率矩阵有如下
的形式
174
Q
=
OO
O
O
L
1
21
321
p
pp
ppp
ll
lll
llll
)1,1,0,0,(
1
=≥≥> ∑
∞
=
i
i
i pipl,
再求转移矩阵 P )(t 的表达式,
１６ 如果机器人可处于忙态与闲态,在时间区间 ),( htt + 转变状态一次的概率为 )(hoh +?l,而转变两次以上的概率为 )(ho,假定有 n 个机器人独立地工作,并且在 0=t 是全处在闲态,证明在时刻 t 恰有 m 个机器人处于闲态的概率 )(tpm 满足方程
)()1()()()1()(' 11 tpmtnptpmntp mmmm +? +++?= lll ( 0)()( 11 == +? tptp n ),
记在时刻 t 处于闲态的机器人数目为 tN,证 明 tN 服从二项分布 )21,(
te
nB
l
,
１７,如果连续时间的 Markov 链的转移速率矩阵 Q )( ijq= 保守 (即行和为 1),而且其对角线上的分量相同,都是 l?,证明它的转移矩阵有如下的形式,
P ()(
0
∑∞
=
=
n
t
~P tnn e
n
t ll
!
)(),
其中
~P
是此 Markov 链的跳跃链的转移矩阵,0),(
~~
=≠= iiijij pijqp l,解释此公式的概率含义,
１８,设某种物种有迁入,死亡或繁衍,每次繁衍只出现一个子代,同时自己就死亡,也在并不繁衍时随机死亡,繁衍,随机死亡,迁入都是相互独立的,假定在时间区间 ］htt +,( 中
(1) 每个个体繁衍的概率为 )(hoh +?l,此时产生的子代在此时间内繁衍或随机死亡的概率为 )(ho ;
(2) 每个个体随机死亡的概率为 )(hoh +?m ;
(3) 从外面迁入一个个体的概率为 )(hoah +,迁入两个以上的概率为 )(ho )0,,( >aml,
记在时刻 t 的个体总数为 tN,记其矩母函数为 nt
n
znNPztG )(),(
0
== ∑
∞
=
,证明
(1) 它满足方程
GzazGzztG )1()1)((?+= ml,
175
(2) 记 tENtm =)( )1,(tzG=,证明 )(tm 满足 atmtm +?= )()()(' ml,并求出 )(tm,
(3) 问 tN 是否是点过程,其随机强度是什 么?
(4) 求 tN 的转移速率矩阵,证明它有平稳分布的充要条件为 lm >,在条件成立下求平稳分布,
(5) 假定 0=l,iN =0,证明 (1) 中方程仍然成立,并且其解为
)1)(1())1(1(),( tezait eezztG mmm=
,而其平稳分布为
m
aPoisson 。
1９,若 tNt )1(0?= xx,其中 }{ tN 为与 0x 独立的非时齐的 Poisson 过程,而
2
1
2
1
11
~0x,证明
(1) 对于 ts <,相关函数
duu
ts
t
seEtsB
)(
)(),(
l
xx ∫==
;
(2) ),( ts xx 的特征函数 2121)( sinsin),(coscos21 qqqqxqxq tsBEe tsi?=+ ;
如果 tN 还是时齐的,证明 tx 是 Markov 链,再求它的转移速率矩阵及不变分布,并证明它是可逆的,
龚光鲁,钱敏平著 应用随机过程教程及其在 算法与智能计算中的应用
清华大学出版社,2003
第 6章 连续时间 的 Markov 链 (Q-过程 )
1 连续 时间 的 Markov 链及其转移矩阵
1,1 连续 时间 的 Markov 链的 定义 及 等价性描述
定义 ６,１ 随机变量族 }0:{ ≥ttx 称为 连续时间的 Markov 链,如果这些随机变量都是离散的 (状态空间 S 至多是一个可数集,即它或者有限,或者与自然数一一对应 ),而且对于
0,0 1 ≥>>?≥? msssm L 及任意状态 miiji,,,,1 L,都有
=====+ ),,,|( 1
1 msssst
iiijP
m
xxxx L )|( ijP sts ==+ xx,(6,1)
Markov 性可以有许多 等价 叙述,我们概括如下,
等价叙述 １ 若 A 为 只与 资料 },{ suu <x 有关的一个 事件,则 有
)(),( ijPAijP stssts ===== ++ xxxx,(6,2)
等价 叙述 2 对于过程在时刻 s 以后所确定的事件 B 及 等价叙述 1 中之 A有
)(),( iBPAiBP ss === xx,(6,3)
等价叙述 3 在已知,现在,的条件下,,将来,与,过去,是条件独立的,
等价 叙述 4 对 状态空间上的 任意 有界函数 f,及 01 >>>> msss L,均有
))((),,)(( 1
1
ifEiiifE stsmsssts
m
===== ++ xxxxxx L (6,4)
((6,1)式 也是 (6,4)式 的特例,即 )()( }{ xIxf j= 的情形 ),
等价性质 5 （ 最一般的形式 ） 对于常见的实数集合 Λ,只由随机序列 }{ tx 在时刻 s 及其后的信息所决定的随机变量 h,以 及 任意 01 >>>> msss L,恒有
)(),,( 1
1
iPiiiP smsss
m
=Λ∈====Λ∈ xhxxxh L
或 更一般地
)(),,( 1
1
iEiiiE smsss
m
===== xhxxxh L,（ 6。 5）
1,２ 连续 时间 的 Markov 链 概率转移矩阵
定义 ６,２ 记
=),( tspij )(),|( stijP st ≥== xx,
定义无穷矩阵
143
P )),((),( tspts ij=,
称为 转移矩阵,补充定义 P =),( ss I (无穷单位矩阵 ),
命题 ６,３ （ 概率转移矩阵族的性质 ）
与离散时间情形 类似地,对于为分量全是 1 的无穷行向量 ( 矩阵 ) 1,我们有
(P.1) 1),(0 ≤≤ tspij,P ),( ts 1 T =1 T,
(P.2) ( Chapman - Kolmogorov 方程 ) 对于 stu ≥≥? 有
P =),( us P ),( ts P ),( ut,(6,6)
其分量形式为
∑=
k
kjikij utptspusp ),(),(),(,(6,6)’
证明与离散时间情形类似,
１,３ 连续 时间 的时齐的 Markov 链
定义 ６,４ 连续 时间 的 Markov 链称为 时齐的,如果其转移阵 P ),( tss + 与 s 无关,此时我们 另 记
P )( st? = P ),( ts 。 (6,7),
那么 Chapman-Kolmogorov 方程变为
P =+ )( ts P )(s P )(t (6,8)
在本书中,除非特别声明,我们所考虑的连续 时间 的 Markov 链均为 时 齐的,与时间 离散的情形类似,连续 时间 的 Markov 链的转移矩阵 P )(t 是刻 画 此链的统计特征的要素,即有
定理 6,５ （ Markov 链的有限维分布与绝对概率 ）
（ 1） 若时续的 时间 Markov 链 }0,{ ≥ttx 的初始分布为 )()0( 0 iPi == xm,其转移矩阵为 P ))(()( tpt ij=,则对于 ntt <<<? L10,有
)()()()0(),,,( 1121100
1211001?
====
nniiiiiiintt
ttpttptpiiiP
nnn
LL mxxx (6,9)
（ 2） 设 )()( iPt ti == xm,并记由 )(tim 构成的行向量为 m )(t = ):)(( Siti ∈m,那么
)( st +m = )(sm P )(t,从而有 )(tm = )0(m P )(t
从而连续 时间 的 Markov 链的统计性质 （ 包括其长期行为 ） 完全由转移矩阵 P )(t 及初始分布
)0(m 所决定,】
连续 时间 的 Markov 链也有强 Markov 性,
离散 时间 的时齐 Markov链的多步转移矩阵 P )(n 是 由一个,最小的,P所生成 的,而在
144
连续 时间 时,在 P )(t 中找不到直接生成它的,最小者,,但是,从 Chapman-Kolmogorov 方程
P =+ )( ts P )(s P )(t,P I=)0( 的形式看,它是一个无穷维的矩阵值函数方程,我们 拿一个与它相象而最 且 简单的函数方程 1)0(),()()( ==+ fsftfstf 分析,这个方程 在 0=t 处连续的 通 解为 且 而 解 )(tf 则完全 由 a )0('f= 确定,由此 猜测,在正常的情形下,如果
P?→? →0tt)( I 满足,P )(t 在 0=t 处的微商 P ’ )0( 似乎应该 存 在,而且 描述 P )(t 的演化进程的最基本的量 也应该 就是 P ’ )0(,
事实上,在实际应用中都可以无妨地认为,P ’ )0( 确实有限,而 且唯一确定了 P )(t (用严格的 数学可以证明,P ’ )0( 只是在较广的意义理解下存在,即,)(),0(' jipij ≠ 存在,但 )0('iip 却可能取 ∞?,而且这样的 P ’ )0( 未必能唯一地确定 P )(t,这些都是 理论 概率论中的纯 数学 问题,而 在实际应用中一般 是 不会遇到 的 ),于是就应用范围所关心的视点而言,我们可以说,在实用中遇到的连续 时间 的 Markov 链的转移矩阵 P )(t 关于 t 是可微的,而且 P )(t 可由它在 0=t 处 的微商 P ’ )0( 所确定,
定义 ６,６ 设 P?→? →0tt)( I 满足,把 P ’ )0( 记为 Q,称为转移矩阵 P )(t 的 转移速率 矩阵 或 形式生成元 （ 有时 也简称为 Q 矩阵 ） 即
PQ
= ’ )0(,(6,10)
概率速率 矩阵 Q 之所以重要,是因为一般 P )(t 不能直接由测量得到,然而 Q 却可通过实验手段测得,由它 再通过解一个称为 Kolmogorov 方 程的矩阵微分方程就可解出 P )(t
(参见后文 ),这样就能 得到连续 时间 的 Markov 链的统计分布,这 构成 了 研究连续 时间 的
Markov 链的统计行为的主要思路,
又由于形式生成元 Q 与转移矩阵 P )(t 间的密切关系,所以 在我国的概率界 常称 P )(t 为转移速率 矩阵 Q 的 Q-过程,这是一个具有中国特色的称谓,
在 本章中,我们恒 假定满足
P?→? →0tt)( I,(6.11)
2 Poisson 过程与复合 Poisson 过程再访
例 ６,７ （ Poisson 过程作为 Markov 过程转移矩阵与 转移速率 矩阵 ）
145
Poisson 过程是独立增量过程,所以它有 Markov 性,故 它是连续 时间 的 Markov 链,由第 ３ 章知道 Poisso n 过程的转移矩阵依赖于连续时间参数 t,即
P
≥?==
)(0
)()!( )()(),()(
其它情形
ijij tetppt
ij
t
ijij
ll
,
因此 转移矩阵是一个上三角形无穷矩阵,这时 转移速率 矩阵 （ 形式生成元 ） 为
Q = )( ijq =
OOO
OOO
00
00
0
ll
ll
ll
,
注意 Poisson 过程的转移速率 矩阵 Q 的每一行的和都是 0,这 个事实对于 只有 有限个状态的连续 时间 的 Markov链总是对的,写成向量形式就是 Q 1 0=T,但是对于一般有可数个状态的连续 时间 的 Markov 链 确未必正确,因为 在数学上 我们 只能证明 Q 1 0≤T,因此也 就 引 出了许多的困难,从而 激 起了 纯理论研究的 概率论学 者 的 兴趣,好在实际应用中的 连续 时间 的 Markov 链,常常 都满足 Q 1 0=T,
定义 ６,８ 满足条件
P?→? →0tt)( I,Q 1 0=T (6,１ 2)
的 Q 称为 保守的 转移速率 矩阵,
在实际应用中就忽视 Q 1 0≠T 的情形,这就是说,在实际应用中遇到的转移矩阵总认为是保守的 。 即如果 发现 了 非保守 情形,则 可能是遗漏了某些状态,
例 ６,９ （ 复合 Poisson 过程的转移矩阵与 转移速率 矩阵 ）
设 tN 为强度 l 的 Poisson 过程,}{ kY 为与之独立的独立同分布随机序列,则
tNt YY ++=
L1x
是 复合 Poisson 过程,又 因为它也是独立增量过程,所以它有 Markov 性,假定
)1(,21~
21
∑ =
j
j
j
k ffff
jY
LL
LL
,
那么 tx 是连续 时间 的 Markov 链,我们来求它的转移矩阵与 转移速率 矩阵,对于 ts <
)(,0),( jitspij >=,)()0(),( sttii eNNPtsp==?= l,
146
而 当 ji < 时,由 独立增量性及全概 率 公式 得到
)|(),( ijPtsp stij === xx )|( 11 iYYijYYP
tts NNN
=++?=++= + LL
)( 1 ijYYP
ts NN
=++= + L )( 1 ijYYP
st NN
=++=?L
)()|( 1
1
kNNPkNNijYYP ststk
k
=?==++= ∑
≥
L
)()( 1
1
kNNPijYYP stk
k
==++= ∑
≥
L 。
归纳地记概率向量 f ),,,( 1 LL iff= 的 k 次 卷积 ( 它们代表 k 个独立同分布的随机变量的和的分布 ) 为
∑
=
==
l
j
kk
l jlfjflfflf
1
11**1 )()()(,)(,
那么我们得到
∑
≥
=
1
)(*
!
))(()(),(
k
k
stk
ij k
steijftsp ll,
这说明转移矩阵是时齐的上三角形无穷矩阵,易见其 转移速率 矩阵 为
Q = )( ijq =
OOO
OOO
LL
LL
21
21
21
0
0
ff
ff
ff
lll
lll
lll
,(6,13)
由此可见复合 Poisson 过程 的 Q 矩阵 也是保守的,
3,由 转移速率矩阵 确定时间连续的 Markov 链
3,1 Kolmogorov 方程及 Master 方程
定理 6,１０
(1) PQ = ’ )0( )( ijq= 在广义下存在,即,
)(,0,0 jiqq ijii ≠≥≤≤∞?,∑ ≤
j
ijq 0,(6,14)
(2) 若总状态数有限,则?∞>iiq,且 Q 保守 (即 ∑ =
j
ijq 0 ),此时 P )(t 由 Q 唯一
地确定,而且它可以表达为以下的收敛级数,
P )(t = e Q t D= L+++ !2!1
2QQ
I ; (6.15)
147
另一方面,P )(t 也可以通过求解下面两个方程之一得到,
Kolmogorov 向前 方程 （ Fokker - Plank 方程 ）
P ’ )(t = P )(t Q,P =)0( I ; (6.16)
Kolmogorov 向后方程,P ’ )(t = Q P )(t,P =)0( I (6.17)
（ 3 ） 对于非有限 个 状态的 Markov 链,只要 Q 保守 (即 Q T1 0= ),且 iii qq?=? 是 i 的有界函数,则 (2) 中的所有结论全都成立,
( 本定理的证明冗长,且需要较多的数学准备知识,本书 中 从略,我们只指出,
Kolmogorov 向前方程与 Kolmogorov 向后方程可以由 Chapman-Kolmogorov 方程
P =+ )( st P )(t P )(s 及 P =+ )( st P )(s P )(t 形式地对 s 取微商后 再 令 0=s 得到 ),
[ 注 ] 应用中的 绝 大多数的转移速率矩阵,都满足本定理中 (3) 的条件,最典型的情形出现在从 每 个状态只能转移到有限个状态的情形,
从本段以下,我们恒假定 如下条件满足,
ijij0t tp d=→ )(lim,iq 有界,Q 保守 （ Q
T1 0= ）,(6,18)
具有满足 (6.18)的 转移 速率矩阵 Q 的转移矩阵 P )(t,称 作 以 Q 为转移速率 矩阵 的连续 时间的 Markov 链,,
Kolmogorov 向后方程写成分量就是
∑
≠
+?=
ik
kjikijiij tpqtpqtp )()()(',
把它看成 )(tpij 的微分方程,乘上其积分因子为 tqie 后积分便得
∑∫
≠
+=
ik
kjik
sqt
0ijij
tq dsspqe0ptpe ii )()()(,
于是得到 下面的结论,
定理 6,１１ ( Kolmogorov 向后方程的分量形式的积分迭代 )
Kolmogorov 向后方程就等价于积分方程组
∑∫
≠
+=
ik
kjik
sqt
0ij
tq
ij dsstpqeetp
ii )()( d,
由这个方程可作如下的迭代算法,
L
0)0( =ijp
∑∫
≠
+=
ik
1n
kjik
sqt
0ij
tqn
ij dsstpqeetp
ii )()( )()( d,
当 ∞→n 时,)(nijp 收敛,其极限就是 Kolmogorov 向后方程的解,
（ 此定理的证明不难,读者可自行验证 ）
3,2 转移速率矩阵的概率含义
148
我们引述下面的定理,它在已知概率速率 矩阵 Q 时,对于 模拟对应的连续 时间 的 Markov
链 的轨道,起关键的作用,
定理 6,１２
设转移速率 矩阵 Q 满足 （ 6,18 ） 的 连续 时间 的 Markov 链为 tx,记 t 为 次 Markov 链 首次跳跃 的 时刻,即
}:inf{ 0xxt ≠= tt,
那么
（ 1） tqieitP==≤ 1)|( 0xt （ 即,在条件概率 )|( 0 iP =? x 下,
iq
exp~t ）,
（ 2 ） t 与 rx 在条件概率 )|( 0 iP =? x 下条件独立,
（ 3 ） 在条件概率 )|( 0 iP =? x 下,,
+?
+? LLL
LLK
i
ii
i
ii
q
q
q
q
ii
1,1,
11
~tx,
（ 在定理假定下,Markov 链的轨道是右连续的,而定理结论的证明,需要对轨道作细致的分析,本书从略 ）,
定理 6,１３ 设条件 （ 6 。 18 ） 成立,记 kt 为 Markov 链 tx 的第 k 次跳跃时刻,
则 kk txh
= 是离散时间的时齐 Markov 链,其转移矩阵为
~P
~
)( ijp=,其中
=
≠=
)(0
)(~
ij
ijqqp
i
ij
ij,kh 称为连续 时间 的 Markov 链 tx 的 嵌入链,它表达了 Markov 链 tx 的跳跃情况,
( 证 明提 示,只需检查 Markov 性 ),
4,连续 时间 的 Markov 链 的极限分布
4,1 连续 时间 的 Markov 链 的转移矩阵的平均极限
与定理 5,４０ 完全类似地可以得到
定理 6,１４ 满足 条件 （ 6,18 ） 的 连续 时间 的 Markov 链 的转移矩阵 有 平均极限
∫T0T1 P →? ∞→Tdtt)( L某个,
而且 它满足
P )(t L = L P )(t = L = L 2,
同时 L 具有离散时间情形类似的分块形式,
4,2 连续 时间 的 Mar kov 链 的极限分布
引理 6,１５ 设条件 （ 6,18 ） 满足,则
(1) 对于任意 i 及任意 0≥t,恒有 0)( >tpii,
149
(2) 对于 ij ≠,要么 0tpij ≡)( ; 要么存在 0t,使 )(,)( 0ij tt0tp ≥?>,
证明 我们只对 有限状态情形证明,
(1) 由于 P?→? →0tt)( I,必 定 存在 0h0 >,当 0hh ≤ 时,对于任意 i,有 0hpii >)(,从而对于任意 t,有 0)()( >≥ niiii ntptp,
(2) 对于 ji ≠,若 0)( ≡tpij 不成立,则必 定 存在 0t,使 0tp 0ij >)(,于是由 (1) 得到
)(,)()()( 00jj0ijij tt0ttptptp ≥?>?≥,
定理 6,１６ 对于满足 （ 6,18 ） 条件 的 连续 时间 的 Markov 链,存在 行和为 １ 的 矩阵 P )(∞,
使
P?→? ∞→tt)( P )(∞,
证明 我们也只对有限 个 状态 的 情形证明,由引理 6.1 5 (1),对任意 0h >,Markov 链 }:{ 0nnh ≥x
所有的状态 i 都是非周期的,因为 i 是 常返态,由定理 5,50 注 1 推得 )(lim nhpiin ∞→ 存在,我们把它记成 )()( ∞hiip,
对于 ji ≠,若 0tpij ≡)( 不成立,则由引理 6.1(2) 0t?,使 )(,)( 0tt0tp 0ij >≥?>,对于
0th ≥,因为 i 是 常返态 且 i 可达 j,从 而 i 与 j 属于同一个非周期常返类,由定理 5,50 注 1 推得
)(lim nhpijn ∞→ 存在,总之有 P →? ∞→nnh)( P )()( ∞h,
再则,由定理 6,14,P )(nh 的平均极限 ∑
=
∞→
n
1k
n n
1lim P )(kh 也应为 L,从而 P )()( ∞h = L,
最后,我们来证明 P?→? ∞→tt)( L,事实上,由 于 P?→? →0tt)( I,当 h 小时有
ed <? |)(| kjkj hp,又 对于任意充分大的 t,有 hhhtt <? ][,因而
∑ <≤?
k
kjkjikijij hh
ttph
h
tph
h
tptp ed |)][(|)]([|)]([)(|,
由此可见
=∞→ )(lim tpijt ijijt lhhtp =∞→ )]([lim,
引理 6,１７ 对于满足 （ 6 。 18 ） 的 连续 时间 的 Markov 链 }:{ 0tt ≥x,如果 ji,关于它
150
的嵌入链 )(
~~
ijpP = 互通 （ 也称为 Q － 互通 ）,其中
i
ij
ijij q
qp )1(~ d?=
,则对于任意 h,状态 ji,关于 Markov 链 }:{ 0nnh ≥x 也是互通的,
证明 我们只对有限状态情形给出证明,
由互通可知存在 m1 ii,,L,使 ),;,,0(,101 jiiinkii nkk ===≠ ++ L,0qqq jiiiii
n211
>L,
注意到当 ≤h 某个 0h 时,由 P?→? →0tt)( I,对 于 任意 ji ≠ 有 )()( hohqhp ijij +=,便得 到
0hphphp jiiiii
n211
>)()()( L,即 对于任意 0hh ≤,i 与 j 关于 Markov 链 }:{ 0nnh ≥x 是互通的,
对于 0hh > 的情形,只要注意对于 h 给定,必然存在一个 m 使 0hmh <,由此 对于任意的 ji,,只要
0mhpij >)(,利用引理 ５,１５ 就得 0mhpmhphp 1mjjijij >≥?)()()(,】
定理 6,１８ 对于满足 （ 6,18 ） 条件的 连续 时间 的 Markov 链 }:{ 0tt ≥x,如果其转移速率阵 为 Q － 互通 （ 意即对于任意 ji ≠,存在 m1 ii,,L,使
),;,,0(,101 jiiinkii nkk ===≠ ++ L,0
211
>jiiiii
n
qqq L ）,
那么
P?→? ∞→tt)( pT1=,
此时 p 或者是一个概率分布,或者恒为 ０,
证明 由引理 6,１７,对 h?,}:{ 0nnh ≥x 都是互通的 Markov 链,由定理 6,１６ 可知此时 L 具有相同的行向量故有形式 L pT1=,
5,连续时间的 Markov 链的转移矩阵 P )(t 的不变分布
5,1 连续 时间 的 Markov 链的转移矩阵 P )(t 的不变分布与其嵌入链的不变分布
定义 ６,１９ 概率分布向量 p 称为 P )(t 的不变分布,如果对于 任意 t 恒有
p = p P )(t,
在 (6.18) 条件满足下,它 还 等价于
p 0=Q,
事实上,我们只在有限状态情形给出证明,等价的必要性显然,今用后向方程证明充分性,利用
151
( Pp )(t ) ’= P(p ))(t ’= QPp 0)( =t,
便 得 到 Pp )(t = Pp )0( = p,
命题 ６,２０ 以 P )(t 为转移矩阵,并以其不变分布 p 为初 始 分布 的 连续 时间 的
Markov 链 }0:{ ≥ttx,是平稳过程,即,对于 任意 kttks,,,,1 L,},,(
1 stst k ++
xx L 与
},,(
1 ktt
xx L 有相同的联合分布,
定义 ６,２１ 概率分布向量
~p
称为 嵌入链 的转移矩阵
~P
的不变分布,如果
~~~ Ppp =
,
命题 6,２２ 若 p 为 连续 时间 的 Markov 链的转移矩阵 P )(t 的不变分布,则
~p ),,,( ~
1
~ LL
ipp= 是嵌入链
~P
的不变分布,其中 ∑=
j
jj
ii
i q
q
p
pp~ ; 反之,若 ~p 是嵌入链 的转移矩阵
~P
的不变分布,且 ∞<=∑
j j
j
qZ
~
p
,则 p ),,,( 1 LL ipp= 是 P )(t 的不变分布,
其中 Zq
i
i
i
~p
p =,
( 请 读者自己验证 )
我们不加证明地给出下面的定理,
5,2 连续 时间 的 Markov 链的遍历极限
定理 6,２３ 在 (6,18) 条件下,若存在唯一 的 概率分布 p 满足 p 0=Q,则
P?→? ∞→tt)( pT1=,
此时还有
（ １ ） 对于定义在状态空间上的函数 )(if,只要满足 ∞<∑
i
iif p|)(|,就以概率为 1 地有
∑∫?→? ∞→
i
i
t t
s ifdsft px )()(
1
0
,
（ ２ ） 对于定义在状态空间上的函数 ),( jig,只要满足 ∑ ∞<
i
iji upjig )(|),(| p,
就以概率为 1 地有
∑∫?→? ∞→+
i
iji
t t
uss upjigdsgt )(),(),(
1
0
pxx,
( 多元函数也有类似的结论,得到这个定理的过程与离散时间的 Markov 链的情形类似 )
152
[ 注 ] ( 关于禁忌概率 )
与离散时间的 Markov 链类似地,对于有限状态的 连续 时间 的 Markov 链,记
),(),|,()( 0 AjiijtPtp tAijA?==>=
xxt,
再记 Q 在状态集 A上的限制为 Q A,即,Q A Ajiijq ∈=,)(,P )(t 在状态集 A上的限制为 P A )(t,
即,P A )(t Ajiij tp ∈=,))((,那么可以证明,对于 Aji,有
P A )(t = e t Q A,
5,3,对称 的与 可逆 的连续 时间 的 Markov 链
定义 ６,２ ４ 转移速率矩阵 Q 称为 配称的,如果存在非负数列向量
m ),,,( i1 LL mm= 满足
jijiji qq mm =,(6,19)
m 称为 Q 的 配称列,易见,m 称为 Q 的配称列等价于 ),,,( 11 LL ii qq mm 为嵌入链 的转移矩阵
~P
的配称列,即,对于任意 ji ≠,恒有
~~
jijjijii pqpq mm =,连续 时间 的 Markov 链的转移矩阵 P )(t 称为 对称的,如果存在非负数列向量 m ),,,( i1 LL mm=,对任意 t 满足
)()( tptp jijiji mm =,(6,20)
（ 也称此连续 时间 的 Markov 链是对称的 ） 而 m 称为 P )(t 的配称列 ; P )(t 称为 可逆的,如果它有一个配称列 p 为概率分布向量,这时 p 称为可逆分布 （ 也称此连续 时间 的 Markov 链是可逆的 ）,可逆分布必是不变分布,
命题 ６,２５ 在 （ 6,18 ） 条件下,连续 时间 的 Markov 链的转移矩阵 P )(t 为对称的,
且以 p 为其可逆分布,当且仅当,它的转移速率矩阵 Q 以 p 为配称列,
在处理一些实际问题中,下面的一个定理相当好用,
定理 6,２６ 若 （ 6,18 ） 满足,且 Q 以概率分布向量 p 为其配称列,且其转移速率矩阵 Q － 互通,则
P?→? ∞→tt)( pT1=,
定理 6,２７ (Kolmogorov 对称性准则 )
Q 互通的 的连续 时间 的 Markov 链为对称的充要条件为,对于任意的一个状态环路
121,iiiiR m →→→→ L 成立下面的 (K) 条件,
(K)?= RR qq,
其中 Kq 是沿环路 R 的转移概率速率的积,即
153
1121 iiiiiiR mmm qqqq?
= L,
而?R 则是环路 R 的反向环路,
在 (K) 条件满足时,配称列 m ),,,( i1 LL mm= 可以求得如下,固定某个状态 0i,对于任意状态 i,任取一条从 0i 到的通路 iiiii mm =→→→→ +110 L,令
0
0 1
1 >=∏
=
+
+
m
k ii
ii
i
kk
kk
q
qv
,
定义
=+
≠+
=
∑
∑
≠
≠
)(1 1
)(1
0
0
0
0
iiv
iivv
ik
k
ik
k
i
im,
在 }{ iq 非有界时,条件 （ 6 。 18 ） 不成立,此时 下面引述的定理对 Q 过程的存在性给出了一种 可能性
定理 6,２８ 若转移速率阵 Q 是保守的 ( 即行和为 1),又假定它有配称列 m,满足,
∑ ∞<
i
im,∑ ∞<
i
iiq m,
那么 此时 P )(t 由 Q 唯一地确定,P )(t 可以通过求解 Kolmogorov 向前方程,
P ’ )(t = P )(t Q,P =)0( I ; 或 Kolmogorov 向后方程,P ’ )(t = Q P )(t,P =)0( I
得到,而且 P )(t 以 p ∑=
i
im
1 m 为可逆分布,
(此定理见之于作者之一的工作 <平稳马氏链的可逆性 >,北京大学学报,第 4 期,1-9 页,
1978),
6,例
6,1 连续时间分支过程
假定一个粒子的各次分裂时间组成一个强度为 l 的指数流,各个粒子的分裂是相互独立的,每个粒子每次分 裂时自己消失并产生子代,各个粒子各次分裂后产生的子代的粒子数都是独立同分布的随机变量,其分布为
LL
LL
kfff
k
10
10,
令 tX 为时刻 t 的粒子数,我们来说明它是 Markov 链,记
154
)|(),( iXjXPhttp thtij ===+ +,
我们分析如下,
1,在 ],( htt + 中,一个粒子分裂两次以上的概率记为 a,则 )(ho=a,
事实上,在 ],( htt + 中第一次分裂的时刻必在某个时刻 st +,而在 ],( htst ++ 中至少还要分裂一次,由于这两个是相互独立的,故它们都发生的概率应为
)1( )()( shst ee+ lll,于是由 ( 推广的 ) 全概率公式得
∫=
h
0
a dsee shst )1( )()(+ lll )()1( hoheeee htht == llll l,
2,在 ],( htt + 中,一个粒子不分裂的概率为 he l? ； 而分裂一次的概率为 hhe ll? ( 这是因为在 ],0( t 中的分裂次数是 Poisson 过程 ),
3,i 个粒子在 ],( htt + 中至少有两个分裂的概率记为 b,则 )(ho=b,
事实上,
)()()(
2
hoeheC
ik
kihkhk
i == ∑
≤≤
lllb,
概括起来,在 ],( htt + 中,如忽略 )(ho 不计,那么或者没有粒子分裂,或者只能有一个粒子分裂,而且它也只能分裂一次,于是我们有
(1)
),( httpii + )|],(( iXihttP t =+= 个粒子全不分裂内
)|],(( iXihttP t =++ 一次且分裂为一个个粒子中恰有一个分裂内
)()1()()( 1111 hohfihiefheCe ihhiih ++?=+= lll lll,
从而以下极限与 t 无关,
)1(1),(lim)( 10 fih httptq iihii=?+= →
l,
(2) 对于 1+≥ ij,
),( httpij +
)|)1(],(( iXijihttP t =+= 个一次且分裂为个粒子中恰有一个分裂内
)()( 11)1(1 hohfiefheC ijihijhi +== + ll ll,
155
从而以下极限也与 t 无关,
10
),(lim)(
+?→
=+= ijijhij fih httptq l,
(3)
),(1,http ii +? )|0],(( iXihttP t =+= 个一次且分裂为个粒子中恰有一个分裂内,
故而以下极限也与 t 无关,
0
1,
01,
),(lim)( fi
h
httptq ii
hii l=
+=?
→
,
(4) 当 1?< ij 时,)(0),( hhttpij =+,所以 0),(lim)(,0,=+= →
h
httptq ji
hji
即 tX 具有与 t 无关的概率转移矩阵,
Q
= OOOO L
L
3210
3210
22)1(22
)1(
00
ffff
ffff
llll
llll
。
可见 tX 是连续时间的时齐的 Markov 链,
6.2 有限格点上的 Ising 模型与 Gauber 动力学
定义 ６,２ ９ （ Ising 模型 ）
Ising 模型是统计力学中的典型模型 。 记 T },,2,1{ NL=,则
=G
T d 就是每边为 N 个格点的 d 维格点阵列,设每个格点上有一个粒子,它可以处于 1+ 与 1? 两种状态之一,称为两种自旋状态 。 那么 T d 个粒子组成的粒子系统带上各自的一种自旋,就组成粒子系统的一个状态,全体状态组成的集合记为 S,它是一个有限集合,即
GS }1,1{ +?= ∈== xx),(:{ hhh T d }11)(,+?= 或xh,
S 中的一个元素是粒子系统的一个状态,在统计力学中有一个专用的名称,称为一个 组态 。
在组态空间 S 上定义了如下的一个 能量函数,
∑ ∑=
相邻yx x
xhyxH
,
)()()(21)( hhhh,
其中第一个和为所有相邻格点对上的自旋,对于能量的贡献,而第二个和表示 外场,
令 xh 为只在格点 x 处改变组态 h 的自旋符号后所得的组态,即
156
=?
≠=
xyx
xyyyx
),(
),()(
h
hh,
定义 ６,３０ （ Ising 模型的 Glauber 动力学 ）
Ising 模型的 Glauber 动力学是指如下的转移机制,当 hx ≠ 时,只当组态 x 与组态 h 间在一个格点上的自旋不同时,才容许 x 到 h 的转移,且这时的转移速率为
== 其它情形 ）(0 )(),,(
xxC
q xhxxh,
其中 ),( xxC 可有两种取法,
))()((),( xxbx HH xexC= ∑ ∑=
+?
相邻yx x
xhyx
e,
))()()(( hhhb
或
))()((1
1),(
xxbx HH xexC+=,
参数 b 是绝对温度的倒数,称为 倒温度,而 ∑?=?
x
xCq
一切
),( xxx,因为状态 （ 组态 ） 数是有限的 （ 共 dN2 个 ）,Glauber 动力学就是由转移速率矩阵 Q Sq ∈= hxxh,)( 所决定的连续时间的 Markov 链,其转移矩阵为
P )(t = e Q t = L+++ 2
2
!2!1 t
QtQI,
下面求 I sing 模型的 Glauber 动力学的可逆分布,令
)()( xbxa He=
,
它是 Q 配称列,即 hxxh haxa qq )()( =,所以,Glauber 动力学的转移速率矩阵 Q 确定的 Markov 链具有可逆分布 p ):( S∈= xpx,而 S 为状态空间 （ 全体组态 ）,其中
∑
∈
=
S
H
H
e
e
h
hb
xb
xp )(
)(
,
p 称为此 Ising 模型的 Gibbs 分布,
进而,由于转移速率矩阵 Q 的互通性,运用定理 6,２６ 得到转移概率矩阵有极限
P?→? ∞→tt)( pT1=,可见 Gibbs 分布是 Glauber 动力学的极限分布,
6,3 生灭类过程
定义 ６,３１ 状态空间为 整数,且转移速率矩阵为
157
Q
+?
+?=
OO
OOO
OOO
jjjj
iiii
lmlm
lmlm
)(
)(
的连续时间的 Markov 链,称为 生灭过程,其中 0,>ii ml,}{ ii ml + 为有界序列,i 为整数,
此时 Q 是互通的,有配称列 a ),,,,( LLL ji aa=,满足 11 ++= iiii mala,即可取
),0(,,1
1
10 ≥==
+
+ i
i
i
ii m
laaa )0(,1
1 <=
+
+ j
j
j
jj l
maa
,
如果还满足
∞<++= ∑ ∏∑∏
∞=
=
+
∞
= = +
1 1 1
0 0 1
1
j jk k
k
i
i
k k
kZ
l
m
m
l,
那么 p Z1= a 就是唯一的可逆分布,此时生灭过程的转移矩阵有 P aTtt 1?→? ∞→)(,
例 ６,３ ２ 状 态空间为非负整数,且转移速率矩阵为
Q
+?
+?
+?
=
OO
OOO
iiii lmlm
lmlm
lmlm
ll
)(
)(
)(
2222
1111
00
,
的连续时间的 Markov 链,称为 单侧生灭过程,其中 0l,0,>ii ml,}{ ii ml + 为有界序列,
1≥i,类似地,可以得到存在可逆分布的条件,
有一类特例,就是空间齐次情形,即 mmlll === ii,,0,)1( ≥?i 的情形,此时存在可逆分布的充要条件简化为 ml <,在条件成立时,可逆分布为
p ),)(,,,1(
1
1 LL n
m
l
m
l
m
l?=,
例 ６,３３ （ 线性纯生过程,Yule 过程 ）
考察一种初等生物群体的繁殖过程模型,假定每个生物体与其它生物体的繁殖相互独立地服从参数为 l 的 Poisson 过程,且每个生物体分别地繁殖后代,且不会死亡 ( 可以理解为转变为另一种形式保存下来 ),记 tN 为时刻 t 时该生物群体的个数,称为 Yule 过程,令
158
L,2,1,0)()( === nnNPtp tn
在 nNt = （ 即已知在 t 时刻有 n 个生物体 ） 的条件下,我们来考察微小的时间段 ],( htt + 内群体个数的变化规律 。 由 Poisson 过程的直观含 义可知,此过程相当于 n 个相互独立 Poisson
过程的叠加,根据第 3 章的结论,它服从参数 n l 为的 Poisson 过程,于是,在这段时间内繁殖两个或两个以上后代的概率为 )(ho,且在 ht + 时的生物体的个数满足
)(}1],(,1{
}],(,{)(
hohttnNP
httnNPhtp
t
tn
++?=+
++==+
内出生的后代个数为内无后代出生
)()1)(()1)(( 1 hohntphntp nn ++=? ll
在上式两边分别减去 )(tpn,除以 h,令 0→h,我们得到
)()1()()( 1 tpntpntpdtd nnn+?= ll,（ Y.1 ）
其初始条件由时刻 0 的 时生物群体的个数所决定,假定 00 nN =,则 方程 (Y.1) 的初始条件为
)(.0)0(;1)0( 0
0
nnpp nn ≠== （ Y,2 ）
在 0nn < 时,对于任意的 0≥t,显见有 0)( =tpn,在 0nn = 时,则根据 方程 （ Y.1 ） 及
（ Y.2 ） 式 知
1)0(),()(
000 0
=?= nnn ptpntpdtd l,
此方程的解为
tnn etp l00 )(?=,(Y.3)
而在 10 +≥ nn 时,我们可由 方程 (Y.1) 建立一个递推关系,假定 )(1 tpn? 为已知函数,并以
0)0( =np 为初始条件,则可由 方程 (Y.1) 解出
dsspnetp n
t
stn
n )()1()( 1
0
)(
∫?= ll,
最后,由这个递推式及 （ Y.3 ） 式,我们用归纳法可依次求得
00 )1()(
)!1()!(
)!1()(
00
nntnt
n eennn
ntp
= ll,（ 1
0 +≥ nn ）,
以上说明生灭过程 tN 作为连续时间的 Markov 链具有如下的转移,
159
>
=
<
=
)()1()()!1()!( )!1(
)(
)(0
)(
ijeeiij j
ije
ij
tp
ijtit
ti
ij
ll
l,
这时转移速率矩阵为
Q
=
O
OO
ll
ll
ll
ii
22
00
,
例 ６,３４ （ 纯灭过程 ）
若一个系统由 n 个部件并联构成,系统的故障率正比于正在工作但未出故障的部件的数目 k,即此时的故障率为 kkl 。 记 tx 为在时刻 t 正在工作而未出故障的部件的数目,令
)()( kPtp tk == x,
假定在 ],( htt + 中有两个以上的部件发生故障的概率为 )(ho,那么我们有
)()|1( hohkkkP ktht +==?=+ lxx,
用全概率公式,对于 nk < 我们得到
)()()1()())1()( 11 hotphktphkhtp kkkkk +?++=+ ++ ll,
两边减去 )(tpk 后除以 h,令 0→h,便得
)()()1()(' 11 tpktpktp kkkkk ll?+= ++,（ nk < ）,
再则
)()(' tpntp nnn l?=,
初始条件为
)(,0)0(,1)0( nkpp kn <==,
由此我们可以向后归纳地解出这组方程,然而,更简单的是 用 Laplace 变换方法,令
dtetpzp ztkk?
∞
∫=
0
^
)()(,
于是由上面的常微分方程组及初值条件立得
)(1)( ^^ zpnzpz nnn l?=?,
160
)()()1()( ^1^1^ zpkzpkzpz kkkkk ll?+= ++,
由此解得
n
n nzzp l+=
1)(^,
)()(!
!)( 11^
kn
knn
k kznzk
nzp
ll
lll
++=
+?
L
L,
这个例子可以有如下的应用,由于系统是并联的,所以系统的可靠函数 （ 系统在时刻 t
在工作的概率 ） 为 )(1 0 tp?,由此可以通过查 Laplace 变换表,反过来求得 )(0 tp,为此记
)())(()( 21 nxxxxa lll +++= L,
则可得到
∑
=
=
n
k kk
tk
n kak
entp k
1
10 ){'!1)( llll
l
L,
记系统的寿命为 V,它是一个随机变量,于是系统的平均寿命为
∫∫
∞
→
∞
=?=>==
0
0
^
00
0
))(1(lim))(1()( zpzdttpdttPE zVVm ∑
=
=
n
k kk1
1
l,
* 例 ６,３５ （ 带迁移的线性生灭过程 ）
若
Q
+++?
+++?
+++?
=
OO
OOO
lmlm
lmlm
lmlm
iaiiai
aa
aa
aa
i )(
2)22(2
)(
,
其中 0>m 为灭绝率,0>l 为生长率,0>a 为迁移率,为了 使 系统有平稳性,我们假定 ml <,
首先,Q 有配称列 m ),,( 10 Lmm=,它满 足,
LL
mmm 10 =a
mmlm )1()( 1 +=+ + nna nn,
所以可取
161
nnn n
aana
n
na
a
m
ll
m
lmm
mm
m
!
][])1([)1(
1
1
1
0
+?+==?+=
=
=
LL
LL,
于是
∑∞
=
∞<+?++=
0 !
)(])1([1
n
nn
aanaZ
m
ll L,
从而 p Z1= m 是一个分布,
再则,对于 )( ml ++= naqn,有
∞<∑
n
nnq m
这说明定理 6,28 条件满足,因此 Q 是一个对称的 连续时间的 Markov 链的转移矩阵 P )(t 的速率矩阵,
我们将对固定的 i 用向前方程 求 出 }),({ Sjtpij ∈ 的母函数
∑∞
=
=
0
)(),(
j
j
iji ztpztP,
注意 向前方程 P ′ (t)= P (t) Q 的分量形式为 )1( ≥j
)()()(' 1.0,0,tptaptp iii +?=
)()1()())1(()())(()(' 1,1,tpjtpjatpjatp jijiijij +? ++?++++?= mlml,
其初值为 ijijp d=)0(,于是 ),( ztPi 满足
=
+?=
i
i
i
i
i
zzP
z
PzzPza
t
P
),0(
)1)(()1( lm,
这是一个一阶线性偏微分程,可以 通过 特征线法求解,为此,先把方程 改 写成
i
ii P
z
a
t
P
zzz
P
lmlm?=?
+
)1)((
1,
特征线法的思想是引进一条 ( 实际上是一族 ) 曲线 t=t(z),使 ),( ztPi 在 t(z) 上可以表成 z 的函数,我们想要选 t(z),使方程左方成为 dt
zztdPi )),((
( 即 z
Pzt
t
P ii
+
)('
),为此只需选
162
)1)((
1)('
zzzt
=
lm
≠?+
=
=
)()1 1(1
)()1( 1 2
lmlm llm
lml
zz
z,
( 注意 0>> lm ),从此解出 t(z) 得,
≠
=?
+=
)(|1|log1
)()1( 1
)(
lmlmml
lml
z
z
zCzt
)(0 ztC +=?,
这样,)),(( zztPi 满足方程
dt
zztdPi )),(( =(
i
ii P
z
a
t
P
zzz
P
lmlm?=?
+
)
)1)((
1,
此方程是可分离系数的,它的解为
llm
a
i zKzztP
= ||)),((
,
由于这个解是沿依积分常数 C 的曲线族 t(z) 求的,所以这个任意常数 K 必须依赖于 C,即应该有
))()(()( 0 ztztKCKK?==,
于是
llm
a
i zzttKztP
= ||))((),(
0,
为了确定函数 K 的具体形式,需要利用初值 ii zzP =),0(,此即
llm
a
i zzztK ||))((
0?=?,
再作变换 )(0 ztu?=,便得
llm
a
i ututuK |)(|))(()( 1
0
1
0=
,
把它代入 ),( ztPi 的表达式,最后便得到 ),( ztPi 的表达式,
由定理 6,28,我们有
P pTtt 1?→? ∞→)(,
如果 0=a,即无迁移,那么这是 0 点为吸收点的空间齐次的单侧生灭过程,
[注 ] 若条件 lm > 不满足,则易见配称列各分量之和为 ∞,不可能满足定理 6.28 的条件条件,但是,可
163
以 与前面类似地仍可求得 ),( ztPi 的明显表达式,并求得此 Markov 链的灭绝概率,
6,4 系统与 有效度
一个系统常由一些串联,并联,桥联或带反馈的各个部件构成,每个部件独立地工作,
且近似地假定其应用寿命为服从指数分布的随机变量 （ 如果各部件的寿命的分布不是指数分布,则本段的方法不适用 ）,系统在时刻 t 还在工作的概率就称为它的可靠性函数,典型的应用出于设备维修,
例 ６,３６ （ 典型例子 1 － 作为双侧生灭过程的设备系统 )
有 M 台设备独立地工作,每台设备的正常运转时间段为服从参数 λ 的指数随机变量,且相互独立,当运转不正常时就需要检修,假定有 )( Mnn ≤ 个修理工,记 tN 为在时刻 t 此系统中不能正常运转的设备数 ( 包括正在修理的与待修的 ),假定修理工相互独立地,以服从参数 μ 的随机时间修好系统中的一个设备,我们需要求 tN 的不变分布,它描述了系统在稳定时的工作质量,由此可以对于备用件的储备方案提供指导意见,
解 (1) 设备并联的情形,
tN 的 可能取值为 M,,1,0 L,由指数流的性质我们有,每台设备在 ],htt +（ 中需检修
1 次的概率等于 )(hoh +?l,而需检修 2 次以上的概率为 )(ho,又每台在修设备在
],htt +（ 中已修好的概率为 )(hoh +?m,未修好的概率为 )(1 hoh + m,利用 k 个独立同指数分布 ( 参数为 r ) 随机变量的最小值服从参数为 rk 的指数分布这一事实,考虑到设备运转与检修时间之间的独立性,就可求得
>?
=+∧
+=+?
===+
)1|(|)(
)1()()(
)1()()(
)|(
ijho
ijhohin
ijhohiM
iNjNP tht m
l
,
于是 tN 是具有下面的转移速率矩阵的连续时间的 Markov 链,
Q
∧+∧
=
mm
lmlm
ll
nn
iMiniMin
MM
OOO
OOO
)(])()[()(,
Q 是互通的,且具有配称列 m ),,( 0 Mmm L=,它满足
mmlm ))1(()( 1 +∧=? + iniM ii,
由此得到
0
0
1
1 )1()()1( mm
lm
m
lm ∏
=
+
+ +∧
==
+∧
= i
k
i
ii kn
kM
in
iM L,
164
不妨假定 10 =m,令
∑ ∏
=
=
+∧
+= M
i
i
k
i
kn
kMZ
1
1
0 )1(
)(1 ml,p Z1= m,
那 么
≤<++
≤
=
)(
)2)(1()(
)()( 0
Minn innC
niC
ni
ii
M
ii
M
i L
m
l
pml
p,
如果 Mn =,那么由上面可推出
MM )()1(
0 lm
m
m
lp
+=+=
iMi
i
M
Mi
i
Mi CC
+
+=
+
=
lm
m
lm
l
lm
m
m
lp,
这就是说,作为极限分布的可逆分布 p,是二项分布 ),( pnB,其中 Mn = 为独立试验的次数,lm l+=p 为在每次试验中所涉事件发生的概 率,这样 lm l+=p 可以解释为每台设备待修的概率,而 lm m+ 是每台设备不需检修的概率 － 即单台设备的有效度,这说明在并联情形,当 Mn = 且稳定时,即使有修理工的介入,各台设备的有效度是相互独立的,
由定义可知 p 是此连续时间的 Markov 过程的可逆分布,而且 P pTtt 1?→? ∞→)(,特别地对于任意状态 i,有极限关系
M
M
t
Mi Ztp
+=?→?
∞→
lm
lp 1)(
,.,
它是在 Mn = 且时间充分长时,系统故障的概率,
在 Mn = 的情形,我们不但可以算出 tN 的不变分布 ( 也称为平稳分布 ) p,还可以算出在 00 =N 的条件下 tN 的条件分布,
p ))(,),(()( 0 tptpt ML?=,)0|()( 0 === NkNPtp tk,
事实上,只要利用母函数方法去求向前方程 P ′ (t)= P (t) Q 的第一行的解,经过不太繁 琐 的计算便可得到 p )(t 是参数 )1(,)( tepMn mllm l ++== 的二项分布 ),( pnB,从而可以
165
定义一 台设备在时刻 t 的瞬时有效度为 p?1,即 1 - )1( )( te mllm l ++,
(2) 设备组成一个串联系统,
令状态 ０ 与 １ 分别表示系统处在正常工作与处在检修状态,记 tx 为系统在时刻 t 所处的状态,于是 tx 可取值的状态集为 }1,0{=S,且具有转移速率矩 阵
Q
=
mm
ll MM,
它是互通的,并有可逆分布
p ),1(
1
1
m
l
m
l
M
M+=,
在稳定情形下系统正常运转的概率即为 0p,所以这时系统的有效度为 lm mp M+=0,
注意 lm mM+ M)( lm m+>,后者正好是各台设备独立情形的有 效度,可见由于修理工的修理打破了独立性,从而增加了有效度,再则,在串联情形的计算中,修理工的数目 n 并未出现,这说明在实际上只需一个修理工就够了,显见其它 1?n 个是多余的,
如果我们知道了停产的损失费用及设置一个修理工的工资,那么,通过本例的分析,可以帮助我们设计在稳定情形下修理工的最佳配置数目,
例 ６,３７ （ 典型例子 2 － 含不同型设备且修理工数与设备数相等的系统 )
n 台设备分别独立地运转,设第 k 台设备的正常运转时间按参数 kl 的指数分布,而当它不正常时需经参数为 m k 的指数分布随机时间修理才能恢复正常运转,设有 n 个修理工,
且修理所需的时间与正常运转时间之间独立,求系统在稳定情形时的有效度,
解 先设 2=n,
(1) 系统中各设备并联的情形,
取状态空间 Ｓ = ｛ ０,１,２,３ ｝,其中,0,表示两台设备都正常,”1,,“2,分别表示第 1,2 台设备不正常,“3,表示两台设备都不正常,令 tN 在 S 的取值表示系统在时刻 t 所处的状态,
用与前面类似的推导可得 tN 是具有以下转移速率矩阵的连续时间的 Markov 链,
166
Q
+?
+?
+?
+?
=
)(0
)(0
0)(
0)(
2112
1122
2211
2121
mmmm
llmm
llmm
llll
,
Q 是互通的,具有配称列
a ),,,( 2210 aaaa=,
它满足
1110 mala =,2220 mala =,2321 mala =,1312 mala =,
即
0
1
1
1 am
la =,
0
2
2
2 am
la =,
0
2
2
1
1
3 am
l
m
la =,
令
π ),,,( 3210 pppp= ),,,1()1(
21
21
2
2
1
11
21
21
2
2
1
1
mm
ll
m
l
m
l
mm
ll
m
l
m
l?+++=,
它就是 tN 的可逆分布,从 而稳定情形时两台设备并联系统的有效度为
22
2
11
1
3 11 lm
l
lm
lp
++?=?,
这也说明并联情形在稳定时可以看成各台设备是独立运转的,
(2) 系统中各设备串联的情形
此时取状态空间 Ｓ = ｛ ０,１,２ ｝,其中,0,表示两台设备都正常,”1,,“2,分别表示第 1,2 台设备不 正常,令 tN 在 S 的取值表示系统在时刻 t 所处的状态,用与并联情形类似的推导可得,tN 是具有以下转移速率阵的 Q 过程,
Q
+?
=
22
11
2121
0
0
)(
mm
mm
llll
,
Q 是互通的,具有配称列
a ),,( 210 aaa=,
它满足
1110 mala =,2220 mala =,
即
167
0
1
1
1 am
la =,
0
2
2
2 am
la =,
令
π ),,( 210 ppp= ),,1()1(
2
2
1
11
2
2
1
1
m
l
m
l
m
l
m
l?++=,
它就是 tN 的可逆分布,而稳定情形时两台设备串联系统的有效度为 0p,即在稳定情形时的串联有效度为 1
2
2
1
1 )1(?++
m
l
m
l,注意 1
2
2
1
1 )1(?++
m
l
m
l
22
2
11
1
lm
m
lm
m
++>,可见这时比设备独立运转时提高了有效度,此时实际上并不需要两个修理工,而只需一个,
对一般有 2>n 的情形,可以类似地得到相应的结论,令
0 表示系统正常工作,k 表示第 k 台设备在修理,)0( nk ≤<,
tN 为系统在时刻 t 所处的状态,它取值于状态空间 },,1,0{ nS L=,与前面类似地可以证明 tN 是具有下述转移速率矩阵的连续时间的 Markov 链,
Q =
++?
nn
nn
mm
mm
llll
OM
LL
11
11 )(
,
Q 也是互通的,具有配称列
a,),,,( 10 naaa L=,
它满足
)1(,0 nkkkk ≤≤= amal,
于是
π
= 1
1
1 )1(?+++
n
n
m
l
m
l L a
就是 tN 的可逆分布,所以系统在稳定情形时的有效度为,
1
1
1
0 )1(
+++=
n
n
m
l
m
lp L,
显见,由于上式右方大于各设备独立运转时的有效度 ∏
=
+
n
k k
k
1
1)1(
m
l,
168
例 ６,３ 8 ( 具有备用设备的系统 )
设一个冷贮系统有 n 台相同设备组成,其中一台在工作,其它 1?n 台均为备用设备,
车间设有一条修理线,假定设备正常运转时间服从参数为 λ 的指数分布,而修理设备的时间服从参数为 μ 的指数分布,它们之间相互独立,求系统在稳定时的有效度,
解 令 tN 为在时刻 t 在修与待修的设备台数之和,其状态空间为 },,1,0{ nS L=,仿前面的推导可知 tN 是具有下述转移速率矩阵的连续时间的 Markov 链,
Q
+?
+?
=
mm
lmlm
lmlm
ll
)(
)(
OOO,
Q 是互通的,具有可逆分布
π ),,,( 10 nppp L=,
其中
)1(,)(,))(1( 010 nkkkn ≤≤=+++=? pmlpmlmlp L,
0p 即是系统在稳定时的有效度,
例 ６,39 ( 具有性能较差的备用设备的系统 )
设冷贮系统由两台设备组成,其中一台是工作设备,另一台是比前一台性能较差的备用设备,车间设有一个 修理工 。 当失效的工作设备被修好时,则立刻用它来代替正在工作的备用设备,如果工作设备失效,且备用设备也正在修理时,则立刻停修后者,并先修前者,设工作设备与备用设备的正常运转时间分别服从参数为 21,ll 的指数分布 。 而修理好设备的时间分别服从参数为 21,mm 的指数分布,假定它们之间都是相互独立的 。 求系统在稳定时的有效度,
解 取状态空间 Ｓ = ｛ ０,１,２,３ ｝,其中,0,表示两台设备都正常,”1,,“2,
分别表示第 1,2 台设备不正常,“3,表示两台设备都不正常,令 tN 在 S 的取值表示系统在时刻 t 所处的状态,
根据优先修理优先使用工作设备的要求,我们画一张示意 " 流向图 " 如下,
20
31
2
2
1111
←
↑↓↑↓
→?
m
l
mlml
类似的推导可得到 tN 是具有下述转移速率矩阵的连续时间的 Markov 链,
169
Q
+?
+?
=
11
1122
2211
11
)(
)(
mm
llmm
llmm
ll
,
Q 是互通的,但没有配称列,我们可以通过解联立方程 π Q =0,pT1 1=,来得到 tN 的不变分布 π,即
=+++
=++?
=+?
=++?
1
0)(
0)(
0
3210
31212
12101
221101
pppp
pmplm
plmpl
pmpmpl
,
解此方程组我们得到
+
+=
+=
+=
0
12
21
21
21
3
0
12
2
2
1
2
0
12
1
1
ppl mlmm llp
pml lmlp
pml lp
于是系统在稳定时的有效度为 31 p?,
例 6,40 ( 系统有处于其它状态的同型备用设备 )
设热贮系统由两台相同的设备,其中一台处于工作态,另一台处于热贮态 。 它们的正常运转时间分别服从参数为 λ,υ 的指数分布,而设备在不正常时所需修理时间均为参数为 μ
的指数分布,它们都是独立的,修理原则为,先失效的设备先修,但是如果工作态设备失效而热贮态设备正常,则后者自动转变为工作态,而且正常运转时间的指数分布的参数由 υ
自动转变为 λ,此后,如果原来状态的设备修复,则此修复的设备又自动转变为热贮状态,
并且其运转时间的指数分布的参数自 动由 λ 转变为 υ,求这个系统在稳定时的有效度,
解 令状态 0,1,2 分别的含义为,０ 表示两台都正常,1 表示 一台处于工作态,另一台在修理,２ 表示两台都不正常 ( 系统失效 ),状态空间 Ｓ ={1,2,3},tN 为系统在时刻 t
所处的状态,
用类似的思路可以推出 tN 是具有下述转移速率矩阵的联系实践的 Markov 链,
Q
+?
++?
= mm lmlm
ll
)(
)( vv
,
Q 是互通的,具有可逆分布,
π ),,( 210 ppp=,
170
其中
1
2002201 )
)(1(,)(,?++++=+=+=
m
ll
m
lpp
m
llpp
m
lp vvvv,
于是在系统稳定时的有效度为 21 p?,
7,连续时间的 Markov 链的模拟与加速收敛
7,1 连续时间的 Markov 链的轨道的模拟
定理 6,１２ 提供了连续时间的 Markov 链的轨道的随机模拟方法,我们以只有 N 个状态的连续时间的 Markov 链为例,其轨道可以由如下步骤模拟得到,
(1),模拟初 开始 分布 0m,对于 Ni ≤≤1,以概率 )(0 im 取 i,其中
0m ))(,),1(( 00 Nmm L= ;
(2),以
iq
exp 分布的时间呆在 i,然后以概率
i
ij
q
q
跳到 )( ij ≠ ;
(3),以 j 代替 i 后重复 (2),
7,2 加速收敛的均匀化方法
对转移速率矩阵 Q,只要其行和为 0,且
=≤ jji qq supl,我们要找一个快速计算转移矩阵 P )(t 的表达式 。 为此我们定义 IQP +=? l1~,易见它是随机矩阵 （ 意即 其元素非负,
且行和为 1）,故对于任意 n,)( ~P n 的所有分量都小于 1,且满足 )( ~ IPQ?= l,于是
P )(
~
)( PItQt eet== l ∑
∞
=
=
0
~
n
P t
n
n e
n
t ll
!
)(
是指数收敛的,且其收敛速度不低于强度为 l 的 Poisson 过程,
习题 6
1,取非负整值的连续时间的 Markov 链 tN,如果存在非负函数 ),( xtl 使
)(),(]|)[( hohNtNNNE tttht +=?+ l,
则称为以 ),( tNtl 为随机强度的点过程,证明其随机强度是常数的充要条件为它是 Poisson 过程,
2 若 tx 为 Yule 过程,满足 10 =x,设 kS 为其首达 k 的时刻,}:inf{ ktS tk == x,
0,01 =?= tt kkk SS,(1) 求 ),,( 1 ntt L 的分布,
171
(2) 求证在 1+= ntx 的条件下,),,( 1 nSS L 有正比于
tss
stnssnsss
n
nnn Ieeee
<<<<
+
LL 1
1121
0
)()1()()(2 llll
的密度,进一步再把此密度具体地写出来,(提示 仿 照 Poisson 过程 ),
3,对于参数为 ll nn =,mm nn = 的生灭过程 tx,记 tt Em x=,并设 00 m=x,用 Master 方程求出 tm 满足的方程,并求其解,
４,设有 ll =n,mm nn = 的生灭过程 tx,满足 00 =x,求证它的矩母函数为
)1)(1(
=
ses t
t eEe
m
m
l
x,
并由此得到
)1( tt eE mmlx=,
５,若独立增量过程 tN 取整数值,00 =N,且当 0→h 时有
)()1( hohNNP tht +=?=?+ m,)(.)1( hohNNP tht +==?+ l,
)()(1)0( hohNNP tht ++?==?+ lm,
(1),求它的矩母函数 nt
n
znNPztG )(),( == ∑
∞
∞=
满足的偏微分方程,证明
tzzeztG ))(( 1),( mlml +?+?=,
再求 )(,tt NVarEN,并推广这个结论至 ml,都依赖于 t 的情形,
(2),如果再假定 tN 只取非负整数,且 )()1( 0 hoNNP h =?=?,则 tN 是单侧生灭过程,它
可以描述某种种群的大小,设初始种群大小为 iN =0,种群灭绝的时刻 T 就是 tN 首达 0 的时刻,它
是一个随机变量,证明在 lm = 时的灭绝分布为
i
t
ttTP?
+?
=≤
1)( l
l,
６,若独立增量过程 tN 取非负整数值,00 =N,且当 h → 0 时有
)()1( 1 hohNNP tht +==?+ l,
)(.)2( 2 hohNNP tht +==?+ l,)()2( hoNNP tht =>?+,
求 tN 的矩母函数,再推广这个结论,
172
７,若独立增量过程 tN 取非负整数值,00 =N,且当 h → 0 时有
)()|1( hohkNNNP kttht +===?+ l,)()|2( hokNNNP ttht ==≥?+,
求 )0(),()( ≥==
jjNPtP tj 满足的微分方程组,再求解,
* ８,设非负整值的时齐的独立增量过程
tN,满足 00 =N,且对于任意 t 有 1)0(0 <=< tNP,
又若存在 0>d,及一个不全为 0 的非负可和数列 （ 即满足条件 }
1
∞<∑
∞
n
n
a 使
d+
++ ≤?>=?
1|)|(| ChhaNNnNNP
nthttht,
那么 tN 的矩母函数有简单表示式 )1)((),(?= zgteztG l,其中 n
n
a∑
∞
=
=
1
l,nn
n
zpzg ∑
∞
=
=
1
)(,
l
n
n
ap =
,并说明 tN 是取非负整值的复合 Poisson 过程,
９,有 m 台设备,每台的正常运转时间都服从参数为 λ 的指数分布,检修所需时间均服从参数为 μ 的指数分布且与运转情形独立,各台设备也独立,假定采用如下的检修方案,有 k 台不能正常运转就全部停工检修,记时刻 t 不能正常运转的设备数为 tN,
(1),求证 tN 为连续时间的 Markov 链,其转移速率矩阵为
Q
+?+
=
mm
ll
ll
ll
0
)1()1(0
)1()1(0
0
kmkm
mm
mm
OOO
O
,
(2),求 tN 的平稳分布,
１０,设 P )(t 是只有有限个状态连续时间的 Markov 链的转移矩阵,其转移速率矩阵为 Q,证明
(1) 它的行列式是正的,
(2) 0 是 Q 特征值,而且 Q 的非 0 特征值的实部 为负,
(3)如果 Q 对称,且 P )(t 的所有分量全正,那么对于任意 i,对于如下定义的熵函数
)(log)()( tptptH ijij
j
i ∑?= 有
(a) )()(()('
1
tptpqtp ijij
N
j
i?= ∑
=
,
173
(b) 0))(log)())(log()((21)('
1,
≥= ∑
=
tptptptpqtH ijijij
N
ji
,
即 )(tH 是 t 的递增函数,
11,设 P )(t 是只有两个状态的转移矩阵,且至少一个不是吸收态,那么它必定为下述形式
P )0,0,()1( )1(1)( )()(
)()(
>+≥
+?
+
+= +?+?
+?+?
aabaaebea ebbeabat tbatba
tbatba
,
12,设带有迁移 a 的取非负整值的线性纯生过程 tx 的转移速率矩阵为
Q )0,(2)2(
)()(
>
++?
++?
= lll
ll
aaa
aa
aa
OO
,
证明其转移矩阵 P )(t 为上三角形矩阵,满足 tiaii etp )()( l+?=,而当 ji < 时则有
ijttia
jij eejiaiaiaijtp
++++++
= )1()]1[()]1[)(()!(
1)( )( lllll
l L,
13,如果在生灭过程 tN 的转移速率矩阵中的参数为
)0,,,0(,>≥=+= mlmmll annan nn,证明
(1)
=+
≠+==
)(
)(]1[)|( )()(
0
ml
mlml mlml
ati
ieeaiNNE tt
t,
(2) 当 ml < 时有平稳分布,
lmlp
a
)1(0?=,lmlllmp
an
n naaan )1)(]1[()(!++= L,
14,带随机线性自调制 tNl 的 Poisson 过程,称为二重 Poisson 过程,证明不带迁移的纯生过程是其特例,
15,证明取非负整值的连续时间的 Markov 链是时齐的独立增量过程的充要条件为其转移速率矩阵有如下
的形式
174
Q
=
OO
O
O
L
1
21
321
p
pp
ppp
ll
lll
llll
)1,1,0,0,(
1
=≥≥> ∑
∞
=
i
i
i pipl,
再求转移矩阵 P )(t 的表达式,
１６ 如果机器人可处于忙态与闲态,在时间区间 ),( htt + 转变状态一次的概率为 )(hoh +?l,而转变两次以上的概率为 )(ho,假定有 n 个机器人独立地工作,并且在 0=t 是全处在闲态,证明在时刻 t 恰有 m 个机器人处于闲态的概率 )(tpm 满足方程
)()1()()()1()(' 11 tpmtnptpmntp mmmm +? +++?= lll ( 0)()( 11 == +? tptp n ),
记在时刻 t 处于闲态的机器人数目为 tN,证 明 tN 服从二项分布 )21,(
te
nB
l
,
１７,如果连续时间的 Markov 链的转移速率矩阵 Q )( ijq= 保守 (即行和为 1),而且其对角线上的分量相同,都是 l?,证明它的转移矩阵有如下的形式,
P ()(
0
∑∞
=
=
n
t
~P tnn e
n
t ll
!
)(),
其中
~P
是此 Markov 链的跳跃链的转移矩阵,0),(
~~
=≠= iiijij pijqp l,解释此公式的概率含义,
１８,设某种物种有迁入,死亡或繁衍,每次繁衍只出现一个子代,同时自己就死亡,也在并不繁衍时随机死亡,繁衍,随机死亡,迁入都是相互独立的,假定在时间区间 ］htt +,( 中
(1) 每个个体繁衍的概率为 )(hoh +?l,此时产生的子代在此时间内繁衍或随机死亡的概率为 )(ho ;
(2) 每个个体随机死亡的概率为 )(hoh +?m ;
(3) 从外面迁入一个个体的概率为 )(hoah +,迁入两个以上的概率为 )(ho )0,,( >aml,
记在时刻 t 的个体总数为 tN,记其矩母函数为 nt
n
znNPztG )(),(
0
== ∑
∞
=
,证明
(1) 它满足方程
GzazGzztG )1()1)((?+= ml,
175
(2) 记 tENtm =)( )1,(tzG=,证明 )(tm 满足 atmtm +?= )()()(' ml,并求出 )(tm,
(3) 问 tN 是否是点过程,其随机强度是什 么?
(4) 求 tN 的转移速率矩阵,证明它有平稳分布的充要条件为 lm >,在条件成立下求平稳分布,
(5) 假定 0=l,iN =0,证明 (1) 中方程仍然成立,并且其解为
)1)(1())1(1(),( tezait eezztG mmm=
,而其平稳分布为
m
aPoisson 。
1９,若 tNt )1(0?= xx,其中 }{ tN 为与 0x 独立的非时齐的 Poisson 过程,而
2
1
2
1
11
~0x,证明
(1) 对于 ts <,相关函数
duu
ts
t
seEtsB
)(
)(),(
l
xx ∫==
;
(2) ),( ts xx 的特征函数 2121)( sinsin),(coscos21 qqqqxqxq tsBEe tsi?=+ ;
如果 tN 还是时齐的,证明 tx 是 Markov 链,再求它的转移速率矩阵及不变分布,并证明它是可逆的,
