第三章 马尔可夫过程第一节 马尔可夫链的定义及其性质第二节 马尔可夫链的状态分类第三节 平稳分布与遍历性第四节 时间连续的马尔可夫链习题课第一节 马尔可夫链的定义及其性质一、马尔可夫链的定义
1．马尔可夫链设随机过程 { )( tX,Tt? },
其中时间 T = { 0,1,? },状态空间 I = { 0,1,2,? },
若对任一时刻 n,以及任意状态 jiiii n,,,,,110,有
,)1(,)(|)1({ 1 ninXinXjnXP })0(,)1(,01 iXiX
})(|)1({ inXjnXP
则称 { )( tX,Tt? } 为一个马尔可夫链 （或马氏链）
简记为 { nX,0?n }
首页注,
而与以前的状态表明 )( tX 在时刻 n +1 的状态 jnX )1( 的概率分布只与时刻 n 的状态 inX?)( 有关，
1)1( ninX,?,0)0( iX? 无关。
有限马氏链 状态空间是有限集 I={0,1,2,…,k}
2．一步转移概率 马氏链在时刻 n处于状态 i 的条件下，到时刻 n+1转移到状态 j 的条件概率，
即 }|{
1 iXjXP nn
称为在时刻 n的一步转移概率，
记作 )( np ij首页注,
由于概率是非负的，且过程从一状态出发，经过一步转移后，必到达状态空间中的某个状态一步转移概率满足
3．一步转移矩阵称为在时刻 n的一步转移矩阵
（ 1 ） 0)(?np ij,Iji?,
（ 2 ） 1)(
np ij
Ij
,Ii?
如果固定时刻 Tn?
则由一步转移概率为元素构成的矩阵 1P,
首页即有有限马氏链 状态空间 I={0,1,2,…,k}
)()(
)()(
)()(
10
1110
0100
1
npnp
npnp
npnp
P
nn
)()()(
)()()(
)()()(
10
11110
00100
1
npnpnp
npnpnp
npnpnp
P
kkkk
k
k
首页
4．齐次马氏链即则称此马氏链为齐次马氏链（即关于时间为齐次）
如果马氏链的一步转移概率 )( np ij 与 n 无关，
ijnn piXjXP }|{ 1
5．初始分布 设 }{)(
00 iXPip,Ii?,
如果对一切 Ii? 都有
0)(0?ip 1)(
0
ip
Ii
称 )(0 ip 为马氏链的初始分布首页注马氏链在初始时刻有可能处于 I中任意状态，初始分布就是马氏链在初始时刻的概率分布。
6．绝对分布 概率分布
}{)( iXPip nn,Ii?,0?n
称为马氏链的绝对分布或称绝对概率定态分布若绝对分布 )( ip n 与 n 无关，
即
}{)( iXPip n,Ii?,0?n
则称 { )( ip n,Ii? } 为马氏链 { 0,?nX n } 的定态分布首页例 1 不可越壁的随机游动设一质点在线段 [1,5 ]上随机游动，状态空间 I={1,2，
3,4,5}，每秒钟发生一次随机游动，移动的规则是：
（ 1）若移动前在 2,3,4处，则均以概率 向左或向右移动一单位，或停留在原处；
（ 2）若移动前在 1处，则以概率 1移到 2处；
（ 3）若移动前在 5处，则以概率 1移到 4处。
3
1
用 nX 表示在时刻 n 质点的位置，
则 { nX,0?n } 是一个有限齐次马氏链，
试写出一步转移矩阵,首页分析
5554535251
4544434241
3534333231
2524232221
1514131211
1
ppppp
ppppp
ppppp
ppppp
ppppp
P
01000
3
1
3
1
3
1
00
0
3
1
3
1
3
1
0
00
3
1
3
1
3
1
00010
1
P
故
1 2 3 4 5
首页其一步转移矩阵为
10000
2
1
0
2
1
00
0
2
1
0
2
1
0
00
2
1
0
2
1
00001
1
P
若将移动规则改为
（ 1）若移动前在 2,3,4处，则均以概率 向左或向右移动一单位；
（ 2）若移动前在 1,5处，则以概率 1停留在原处。
2
1
因为质点在 1,5两点被“吸收”，
故称 有两个吸收壁的随机游动首页分析例 2 赌徒输光问题赌徒甲有资本 a元，赌徒乙有资本 b元，两人进行赌博，每赌一局输者给赢者 1元，没有和局，直赌至两人中有一人输光为止。设在每一局中，甲获胜的概率为 p，乙获胜的概率为,
求甲输光的概率。 pq 1
这个问题实质上是带有两个吸收壁的随机游动。从甲的角度看，他初始时刻处于 a，每次移动一格，向右移（即赢 1元）的概率为 p，向左移（即输 1元）的概率为 q。如果一旦到达 0（即甲输光）或 a + b（即乙输光）这个游动就停止。这时的状态空间为 {0,1，
2,…,c},c = a + b，。现在的问题是求质点从 a出发到达 0状态先于到达 c状态的概率。
首页考虑质点从 j出发移动一步后的情况解设 cj0
设 ju 为质点从 j 出发到达 0 状态先于到达 c 状态的概率。
在以概率 p 移到 1?j 的假设下，
到达 0 状态先于到达 c 状态的概率为 1?ju
同理以概率 q 移到 1?j 的前提下，
到达 0 状态先于到达 c 状态的概率为 1?ju
根据全概率公式有
qupuu jjj 11
这一方程实质上是一差分方程，它的边界条件是
0,10 cuu
首页于是设
（ p + q ） 11 jjj qupuu
))(( 11 jjjj uupquu
p
qr?
1 jjj uud
则可得到两个相邻差分间的递推关系
1 jj rdd于是
02
2
1 drdrrdd
j
jjj
欲求 au 先求 ju
需讨论 r 首页当而
1?r
cuu 01 )( 1
1
0
jj
c
j
uu
j
c
j
d?
1
0
0
1
0
dr j
c
j
01
1 d
r
r c
cjj uuu )(
1
1
ii
c
ji
uu
0
11
drd i
c
ji
i
c
ji
01 )1( drrr jcj 0
1
d
r
rr cj
两式相比
c
cj
j r
rru
1
首页故
c
ca
a r
rru
1
cca
p
q
p
q
p
q )(1)()(
当 1?r
00 1 cduu c
而
0)( djcu j
因此
c
jcu
j
故
c
b
c
acu
a?
首页用同样的方法可以求得乙先输光的概率由以上计算结果可知当 1?r 即 qp? 时，甲先输光的概率为
cca
p
q
p
q
p
q )(1)()(
当 1?r 即 qp? 时，
甲先输光的概率为
c
b
当 qp? 时，乙输光的概率为
ca
p
q
p
q )(1)(1
当 qp? 时，乙先输光的概率为 ca首页例 3 排队问题顾客到服务台排队等候服务，在每一个服务周期中只要服务台前有顾客在等待，就要对排在前面的一位提供服务，若服务台前无顾客时就不能实施服务。
设在第 n 个服务周期中到达的顾客数为一随机变量 nY
且诸 nY 独立同分布：
)nkP Y k p（,?,2,1,0?k,1
k
kp
记 nX 为服务周期 n 开始时服务台前顾客数则有
0,
1,1
1
nn
nnn
n XY
XYX
X
若若此时 { nX,1?n } 为一马氏链，求其转移矩阵在第 n周期已有一个顾客在服务，到第 n+1
周期已服务完毕首页解 先求出转移概率
)0|0( 0100 XXPp )0(
0 YP 0
p?
)0|1( 0101 XXPp )1( 0 YP 1p?
)1|0( 110 nn XXPp )1|01( nnn XYXP
)0( nYP 0p?
)1|1( 111 nn XXPp )1|11( nnn XYXP
)1( nYP 1p?
)2|0( 120 nn XXPp )2|01( nnn XYXP
)1( nYP 0?
)2|1( 121 nn XXPp )2|11(
nnn XYXP
)0( nYP 0p?
)2|2( 122 nn XXPp )1( nYP 1p?
首页所以转移矩阵为
210
3210
43210
43210
1
00
0
ppp
pppp
ppppp
ppppp
P
首页说明：
二,基本性质性质 1 设 { 0,?nX
n } 为马氏链，其状态空间为 I,则
},,,{ 110 nn iXiXiXP
= }{ 0 iXP? }|{ 011 iXiXP
}|{ 1122 iXiXP }|{ 11 nnnn iXiXP
nXXX,,,10?
的联合分布可由初始分布及转移概率所决定，即有
},,,{ 110 nn iXiXiXP
niiiiii npppip 111 20 )( 首页则性质 2 设 { 0,?nX
n } 为马氏链，其状态空间为 I,
表明
},,|{ 11 mnmnnnnn iXiXiXP
}|{ 11 nnnn iXiXP
一个马氏链，如果按相反方向的时间排列，
所成的序列也是一个马氏链。
首页性质 3
设 { 0,?nX n } 为马氏链，其状态空间为 I,
表明 若已知现在，则过去与未来是独立的。
若 nrs0,则在 rr iX? 的条件下，有
}|,{ rrssnn iXiXiXP
= }|{ rrnn iXiXP }|{ rrss iXiXP
首页则性质 4 设 { 0,?nX
n } 为马氏链，其状态空间为 I,
表明 若已知现在，则过去同时对将来各时刻的状态都不产生影响。
},,|,,{ 0011 iXiXiXiXP nnmnmnnn
= }|,,{ 11 nnmnmnnn iXiXiXP
特别
},,|{ 00 iXiXiXP nnmnmn
= }|{ nnmnmn iXiXP首页则性质 5 设 { 0,?nX
n } 为马氏链，其状态空间为 I,
表明 马氏链的子链也是马氏链对任意给定的 n 个整数,nkkk210,有
},,|{ 1111 kkkkkk iXiXiXP nnnn
= }|{ 11 nnnn kkkk iXiXP
首页在马氏链的研究中，须研究“从已知状态 i出发，
经过 n次转移后，系统将处于状态 j”的概率,
三,n步转移矩阵
1,n步转移概率系统在时刻 m从状态 i经过 n步转移后处于状态 j的概率设 { 0,?nX n } 为齐次马氏链，其状态空间为 I,
}|{ iXjXP mnm Iji?.
称为 n步转移概率由于马氏链是齐次的，这个概率与 m无关所以简记为 )( nijp
首页显然有
2,n步转移矩阵
0)(?nijp,1)(
n
ij
Ij
p,Iji?.
由所有 n 步转移概率 )( nijp 为元素组成的矩阵
)( )( nijn pP? Iji?.
称为 n步转移矩阵规定
ji
jipP
ij,当
，当
0
1)( )0(
0
)()( )1(1 ijij ppP 首页
3．绝对概率公式定理 1 绝对概率由初始分布和 n维转移概率完全确定即有
)(
0 )()(
n
ij
Ii
n pipjp?
证 }{ jXP
n?
},{ 0 iXjXP n
Ii
}|{}{ 00 iXjXPiXP n
Ii
)(
0 )(
n
ij
Ii
pip?
注 若对定态分布，则
ij
Ii
pipjp )()(?
},{ 0 iXjXP
i
n
首页
4．切普曼 ---柯尔莫哥洛夫方程定理 2
则证设 { 0,?nX n } 为一个马氏链，具有初始分布 )(0 ip,Ii?
和 n 步转移概率 )( nijp,Iji?.,0?n,
)()()( m
kj
Ik
n
ik
mn
ij ppp?
)( mnijp }|{ 0 iXjXP mn
}|,{ 0 iXkXjXP nIkmn
}|,{ 0 iXkXjXP nmn
Ik
}|{ 0 iXkXP n
Ik
},|{ 0 kXiXjXP nmn
}|{}|{ 0 kXjXPiXkXP nmnn
Ik
)()( m
kj
Ik
n
ik pp?
首页注
（ 1）用一步转移概率表示多步转移概率
kj
Ik
ikij ppp?
)2(
jkkk
Ikk
ik
n
ij n
n
pppp?
21
1
1
,,
)1(?
（ 2 ） n 步转移矩阵 nP 与一步转移矩阵 1P 之间的关系
n
n PP 1?
首页注
（ 3 ） }{)( jXPjp nn 为元素的行矩阵记为
))(,),2(),1(()( NpppnP nnn I={1,2,…,N}
由矩阵的乘法规则，得
nPPnP )0()(?
表示：在时刻 n，各状态的概率等于其初始状态的概率与 n步转移概率矩阵之积。
若链是齐次的，则有
nPPnP 1)0()(?
首页例 4
甲、乙两人进行比赛，设每局比赛中甲胜的概率是 p，
乙胜的概率是 q，和局的概率是,（ ）。
设每局比赛后，胜者记,+1”分，负者记,—1”分，和局不记分。当两人中有一人获得 2分结束比赛。以表示比赛至第 n局时甲获得的分数。
r 1 rqp
nX
（ 1）写出状态空间； （ 2 ）求 2P ；
（ 3）问在甲获得 1分的情况下，再赛二局可以结束比赛的概率是多少？
首页解 （ 1）
记甲获得“负 2分”为状态 1，获得
“负 1分”为状态 2，获得,0分”为状态 3，
获得“正 1分”为状态 4，获得“正 2分”为状态 5，则状态空间为
}54321{,，，，?I
一步转移概率矩阵
10000
00
00
00
00001
1
prq
prq
prq
P
首页
（ 2）二步转移概率矩阵
212 PP?
10000
20
222
02
00001
22
222
22
rpppqrqrq
pprpqrrqq
pprpqrrpq
首页
（ 3）
在 2P 中 )2(45p 是在甲得 1 分的情况下经二步转移至 2 分从而结束比赛的概率；
)2(41p 是在甲得 1 分的情况下经二步转移至— 2 分 （即乙得 2 分）
从而结束比赛的概率。
所以题中所求概率为
)2(45p )2(41p? )1(0)( rprpp
返回首页第二节 马尔可夫链的状态分类一、相通与闭集
1．相通则称自状态 i可到达状态 j
如果对状态 i 和 j,存在某个 0?n,使 0)(?nijp
记为 ji?
如果 ji? 且 ij?
则称状态 i和状态 j相通记为 ji?
说明 如果自状态 i不能到达状态 j，
则意味着对于一切 0?n,有 0)(?nijp首页定理 1
在状态空间 I 中，相通关系,?,是等价关系即它满足
（ 1）自反性 ii?,（ 1)0(?iip ）
（ 2）对称性若 ji?,则 ij?
若 ki?,jk?,则 ji?
证
（ 3）传递性
（ 1），（ 2）显然，下证（ 3）
首页证 3
若 ki?,jk?
则由相通定义，
存在 0?m 和 0?n,使 0)(?mikp,0)(?nkjp
根据切普曼 ---柯尔莫哥洛夫方程，有
)()()( n
rj
m
ir
Ir
nm
ij ppp?
0)()( nkjmik pp
Ik?
即存在 0 nm,使 0)( nmijp所以有 ji?
同理可证若 kj?,ik?,则 ij?
首页说明按相通关系是等价关系，可以把状态空间 I 划分为若干个不相交的集合（或者说等价类），并称之为状态类。
若两个状态相通，则这两个状态属于同一类。
任意两个类或不相交或者相同。
2．闭集 设 C为状态空间 I 的一个子集，
若对任意 Ci? 和任意 Cj?有 0)(?nijp （ 0?n ），
则 C称为闭集注 1 若 C为闭集，则表示自 C内任意状态 i出发，始终不能到达 C以外的任何状态 j。
显然，整个状态空间构成一个闭集。
首页吸收态 指一个闭集中只含一个状态注 2 若状态空间含有吸收状态,那么这个吸收状态构成一个最小的闭集 。
3．不可约的若除整个状态空间 I 以外没有其它的闭集,
则称此马氏链是不可约的 。
如果闭集 C的状态都是相通的,则称闭集 C是不可约的 。
首页例 1
其一步转移矩阵为试研究各状态间的关系,并画出状态传递图 。
设马氏链 }0,{?nX n 的状态空间 I = { 0,1,2}
3
2
3
1
0
4
1
4
1
2
1
0
2
1
2
1
1
P
解 先按一步转移概率,画出各状态间的传递图首页
2/3
1/41/4
1/3
1/2
1/2
0 1 2
1/2
图 3---1由图可知 状态 0可到达状态 1,经过状态 1又可到达状态 2；
反之,从状态 2出发经状态 1也可到达状态 0。
因此，状态空间 I的各状态都是互通的。
又由于 I 的任意状态 i (i = 0,1,2)不能到达 I 以外的任何状态,所以 I是一个闭集而且 I 中没有其它闭集 所以此马氏链是不可约的。
首页例 2
其一步转移矩阵为试讨论哪些状态是吸收态,闭集及不可约链 。
解 先按一步转移概率,画出各状态间的传递图设马氏链的状态空间为 I = { 1,2,3,4,5}
00010
00001
00100
002/102/1
02/1002/1
1
P
首页
11
1/2 1/21/2 3
1
1/2
图 3---2
4
5
2
1
闭集,
由图可知 状态 3为吸收态且故 1C = { 3 } 为闭集
2C = { 1,4 }3C = { 1,3,4 }
闭集,闭集，
4C = { 1,2,3,4 }
其中 是不可约的。
1C,2C
又因状态空间 I有闭子集,故此链为非不可约链。
首页二、首达时间和状态分类
1,首 达时间 系统从状态 i出发,首次到达状态 j的时刻称为从状态 i 出发首次进入状态 j 的时间,
或称自 i 到 j 的首达时间 。
}0,,m i n { 0 njXiXnT nij,
如果这样的 n不存在，就规定
ijT
说明
ijT 是一个随机变量，它的取值是系统从状态 i 出发使 jX n? 的最小正整数 n 。
首页自状态 i出发，经过 n步首次到达状态 j 的概率自状态 i出发，经有穷步终于到达状态 j的概率注 1
}|{ 0)( iXnTPf ijnij
}{
1
)(
ij
n
n
ijij TPff
,{)( jXjXPf mnnij ； }|1,,2,1 0 iXnm
10 )( ijnij ff
首页对于首次到达时间表示从状态 i出发首次返回状态 i所需的时间相应的 便是从状态 i出发，经有限步终于返回状态 i的概率，
ijT 当 ji? 时
}1,,m i n { 0 niXiXnT nii,
iif
)(
1
n
ii
n
ii ff?
}{ iiTP
}|{ 0
1
iXnTP ii
n
首页
2．首次到达分解式定理 2
证对任意 Iji?,及 1?n,有
)()(
1
)( mn
jj
m
ij
n
m
n
ij pfp
设系统从状态 i经 n步转移到状态 j，
那么首次到达 j 的时间 nT ij?
由条件概率及马氏性得
}|{ 0)( iXjXPp nnij }|,{
01 iXjXmTP nij
n
m
}|,{ 0
1
iXjXmTP nij
n
m
}|{ 0
1
iXmTP ij
n
m
},,,,|{ 110 jXjXjXiXjXP mmn
}|{}|{ 0
1
jXjXPiXmTP mnij
n
m
)()(
1
mn
jj
m
ij
n
m
pf?
首页说明
( m =1,2,…,n) 的所有可能值进行分解，
定理 3
本定理表示 n 步转移概率 )( nijp 按首次到达时间 ijT = m
建立了 )( mijf 与 )( nijp 之间的关系公式
0?ijf 的充要条件是 ji?
证 充分性 设 ji?
则存在某 1?n,使 0)(?nijp
由定理 2得
0)()(
1
)(
mnjjmij
n
m
n
ij pfp
从而 )1(
ijf,)2(ijf,?,)( nijf 中至少有一个为正，
所以
0)(
1
m
ij
m
ij ff
首页必要性由定理 2得所以设 0?ijf因为 )(
1
m
ij
m
ij ff?
所以至少有一个 1?n,使 0)(?nijf
0)()0()()()(
1
)(
nijjjnijmnjjmij
n
m
n
ij fpfpfp
ji?
推论
ji? 的充要条件是 0?ijf 且 0?jif
首页
3．常返态与瞬时态则称状态 i为常返态则称状态 i为瞬时态注若 1?iif
若 1?iif
“常返”一词，有时又称“返回”、“常驻”或“持久”
“瞬时”也称“滑过” 或“非常返”
定理 4
若 1?iif,则系统以概率 1 无穷次返回 i ；
若 1?iif,则系统以概率 1 只有有穷次返回 i 。
证若 1?iif则系统从状态 i出发，经过有限次转移之后，必定以概率 1返回状态 i。
再由马氏性 系统返回状态 i要重复发生 首页这样,系统从状态 i出发,又返回,再出发,再返回,随着时间的无限推移,将无限次访问状态 i。
将,不返回 i”称为成功,
则首次成功出现的次数服从几何分布，
若 1?iif则每次回到 i 后都有正的概率 iif?1 不返回 i,
其均值为
iif?1
1,
这就是说平均回到 i 共
iif?1
1 次 就不再回到 i 了。
也就是说以概率 1只有有穷次返回 i。
首页定理 5
证令 n = 0,1,2,…
因此，从状态 i出发，访问状态 i的平均次数为
i 是常返态的充要条件是
0
)(
n
n
iip
iX
iX
I
n
n
n,当
，当
0
1
那么过程访问状态 i 的次数为?
0n
nI
E [ 访问状态 i 的次数 | iX?0 ]
iXIE
n
n 0
0
| ]|[ 0
0
iXIE
n
n
}|1{1 0
0
iXIP
n
n
}|{ 0
0
iXiXP
n
n
0
)(
n
n
iip
由定理 4，得证。 首页说明 本定理的等价形式：
i为瞬时态，当且仅当定理 6
证如果 i为常返态,且,则 j也是常返态 。
因由切普曼 ---可尔莫哥洛夫方程得上式两边对所有的 s相加,得
0
)(
n
n
iip
ji?
ji? 所以存在 0?m,0?n 使 0)(?mijp,0)(?njip
对于任意的 0?s,
)()()( sm
ij
n
ji
Ii
snm
jj ppp
)()()( m
lj
s
il
n
ji
IlIi
ppp
)()()( mijsiinji ppp?
)(
0
snm
jj
s
p
)()()(
0
m
ij
s
ii
n
ji
s
ppp?
)(
0
)()( s
ii
s
m
ij
n
ji ppp?
又因为 i为常返态,所以
)(
0
s
ii
s
p
首页故得从而 即状态 j也是常返态定理 7 所有常返态构成一个闭集证 设 i为常返态，
)(
0
snm
jj
s
p
)(
0
n
jj
n
p
如果 ji?,则 ij?,即 i和 j相通。
这是因为 若自 j出发不能到达 i，那么从 i出发到达 j后，就不能再返回 i，这与 i是常返态的 相矛盾。
1?iif
再由定理 6知,j也是常返态,这就是说，
自常返态出发，只能到达常返态，不能到达瞬时态。
故常返态全体构成一个闭集 首页
4,状态空间的分解如果已知类中有一个常返态，则这个类中其它状态都是常返的；
若类中有一个瞬时态，则类中其它状态都是瞬时态。
若对不可约马氏链，则要么全是常返态，要么全是瞬时态。
定理 8 任一马氏链的状态空间 I必可分解为
kCCCNI 21
其中 N是瞬时态集,?，，
21 CC 是互不相交的由常返态组成的闭集而且
（ 1 ）对每一个确定的 h,hC 内任意两个状态相通；
（ 2 ） hC 和 gC （ gh? ）中的状态不相同。
首页证 记 C为全体常返态所构成的集合，
则由定理 7知 C为闭集将 C按相通关系分类：
那么再从余下的状态中任取一个状态如此进行下去，
并且显然满足条件（ 1）和（ 2）。
CIN 为瞬时态全体在 C 中任取一个状态 1i,
凡是与 1i 相通的状态组成一个集合，记为 1C ；
在组成 1C 后，如果还有余下的状态，
2i
凡是与 2i 相通的状态组成一个集合 2C ；
就可将 C 分解成?，,21 CC 等集合之和，
首页
5,正常返态与零常返态平均返回时间 从状态 i出发，首次返回状态 i的平均时间称为状态 i平均返回时间,
根据的值是有限或无限,可把常返态分为两类：
设 i是常返态，
则称 i为正常返态；
)(
11
}{][ nii
n
ii
n
iii nfnTnPTE
若i?
若i?,则称 i为零常返态。
首页定理 9 设 i是常返态，则
（ 1） i是零常返态的充要条件是
（ 2） i是正常返态的充要条件是
0lim )( niin p
0lim )( niin p
证明 （略）
推论 如果 j 是零常返态,i 是任一状态，则
0lim )( nijn p证因为首页
)(
0
)()(0 kn
jj
n
k
k
ij
n
ij pfp
)(
1
)( kn
jj
N
k
k
ij pf
)(
1
)( kn
jj
n
Nk
k
ij pf
)(
1
)( kn
jj
N
k
k
ij pf
n
Nk
k
ijf
1
)(
固定 N,先令n,由定理 9，上式第一项有
0lim )(
1
)(
knjjN
k
k
ijn pf
又由于级数?
1
)( 1
k
ij
k
ij ff 收敛，故其尾部?
1
)(
Nk
k
ijf 当N 时趋于 0,
即第二项当N 时趋于 0,从而推论得证。
首页说明 用极限判断状态类型的准则
（ 2） i是零常返态
（ 2） i是正常返态
0lim )( niin p
（ 1） i是瞬时态?
)(
0
n
ii
n
p
（这时 0lim )( niin p ）
)(
0
n
ii
n
p
且
)(
0
n
ii
n
p
且
0lim )( niin p
首页定理 10
证明若 ji,为常返态，且 ji?,
则 ji,同为正常返或同为零常返设 ji,为常返态因为 ji?
所以存在正整数 k,m,使 0)(kijp,0)(jip
对于任意正整数 r,由切普曼 ---可尔莫哥洛夫方程得
)()()()()( rjjmjirjjkijmrkii ppppp
)()()()()( riikijriimjimrkjj ppppp
令r,得 )()( limlim r
jjr
mrk
iir pp
)()( limlim rii
r
mrkjj
r pp
由此可知
)(lim r
iir p 与
)(lim r
jjr p 或同为零，或同为正，
由定理 9知
ji,同为正常返或同为零常返首页
6．有限马氏链对有限状态的马氏链我们给出不加证明的性质定理 11 设 {?,2,1,0,?nX
n } 是状态空间 I 有限的马氏链，则
（ 1）瞬时态集 N不可能是闭集；
（ 2）至少有一个常返态；
（ 3）不存在零常返态；
（ 4）若链是不可约的，那么状态都是正常返的
（ 5）其状态空间可分解为
kCCCNI21
其中 N 是瞬时态集，
kCCC,，,?21
是互不相交的由正常返态组成的闭集。
首页例 3
转移矩阵已知马氏链 {?,2,1,0,?nX n } 的状态空间
}4,3,2,1{?I
0001
1000
0100
4
1
4
1
4
1
4
1
P
试对其状态分类。
解按一步转移概率，
画出各状态间的传递图 2
1/4
1 1
1/4 1/4
1
1/4
1
4
3
首页从图可知，此链的每一状态都可到达另一状态，即 4个状态都是相通的。
考虑状态 1是否常返,需要计算
11f,
4
1)1(
11?f
}1|1,1{ 012)2(11 XXXPf
}1|2,1{ 012 XXXP }1|3,{ 012 XXXP
}1|4,1{ 012 XXXP
}1,4|1{ 012 XXXP }1|4{ 01 XXP
4
1
4114 pp
首页类似地可求得所以
4
1
413413
)3(
11 pppf
4
1
41342312
)4(
11 ppppf
0)(11?nf （?,6,5?n ）
)(
11
1
11
n
n
ff?
14
1
4
1
4
1
4
1
于是状态 1是常返的。 又因为
2
5)(
11
1
1
n
n
fn?
所以状态 1是正常返的。
由定理可知，此链所有状态都是正常返的。
首页例 4 设马氏链的状态空间 I={0,1,2,…},其一步转移概率为其中试证此马氏链是一个不可约常返态链
pp ii 1,qp i?0,Ii?
10 p,1 qp
证 先证 I不可约设 i,j是 I中任意两个状态，
若 ji?,则有
jjii pppp 11?
即 ji?若 ji?,则有
jji ppppq 110?
即 ji?于是对于任意的 Iji?,，都有 ji?
首页类似地可证所以 即 I中任意两个状态都是相通的。
因此,I是一个不可约的闭集再证 I中状态 0是一个常返态：
由状态的转移规则，得
ij?
ji?
01210 qpppp n?
所以
)(
00
1
00
n
n
ff?
}0|{
000
1
XnTP
n
首页
}0|0,1,,2,1{ 0121
1
XXnXXXP nn
n
}1,0|2{}0|1{ 10201
1
XXXPXXP
n
}1,,0|0{ 10 nXXXP nn?
}1|2{}0|1{ 1201
1
XXPXXP
n
}1|0{ 1 nXXP nn
1
1
n
nqp
1
1
p
q
由定义知状态 0为常返态。
因此，由定理知 I中所有状态都是常返态。
故此马氏链为不可约常返链。
首页三、状态的周期与遍历
1．周期状态 对于任意的,令其中 GCD表示最大公约数
Ii?
}01{ )( niii pnG C Dd,
如果 1?id,
则称 为周期态，i
id 为周期如果 1?id
则称 为非周期态。
i
定理 12 设马氏链的状态空间为 I,Iji?,
（ 1 ）若 ji?,则 ji dd? ；
（ 2 ）若是不可约马氏链，且 0?iip,则此马氏链是非周期链。
首页证 所以存在正整数 m,n，使则有则有因此有
（ 1 ） 因为 ji?,
0)(?mijp,0)(?njip
)( nmiip? )( mijp? 0)(?njip所以
id 能整除 m + n
若对某一 0?s 有 0)(?sjjp,
)( snmiip )( mijp? )( sjjp 0)(?njip
所以 id 能整除 m + n + s,从而 id 能整除 s 。
ji dd?
类似地可证得
ij dd?
故
ji dd?
首页
（ 2）
所以因为对于 Ii? 有 0?iip,
1?id
从而 i为非周期态。
又因为马氏链不可约，
对于 Ii? 有 ji?,
所以 j也是非周期态，
从而该马氏链是非周期链。
2．遍历状态若状态 i是正常返且非周期，则称 i为遍历状态。
若马氏链 { nX } 的所有状态都是遍历的，
则称 { nX } 为遍历马氏链，简称遍历链首页例 5 设马氏链的状态空间 I = {0,1,2,…},转移概率为试讨论各状态的遍历性。
解 根据转移概率作出状态传递图
2
1
00?p,2
1
1,iip,2
1
0?ip,Ii?
…1/2 1/2 1/2
1/2 1/21/2
0 1 2
1/2
图 3---4
3
1/2
首页从图可知，对任一状态 都有,
故由定理可知,I 中的所以状态都是相通的，
Ii? 0?i
因此只需考虑状态 0是否正常返即可。
2
1)1(
00?f
4
1
2
1
2
1)2(
00f 8
1)
2
1( 3)3(
00f
…
故
1
2
1
1
00
n
n
f
从而 0是常返态。
又因为
n
n n
n nnf
2
1
1 1
)(
000?
所以状态 0为正常返。
又由于
021)1(00p
故状态 0为非周期的从而状态 0是遍历的。 故所有状态 i都是遍历的。 返回首页习题课
1．带有两个反射壁的随机游动如果状态空间 I = {0,1,2,…,m},移动的规则是：
（ 1） 若移动前在 0处,则下一步以概率 p向右移动一个单位,以概率 q停留在原处 （ p+q=1） ；
（ 2） 若移动前在 m处,则下一步以概率 q向左移动一个单位,以概率 p停留在原处；
（ 3） 若移动前在其它点处,则均以概率 p向右移动一个单位,以概率 q向左移动一个单位 。
设 表示在时刻 n质点的位置，则 {,}是一个齐次马氏链，写出其一步转移概率矩阵。
nX nX 0?n
首页
q
p
右反射壁
m-1 m
pq
左反射壁
1 20
pq
pq
pq
pq
pq
P
000000
000000
000000
000000
000000
1
首页
2．带有反射壁的随机游动设随机游动的状态空间 I = {0,1,2,… },移动的规则是：
（ 1） 若移动前在 0处,则下一步以概率 p向右移动一个单位,以概率 q停留在原处 （ p+q=1） ；
（ 2） 若移动前在其它点处,则均以概率 p向右移动一个单位,以概率 q向左移动一个单位 。
设 表示在时刻 n质点的位置，则 {,}是一个齐次马氏链，写出其一步转移概率。 nX nX
0?n
首页
pq
反射壁
1 2 30
000
000
000
1
pq
pq
pq
P
首页
3,一个圆周上共有 N格 （ 按顺时针排列 ）,一个质点在该圆周上作随机游动,移动的规则是：质点总是以概率 p顺时针游动一格,以概率 逆时针游动一格 。
试求转移概率矩阵 。 pq 1
0000
0000
0000
0000
0000
1
qp
pq
pq
pq
qp
P
},,2,1{ NI
首页
4,一个质点在全直线的整数点上作随机游动,移动的规则是：以概率 p从 i移到 i-1,以概率 q从 i移到 i+1,以概率 r停留在 i,且,试求转移概率矩阵 。1 qpr
000
000
1
qrp
qrp
P
},2,1,0,1,2,{I
首页
5,设袋中有 a个球,球为黑色的或白色的,今随机地从袋中取一个球,然后放回一个不同颜色的球 。 若在袋里有 k
个白球,则称系统处于状态 k,试用马尔可夫链描述这个模型 （ 称为爱伦菲斯特模型 ）,并求转移概率矩阵 。
解 这是一个齐次马氏链，其状态空间为
I={—a,—a+1,…,—1,0,1,2,…,a}
一步转移矩阵是
01000
1
0
1
00
0
2
0
2
0
00
1
0
1
00010
1
aa
a
a
a
a
a
a
a
P
首页
1/3 1/2
1
1/3
1/2
1
1/3
1 2 3
4
6,设马氏链的状态空间 I={1,2,3,4},其一步转移矩阵为解试对其状态分类。
0010
0
2
1
2
1
0
0001
3
1
3
1
3
1
0
1
P
按一步转移概率，画出各状态间的传递图它是有限状态的马氏链，故必有一个常返态，又链中四个状态都是互通的。因此，所有状态都是常返态，这是一个有限状态不可约的马氏链。
可继续讨论是否为正常返态 首页可讨论状态 1
1/3 1/2
1
1/3
1/2
1
1/3
1 2 3
4
0)1(11?f
3
1)2(
11?f
2
1
2
1
3
1
3
1)3(
11f
12
11
2
1
2
1
3
1)4(
11f
122
1
122
1
12
1
2
1
3
1
2
)(
11
1
11
n
n
ff
122
11
2
1
2
1
2
1
3
1)5(
11f
122
11
2
1
2
1
2
1
2
1
3
1
2
)6(
11f
1?
首页状态 1是常返态
)(
11
1
1
n
n
fn?
122 16122 1512 14213312 2
状态 1是正常返态所以,全部状态都是正常返态首页
7,设马氏链的状态空间 I={1,2,3,4,5},其一步转移矩阵为试研究各状态的类及周期性解
00001
00001
6.04.0000
8.02.0000
005.05.00
1
P
各状态间的传递图首页对于任意 有，
即 I为不可再分闭集。
所以 I中每一个状态都是常返态，
且此马氏链为有限状态不可约常返链。
0.4 0.2
1
1 0.50.5
0.80.63
1
25
4
Iji?,
ji?
1421 12.05.0 1521 18.05.0
1431 14.05.0 1531 16.05.0
所以状态 1的周期为 3，由定理知,I中所有状态都为周期态，且周期都为 3。因此，这个马氏链又是以 3
为周期的周期链。
又因为马氏链为有限状态不可约链，所以所有状态都是正常返状态。
首页
8,设马氏链的状态空间为 I = {1,2,3},其一步转移矩阵为试研究各状态间的关系。
解
100
05.05.0
05.05.0
1P
0.5
0.50.5
1 2
0.5 1
3
状态空间为 I 包含两个不相交子集 1C = { 1,2},2C = { 3 }
在 1C 中两个状态是互通的，在 2C 中状态 3 是吸收状态。
因此,1C,2C 都是闭集可继续讨论正常返 首页
9,设马氏链的状态空间为 I = {1,2,3,4},其一步转移矩阵为试研究各状态间的关系。
解
02.02.06.0
007.03.0
0001
0100
1
P
1
0.6 0.2
0.2
0.7
1
1 2
0.3
3
4
状态空间为 I分两个部分：
= {1,2,3},={4}
1C 2C
是闭集
1C
中状态 4可到达 中各状态，且它非吸收状态，
所以 不是闭集。
2C 1C
2C 返回首页第三节 平稳分布与遍历性一、平稳分布定义 1
其满足设马氏链有转移矩阵 )( ijpP?,
若存在一个概率分布 { )( i?,Ii? },
)( i
Ij
jipj )(?
则称 { )( i?,Ii? } 为马氏链 { 0,?nX n } 的平稳分布绝对分布 }{)( iXPip
nn,Ii?,0?n
定态分布 }{)( iXPip
n,Ii?,0?n首页绝对概率公式绝对概率由初始分布和 n维转移概率完全确定即
)(
0 )()(
n
ij
Ii
n pipjp?
注 若对定态分布，则
ij
Ii
pipjp )()(?
性质 1 定态分布一定是平稳分布性质 2 若初始分布是平稳分布，则绝对分布也是平稳分布证如果马氏链 { 0,?nX n } 的初始分布
}{)( 00 iXPip
是平稳分布,则
)(0 ip ji
Ij
pjp )(0?
首页从而得
}{)( iXPip nn )(
0 )(
n
ji
Ij
pjp?
)(
0 )(
n
ji
Ij
kj
Ik
ppkp
（初始分布为平稳分布）
)(
0 )(
n
jikj
IjIk
ppkp
)1(
0 )(
nki
Ik
pkp
（切普曼 ---可尔莫哥洛夫方程）
)(1 ip n
由上式得
)( ip n )()( 11 ipip n ji
Ij
pjp )(0?
)(0 ip?
于是这时绝对分布是定态分布，从而它也是平稳分布。
说明 具有平稳分布的马氏链在每一时刻处在状态 i的概率相等首页二、遍历性非周期、正常返状态为遍历状态定义 2
使得设马氏链 { 0,?nX n } 的状态空间为 I,
若对一切 Iji?,，存在不依赖于 i 的常数 )( j?,
)(lim )( jp nijn
则称此马氏链具有遍历性其中 )( nijp 是马氏链的 n 步转移概率马氏链的遍历性表明不论从哪一个状态 i出发，当转移的步数 n充分大时，转移到状态 j的概率都接近于正常数 )( j? 首页定理 1
则此马氏链是遍历的,且 中的是方程组设有限马氏链 { 0,?nX n } 的状态空间为 I = { 0,1,2,?,s }
如果存在正整数 0n,使对一切 Iji?,都有 0)( 0?nijp,
)(lim )( jp nijn )( j?
s
i
ijpij
0
)()(
j =0,1,2,…,s
的满足条件
0)(?j? 1)(
0
j
s
j
的唯一解注 1 定理表明不论从链中哪一状态 i出发，都能以正概率经有限次转移到达链中预先指定的其它任一状态。
定理给出了求平稳分布 的方法。)( j?注 2
首页例 1
其一步转移矩阵为试证此链具有遍历性，并求出平稳分布。
设马氏链 { 0,?nX n } 的状态空间 I = { 1,2,3 }
3
2
3
1
0
3
2
0
3
1
0
3
2
3
1
1
P
解 由于
212 )( PP
3
2
9
2
9
1
9
4
9
4
9
1
9
4
9
2
3
1
首页所以因此，该马氏链具有遍历性。 由定理 1得解得当 0n =2 时，对于一切 Iji?,,0)2(?ijp 。
1)3()2()1(
)3(
3
2
)2(
3
2
)3(
)3(
3
1
)1(
3
2
)2(
)2(
3
1
)1(
3
1
)1(
7
1)1(,
7
2)2(,
7
4)3(
所以马氏链的平稳分布为 X
)(i?
1 2 3
7
1
7
2
7
4
1))3(),2(),1(())3(),2(),1(( P
首页定理 2
（ 1）若状态是正常返，则该链存在平稳分布，
且平稳分布
（其中 是从状态 j出发首次返回状态 j的平均时间）
（ 2）若所有状态是瞬时态，或所有状态是零常返态，则不存在平稳分布。
（ 3） 若是有限马氏链,则一定存在平稳分布 。
（ 4） 绝对分布的极限是平稳分布,即设 { 0,?nX n } 是状态空间为 I 的不可约非周期马氏链，
}1{})({ IjIjj
j
,,
)()(lim jjp nn Ij?
j?
首页例 2 设有 6个球（其中 2个红球,4个白球）分放于甲、
乙两个盒子中，每盒放 3个，今每次从两个盒中各任取一球并进行交换，以 表示开始时甲盒中红球的个数,（ ）表示经 n次交换后甲盒中的红球数。
( 1 ) 求马氏链 {,}的转移概率矩阵；
0X
nX
1?n
nX
1?n
( 2 ) 证明 {,}是遍历的；
nX
1?n
（ 3）求
)(lim n
ijn p
2,1,0,?ji
（ 4）求 )(lim jp
nn
2,1,0?j
首页解其一步转移矩阵为
（ 1 ）因 nX 表红球数，所以状态空间 I = { 0,1,2}
3
1
3
2
0
9
2
9
5
9
2
0
3
2
3
1
1
P
甲 乙红球 0
白球 3
红球 2
白球 1
红球 1
白球 2
红球 1
白球 2
红球 2
白球 1
红球 0
白球 3 首页并作出状态传递图
1/3
2/9
5/9 2/3
2/9
1/3
0 1 2
2/3
（ 2）由于它是一个有限马氏链，故必有一个常返态，
又链中三个状态 0,1,2都相通，所以每个状态都是常返态。
所以是一个不可约的有限马氏链，从而每个状态都是正常返的。
所以此链为非周期的。
故此链是不可约非周期的正常返链，即此链是遍历的。
又由 03100p 首页
（ 2）可以利用定理证明遍历性
（ 3 ）由于 )(lim )( jp nijn （ 2,1,0?j ），
所以先求平稳分布 )( j?
2
2
12
3
1
3
2
0
9
2
9
5
9
2
0
3
2
3
1
PP
首页解之得
)2,1,0(,0)(
1)2()1()0(
)2(
3
1
)1(
9
2
)2(
)2(
3
2
)1(
9
5
)0(
3
2
)1(
)1(
9
2
)0(
3
1
)0(
jj?
5
1)0(,
5
3)1(,
5
1)2(
故得
0
)(
0
1lim
n
in p 5
1)0(
1
)(
1
1lim
n
in p 5
3)1( 首页
（ 4）
5
1)0(
5
3)1(
2
)(
2
1lim
n
in p 5
1)2(
)0(lim nn p
)1(lim nn p
)2(lim n
n
p
5
1)2(
首页例 3 市场占有率预测设某地有 1600户居民，某产品只有甲、乙、丙 3厂家在该地销售。经调查,8月份买甲、乙、丙三厂的户数分别为 480,320,800。 9月份里，原买甲的有 48户转买乙产品，有 96户转买丙产品；原买乙的有 32户转买甲产品，有 64户转买丙产品；原买丙的有 64户转买甲产品，有 32户转买乙产品。用状态 1,2,3分别表示甲、乙、丙三厂，试求
（ 1） 转移概率矩阵；
（ 2） 9月份市场占有率的分布；
（ 3） 12月份市场占有率的分布；
（ 4） 当顾客流如此长期稳定下去市场占有率的分布 。
首页解 （ 1） 由题意得频数转移矩阵为再用频数估计概率，得转移概率矩阵为
7 0 43264
642 2 432
96483 3 6
N
88.004.008.0
2.07.01.0
2.01.07.0
1P
（ 2）以 1600除以 N中各行元素之和，得初始概率分布
（即初始市场占有率）
)5.02.03.0(),,()0( 321 pppP
首页所以 9月份市场占有率分布为
（ 3） 12月份市场占有率分布为
1)0()1( PPP? )5.02.03.0(?
88.004.008.0
2.07.01.0
2.01.07.0
)54.019.027.0(?
4
1)0()4( PPP?
)5.02.03.0(?
4
88.004.008.0
2.07.01.0
2.01.07.0
)5 9 8 3.01 6 9 8.02 3 1 9.0(?
首页
（ 4）由于该链不可约、非周期、状态有限正常返的，所以是遍历的。
解方程组
1
88.02.02.0
04.07.01.0
08.01.07.0
321
3213
3212
3211
即得当顾客流如此长期稳定下去是市场占有率的分布为
)625.0156.0219.0(),,( 321
返回首页讨论对时间连续状态离散的马尔可夫过程,
取时间参数,状态空间 I={0,1,2,… }
第四节 时间连续的马尔可夫链一、定义及性质时间连续的马尔可夫链
0?t
设随机过程 { )( tX,0?t } 的状态空间为 I,
若对所有的 s,0?t,及 Iji?，,)( ux,su0,有
isXjstXP )(|)({,)()( uxuX?,su0 }
})(|)({ isXjstXP
转移概率 })(|)({),( isXjstXPstsp ij
首页齐次马氏链转移概率仅由 t决定而与 s无关
2．性质性质 1
)(),( tpstsp ijij
设 { )( tX,0?t } 是状态空间为 I 时间连续的齐次马氏链
)( tp ij 对 Iji?,和 0?t,0,满足
（ 1 ） 0)(?tp ij
（ 2 ） 1)(
tp ij
Ij
（ 3 ） )()()( kjik
Ik
ij ptptp?
切普曼 ——柯尔莫哥洛夫方程首页性质 2
连续时间齐次马氏链的有限维概率分布由它的初始分布和转移矩阵所确定注性质 3
对任意 nttt100,Iiii n?,,,10?,有
00 )({ itXP?,11 )( itX?,?,nn itX?)( }
)()(})({ 10100 110 nniiii ttpttpitXP nn?
对任意 210 tt,Iiii?,,21,有
11 )({ itXP? | 22 )( itX?,itX?)(,2tt? }
= 11 )({ itXP? | 22 )( itX? }
注 对时间来说是可逆性首页性质 4
已知现在，那么过去与将来是独立注性质 5（遍历性定理）
马尔可夫定理设 {,}是状态空间 I={0,1,2,…,s} 的时间连续的齐次马氏链，
对任意 3210 ttt,Iiii?321,,，有
1133 )(,)({ itXitXP | 22 )( itX? }
= 2233 )(|)({ itXitXP } 11 )({ itXP? | 22 )( itX? }
)(tX 0?t
若存在 00?t
使对于一切 Iji?,都有 0)( 0?tp ij,则
)()(lim jtp ijt 存在且与 i 无关，
其中 )( j? （ j = 0,1,2,?,s ）是方程组首页的满足条件的唯一解。
例 1
)()()(
0
tpij
s
i
ij?
0?t
0)(?j?
1)(
0
s
j
j?
考虑一个电话总机接到的呼唤流，以 表示这个总机在 [0,t]中接到的呼唤次数，由于呼唤流在不相交的时间区间中接到的呼唤次数是相互独立的，且 服从泊松分布，所以 是一个时间连续状态离散的马氏过程，而且是齐次的。写出它的转移概率。
)(tX
)(tX )(tX
首页当呼唤次数 时 转移概率当 时其状态空间 I={0,1,2,…}
ji?
)( tp ij 正是在 t 这段时间内发生 ij? 次呼唤的概率
t
ij
ij eij
ttp
)!(
)()( 0
ji? 0)(?tp ij
转移概率为
ji
jie
ij
t
tp
t
ij
ij
0
)!(
)(
)(
首页
1．随机连续则称 { }是随机连续的。
定理 1
二、可尔莫哥洛夫微分方程时间连续的齐次马氏链 {,}是随机连续的充要条件为：对任意的,有设 { )( tX,0?t } 是时间连续的齐次马氏链，
若对任意 0,Ii?,有
0})0(||)()({|lim 0 iXtXhtXPh?
)(tX
)(tX 0?t
Iji?，
ijijh hp )(lim 0
ji
ji
,0
1,
随机连续直观意义 当系统经过很短时间，其状态几乎不变。
首页标准转移概率若时间连续的齐次马氏链是随机连续的，
则称其转移概率是标准的。
并且满足性质,
2．转移概率的性质性质 1
对任意 Ii?,有 0)(?tp ii （ 0?t ）
性质 2
若有 00?t,使 0)( 0?tp ij,则 0)(?tp ij
定理 2 对任意 Iji?，,ji?,)( tp
ij 满足
（ 1 ） iii
t
qt tp
)(1lim
0
,（ iq0 ）
并且对任意,
有 0?t
i
ii q
t
tp )(10 首页
（ 2）对时间连续的齐次有限马氏链，,有若注 1
推论则对任意,有
（ 2 ） ijij
t
qt tp?
)(l i m
0
,（ijq ）
（ 1 ）对任意 Ii?,iij
ji
qq
0
Ii?
iij
ji
qq
0?iq Ii?
1)(?tp ii
即 为吸收态i
首页等价它表明系统从状态 i出发，是继续留在状态 i，还是跳跃到状态 j，在不计一个高阶无穷小时，决定于 与注 2
i
ii
t
qt tp
)(1lim
0
ij
ij
t
q
t
tp?
)(lim
0
当 || t 较小时
tqtp iii 1)( + )( t?
等价
tqtp ijij?)( + )( t?
iq ijq
跳跃强度 与 称为跳跃强度
iq ijq
3．密度矩阵 由跳跃强度 构成的矩阵
ijq
)( ijqQ? （iiq iq ）
称为时间连续马氏链的密度矩阵，或称 Q 矩阵首页若对一切,有由定理 2推论可知也称时间连续马氏链是保守的。
矩阵保守时间连续的齐次有限马氏链是保守的。
Ii?
4、可尔莫哥洛夫定理
Q
iij
ji
qq
则称 Q 矩阵为保守的设 { )( tX,0?t } 是时间连续的齐次马氏链，
对任意 Iji?,和 0?t,则首页
kjik
k
ij qtptp )()(
}{s u p i
i
q
)()( tpqtp kjik
k
ij
成立的充要条件为密度矩阵 )( ijqQ? 是保守的。
推论绝对概率 )( tp j 满足下列方程
kjk
jk
jjj qtpqtptp )()()(?
(1)
(2)
注 1 （ 1）与（ 2）两式分别称为可尔莫哥洛夫向前方程和向后方程,其矩阵形式
QtPtP )()(
)()( tQPtP
（向前方程）
（向后方程）
首页对时间连续齐次有限马氏链，向前方程和向后方程均成立，且有如何求注 2
在实际问题中往往是很困难。
但考虑到密度矩阵,是由在 的导数组成,即
QtPtP )()( )( tQP?
)(tP
)( ijqQ? )()( ijptP?
0?t )0(PQ
所以实际问题中先得到,再算)(
ijq )(tP
注 3 费勒已经证明了向后方程与向前方程有同一解 )(tp
ij
但具体应用哪一个方程组求解，要看具体问题而定。
首页设 状态空间 I={0,1}时间连续马氏链而由状态 1转到 0的概率为且规定在 时间内，由状态 0转到 1的概率为例 2 两状态链试求时间 t时的转移概率
{ )( tX,0?t }
t?
)(1)(01 ttetp t
)(1)(10 ttetp t
)( tp ij （ 1,0,?ji ）。
首页解类似地
t
tpq
t?
)(1lim 00
00 t
e t
t?
1
lim
0
t
tt
t
)(lim
0
t
tpq
t?
)(lim 01
001
t
tt
t
)(lim
0
101 qq
所以密度矩阵
Q
于是相应的可尔莫哥洛夫前进方程是
QtPtP )()(
即 首页据题意 有初始条件解上列微分方程，可得满足此初始条件的解。
例如求
)()()( 010000 tptptp
)()()( 010001 tptptp
)()()( 111010 tptptp
)()()( 110111 tptptp
1)0()0( 1100 pp 0)0()0( 1001 pp
)()()( 000100 tptptp
由 得 )(1)( 0001 tptp 首页因此或于是故由 得
)()()( 0000 tptp
tt etptpe )(0000)( )]()()([
tt etpe
dt
d )(
00
)( )]([
Cetpe tt )(00)( )(
1)0(00?p
1C
tetp )(
00 )(
首页类似地可解得三、生灭过程生灭过程是一类特殊的连续马氏链，它有许多重要的应用。
)1()( )(01 tetp
)1()( )(10 tetp
tetp )(
11 )(
首页设有同一类型的个体组成的一群体，
其每一个体在任意时间 内，
并设每一个体在此时间内也会死亡，且寿命服从参数为 的指数分布。
t?
繁殖一个新个体的概率是 )( tti （ 0?i? ），
繁殖两个以上个体的概率是 )( t ；
0?i?
若令 )( tX 表示群体在 t 时刻的个体数，
则随机过程 { )( tX,0?t } 是时间连续的齐次马氏链。
模型含义首页若它的转移概率满足则称此链为齐次生灭过程生率和灭率设 { )( tX,0?t } 是状态空间为 I 的时间连续的齐次马氏链，
)()(1 tttp iii 0?i?
)()(1 tttp iii （ 0?i?,00 ）
)()(1)( tttp iiii
)()( ttp ij 2|| ji
其中 0?i?,0?i? 分别称作过程的生灭过程定 义首页纯生过程纯灭过程由定义中的转移规则知，生灭过程的状态是互通的，
并且在长为 的一小段时间内，若不计高阶无穷小，状态转移只有三种可能：
0?i? 1?i
0?i? 1?i
t?
（ 1 ）状态由 i 变到 1?i,即增加 1
把 理解为 t时刻某群体的个体总数，这时经过了生出了一个个体)(tXt?
其概率为 ti ；
（ 2 ）状态由 i 变到 1?i,即减少 1其概率为 t
i ；
理解为经过了,死去了一个个体t?
（ 3 ）状态保持不变，其概率为 tii )(1
首页密度矩阵由即
i
ii
t
qt tp
)(1lim
0
ij
ij
t
q
t
tp?
)(lim
0
iiiq 1 （ 0?i? ）
可得
iiiq 1 （ 0?i? ）
iiq )( iiiq 0?ijq,1|| ji
)(00
)(0
0)(
00
333
2222
1111
00
Q
首页可尔莫哥洛夫向前方程是向后方程是
)()()( 11000 tptptp iii
)()()()()( 1111 tptptptp ijjijjjijjij 1?j
)()()( 10000 tptptp jjj
)()()()()( 11 tptptptp jiiijiijiiij 1?i
ijii
j
j
ppp
ppp
ppp
P
10
11110
00100
QtPtP )()(
)()( tQPtP
)(00
)(0
0)(
00
333
2222
1111
00
首页假定平稳分布由
}0,{?ip i
kjk
jk
jjj qtpqtptp )()()(?
可得 0
1100 pp
0)( 1111 iiiiiii ppp 1?i
当 0?k,2,1?k 时，可求得
0
1
0
1 pp?
0
21
10
2 pp
0
21
110 pp
k
k
k
由
1
0
k
k
p
可知
1
21
110
1
0 1
）（
k
k
k
p
首页定理 4
若其密度矩阵可表示成其中设 { )( tX,}0?t 是状态空间为 I 的马尔可夫过程，
其转移概率矩阵 )( ijpP?
)(00
)(0
0)(
00
333
2222
1111
00
Q
00,0?i?,0?i? （?,2,1?i ）
则 是生灭过程。{ )( tX,}0?t 首页
1．马尔可夫链设随机过程 { )( tX,Tt? },
其中时间 T = { 0,1,? },状态空间 I = { 0,1,2,? },
若对任一时刻 n,以及任意状态 jiiii n,,,,,110,有
,)1(,)(|)1({ 1 ninXinXjnXP })0(,)1(,01 iXiX
})(|)1({ inXjnXP
则称 { )( tX,Tt? } 为一个马尔可夫链 （或马氏链）
简记为 { nX,0?n }
首页注,
而与以前的状态表明 )( tX 在时刻 n +1 的状态 jnX )1( 的概率分布只与时刻 n 的状态 inX?)( 有关，
1)1( ninX,?,0)0( iX? 无关。
有限马氏链 状态空间是有限集 I={0,1,2,…,k}
2．一步转移概率 马氏链在时刻 n处于状态 i 的条件下，到时刻 n+1转移到状态 j 的条件概率，
即 }|{
1 iXjXP nn
称为在时刻 n的一步转移概率，
记作 )( np ij首页注,
由于概率是非负的，且过程从一状态出发，经过一步转移后，必到达状态空间中的某个状态一步转移概率满足
3．一步转移矩阵称为在时刻 n的一步转移矩阵
（ 1 ） 0)(?np ij,Iji?,
（ 2 ） 1)(
np ij
Ij
,Ii?
如果固定时刻 Tn?
则由一步转移概率为元素构成的矩阵 1P,
首页即有有限马氏链 状态空间 I={0,1,2,…,k}
)()(
)()(
)()(
10
1110
0100
1
npnp
npnp
npnp
P
nn
)()()(
)()()(
)()()(
10
11110
00100
1
npnpnp
npnpnp
npnpnp
P
kkkk
k
k
首页
4．齐次马氏链即则称此马氏链为齐次马氏链（即关于时间为齐次）
如果马氏链的一步转移概率 )( np ij 与 n 无关，
ijnn piXjXP }|{ 1
5．初始分布 设 }{)(
00 iXPip,Ii?,
如果对一切 Ii? 都有
0)(0?ip 1)(
0
ip
Ii
称 )(0 ip 为马氏链的初始分布首页注马氏链在初始时刻有可能处于 I中任意状态，初始分布就是马氏链在初始时刻的概率分布。
6．绝对分布 概率分布
}{)( iXPip nn,Ii?,0?n
称为马氏链的绝对分布或称绝对概率定态分布若绝对分布 )( ip n 与 n 无关，
即
}{)( iXPip n,Ii?,0?n
则称 { )( ip n,Ii? } 为马氏链 { 0,?nX n } 的定态分布首页例 1 不可越壁的随机游动设一质点在线段 [1,5 ]上随机游动，状态空间 I={1,2，
3,4,5}，每秒钟发生一次随机游动，移动的规则是：
（ 1）若移动前在 2,3,4处，则均以概率 向左或向右移动一单位，或停留在原处；
（ 2）若移动前在 1处，则以概率 1移到 2处；
（ 3）若移动前在 5处，则以概率 1移到 4处。
3
1
用 nX 表示在时刻 n 质点的位置，
则 { nX,0?n } 是一个有限齐次马氏链，
试写出一步转移矩阵,首页分析
5554535251
4544434241
3534333231
2524232221
1514131211
1
ppppp
ppppp
ppppp
ppppp
ppppp
P
01000
3
1
3
1
3
1
00
0
3
1
3
1
3
1
0
00
3
1
3
1
3
1
00010
1
P
故
1 2 3 4 5
首页其一步转移矩阵为
10000
2
1
0
2
1
00
0
2
1
0
2
1
0
00
2
1
0
2
1
00001
1
P
若将移动规则改为
（ 1）若移动前在 2,3,4处，则均以概率 向左或向右移动一单位；
（ 2）若移动前在 1,5处，则以概率 1停留在原处。
2
1
因为质点在 1,5两点被“吸收”，
故称 有两个吸收壁的随机游动首页分析例 2 赌徒输光问题赌徒甲有资本 a元，赌徒乙有资本 b元，两人进行赌博，每赌一局输者给赢者 1元，没有和局，直赌至两人中有一人输光为止。设在每一局中，甲获胜的概率为 p，乙获胜的概率为,
求甲输光的概率。 pq 1
这个问题实质上是带有两个吸收壁的随机游动。从甲的角度看，他初始时刻处于 a，每次移动一格，向右移（即赢 1元）的概率为 p，向左移（即输 1元）的概率为 q。如果一旦到达 0（即甲输光）或 a + b（即乙输光）这个游动就停止。这时的状态空间为 {0,1，
2,…,c},c = a + b，。现在的问题是求质点从 a出发到达 0状态先于到达 c状态的概率。
首页考虑质点从 j出发移动一步后的情况解设 cj0
设 ju 为质点从 j 出发到达 0 状态先于到达 c 状态的概率。
在以概率 p 移到 1?j 的假设下，
到达 0 状态先于到达 c 状态的概率为 1?ju
同理以概率 q 移到 1?j 的前提下，
到达 0 状态先于到达 c 状态的概率为 1?ju
根据全概率公式有
qupuu jjj 11
这一方程实质上是一差分方程，它的边界条件是
0,10 cuu
首页于是设
（ p + q ） 11 jjj qupuu
))(( 11 jjjj uupquu
p
qr?
1 jjj uud
则可得到两个相邻差分间的递推关系
1 jj rdd于是
02
2
1 drdrrdd
j
jjj
欲求 au 先求 ju
需讨论 r 首页当而
1?r
cuu 01 )( 1
1
0
jj
c
j
uu
j
c
j
d?
1
0
0
1
0
dr j
c
j
01
1 d
r
r c
cjj uuu )(
1
1
ii
c
ji
uu
0
11
drd i
c
ji
i
c
ji
01 )1( drrr jcj 0
1
d
r
rr cj
两式相比
c
cj
j r
rru
1
首页故
c
ca
a r
rru
1
cca
p
q
p
q
p
q )(1)()(
当 1?r
00 1 cduu c
而
0)( djcu j
因此
c
jcu
j
故
c
b
c
acu
a?
首页用同样的方法可以求得乙先输光的概率由以上计算结果可知当 1?r 即 qp? 时，甲先输光的概率为
cca
p
q
p
q
p
q )(1)()(
当 1?r 即 qp? 时，
甲先输光的概率为
c
b
当 qp? 时，乙输光的概率为
ca
p
q
p
q )(1)(1
当 qp? 时，乙先输光的概率为 ca首页例 3 排队问题顾客到服务台排队等候服务，在每一个服务周期中只要服务台前有顾客在等待，就要对排在前面的一位提供服务，若服务台前无顾客时就不能实施服务。
设在第 n 个服务周期中到达的顾客数为一随机变量 nY
且诸 nY 独立同分布：
)nkP Y k p（,?,2,1,0?k,1
k
kp
记 nX 为服务周期 n 开始时服务台前顾客数则有
0,
1,1
1
nn
nnn
n XY
XYX
X
若若此时 { nX,1?n } 为一马氏链，求其转移矩阵在第 n周期已有一个顾客在服务，到第 n+1
周期已服务完毕首页解 先求出转移概率
)0|0( 0100 XXPp )0(
0 YP 0
p?
)0|1( 0101 XXPp )1( 0 YP 1p?
)1|0( 110 nn XXPp )1|01( nnn XYXP
)0( nYP 0p?
)1|1( 111 nn XXPp )1|11( nnn XYXP
)1( nYP 1p?
)2|0( 120 nn XXPp )2|01( nnn XYXP
)1( nYP 0?
)2|1( 121 nn XXPp )2|11(
nnn XYXP
)0( nYP 0p?
)2|2( 122 nn XXPp )1( nYP 1p?
首页所以转移矩阵为
210
3210
43210
43210
1
00
0
ppp
pppp
ppppp
ppppp
P
首页说明：
二,基本性质性质 1 设 { 0,?nX
n } 为马氏链，其状态空间为 I,则
},,,{ 110 nn iXiXiXP
= }{ 0 iXP? }|{ 011 iXiXP
}|{ 1122 iXiXP }|{ 11 nnnn iXiXP
nXXX,,,10?
的联合分布可由初始分布及转移概率所决定，即有
},,,{ 110 nn iXiXiXP
niiiiii npppip 111 20 )( 首页则性质 2 设 { 0,?nX
n } 为马氏链，其状态空间为 I,
表明
},,|{ 11 mnmnnnnn iXiXiXP
}|{ 11 nnnn iXiXP
一个马氏链，如果按相反方向的时间排列，
所成的序列也是一个马氏链。
首页性质 3
设 { 0,?nX n } 为马氏链，其状态空间为 I,
表明 若已知现在，则过去与未来是独立的。
若 nrs0,则在 rr iX? 的条件下，有
}|,{ rrssnn iXiXiXP
= }|{ rrnn iXiXP }|{ rrss iXiXP
首页则性质 4 设 { 0,?nX
n } 为马氏链，其状态空间为 I,
表明 若已知现在，则过去同时对将来各时刻的状态都不产生影响。
},,|,,{ 0011 iXiXiXiXP nnmnmnnn
= }|,,{ 11 nnmnmnnn iXiXiXP
特别
},,|{ 00 iXiXiXP nnmnmn
= }|{ nnmnmn iXiXP首页则性质 5 设 { 0,?nX
n } 为马氏链，其状态空间为 I,
表明 马氏链的子链也是马氏链对任意给定的 n 个整数,nkkk210,有
},,|{ 1111 kkkkkk iXiXiXP nnnn
= }|{ 11 nnnn kkkk iXiXP
首页在马氏链的研究中，须研究“从已知状态 i出发，
经过 n次转移后，系统将处于状态 j”的概率,
三,n步转移矩阵
1,n步转移概率系统在时刻 m从状态 i经过 n步转移后处于状态 j的概率设 { 0,?nX n } 为齐次马氏链，其状态空间为 I,
}|{ iXjXP mnm Iji?.
称为 n步转移概率由于马氏链是齐次的，这个概率与 m无关所以简记为 )( nijp
首页显然有
2,n步转移矩阵
0)(?nijp,1)(
n
ij
Ij
p,Iji?.
由所有 n 步转移概率 )( nijp 为元素组成的矩阵
)( )( nijn pP? Iji?.
称为 n步转移矩阵规定
ji
jipP
ij,当
，当
0
1)( )0(
0
)()( )1(1 ijij ppP 首页
3．绝对概率公式定理 1 绝对概率由初始分布和 n维转移概率完全确定即有
)(
0 )()(
n
ij
Ii
n pipjp?
证 }{ jXP
n?
},{ 0 iXjXP n
Ii
}|{}{ 00 iXjXPiXP n
Ii
)(
0 )(
n
ij
Ii
pip?
注 若对定态分布，则
ij
Ii
pipjp )()(?
},{ 0 iXjXP
i
n
首页
4．切普曼 ---柯尔莫哥洛夫方程定理 2
则证设 { 0,?nX n } 为一个马氏链，具有初始分布 )(0 ip,Ii?
和 n 步转移概率 )( nijp,Iji?.,0?n,
)()()( m
kj
Ik
n
ik
mn
ij ppp?
)( mnijp }|{ 0 iXjXP mn
}|,{ 0 iXkXjXP nIkmn
}|,{ 0 iXkXjXP nmn
Ik
}|{ 0 iXkXP n
Ik
},|{ 0 kXiXjXP nmn
}|{}|{ 0 kXjXPiXkXP nmnn
Ik
)()( m
kj
Ik
n
ik pp?
首页注
（ 1）用一步转移概率表示多步转移概率
kj
Ik
ikij ppp?
)2(
jkkk
Ikk
ik
n
ij n
n
pppp?
21
1
1
,,
)1(?
（ 2 ） n 步转移矩阵 nP 与一步转移矩阵 1P 之间的关系
n
n PP 1?
首页注
（ 3 ） }{)( jXPjp nn 为元素的行矩阵记为
))(,),2(),1(()( NpppnP nnn I={1,2,…,N}
由矩阵的乘法规则，得
nPPnP )0()(?
表示：在时刻 n，各状态的概率等于其初始状态的概率与 n步转移概率矩阵之积。
若链是齐次的，则有
nPPnP 1)0()(?
首页例 4
甲、乙两人进行比赛，设每局比赛中甲胜的概率是 p，
乙胜的概率是 q，和局的概率是,（ ）。
设每局比赛后，胜者记,+1”分，负者记,—1”分，和局不记分。当两人中有一人获得 2分结束比赛。以表示比赛至第 n局时甲获得的分数。
r 1 rqp
nX
（ 1）写出状态空间； （ 2 ）求 2P ；
（ 3）问在甲获得 1分的情况下，再赛二局可以结束比赛的概率是多少？
首页解 （ 1）
记甲获得“负 2分”为状态 1，获得
“负 1分”为状态 2，获得,0分”为状态 3，
获得“正 1分”为状态 4，获得“正 2分”为状态 5，则状态空间为
}54321{,，，，?I
一步转移概率矩阵
10000
00
00
00
00001
1
prq
prq
prq
P
首页
（ 2）二步转移概率矩阵
212 PP?
10000
20
222
02
00001
22
222
22
rpppqrqrq
pprpqrrqq
pprpqrrpq
首页
（ 3）
在 2P 中 )2(45p 是在甲得 1 分的情况下经二步转移至 2 分从而结束比赛的概率；
)2(41p 是在甲得 1 分的情况下经二步转移至— 2 分 （即乙得 2 分）
从而结束比赛的概率。
所以题中所求概率为
)2(45p )2(41p? )1(0)( rprpp
返回首页第二节 马尔可夫链的状态分类一、相通与闭集
1．相通则称自状态 i可到达状态 j
如果对状态 i 和 j,存在某个 0?n,使 0)(?nijp
记为 ji?
如果 ji? 且 ij?
则称状态 i和状态 j相通记为 ji?
说明 如果自状态 i不能到达状态 j，
则意味着对于一切 0?n,有 0)(?nijp首页定理 1
在状态空间 I 中，相通关系,?,是等价关系即它满足
（ 1）自反性 ii?,（ 1)0(?iip ）
（ 2）对称性若 ji?,则 ij?
若 ki?,jk?,则 ji?
证
（ 3）传递性
（ 1），（ 2）显然，下证（ 3）
首页证 3
若 ki?,jk?
则由相通定义，
存在 0?m 和 0?n,使 0)(?mikp,0)(?nkjp
根据切普曼 ---柯尔莫哥洛夫方程，有
)()()( n
rj
m
ir
Ir
nm
ij ppp?
0)()( nkjmik pp
Ik?
即存在 0 nm,使 0)( nmijp所以有 ji?
同理可证若 kj?,ik?,则 ij?
首页说明按相通关系是等价关系，可以把状态空间 I 划分为若干个不相交的集合（或者说等价类），并称之为状态类。
若两个状态相通，则这两个状态属于同一类。
任意两个类或不相交或者相同。
2．闭集 设 C为状态空间 I 的一个子集，
若对任意 Ci? 和任意 Cj?有 0)(?nijp （ 0?n ），
则 C称为闭集注 1 若 C为闭集，则表示自 C内任意状态 i出发，始终不能到达 C以外的任何状态 j。
显然，整个状态空间构成一个闭集。
首页吸收态 指一个闭集中只含一个状态注 2 若状态空间含有吸收状态,那么这个吸收状态构成一个最小的闭集 。
3．不可约的若除整个状态空间 I 以外没有其它的闭集,
则称此马氏链是不可约的 。
如果闭集 C的状态都是相通的,则称闭集 C是不可约的 。
首页例 1
其一步转移矩阵为试研究各状态间的关系,并画出状态传递图 。
设马氏链 }0,{?nX n 的状态空间 I = { 0,1,2}
3
2
3
1
0
4
1
4
1
2
1
0
2
1
2
1
1
P
解 先按一步转移概率,画出各状态间的传递图首页
2/3
1/41/4
1/3
1/2
1/2
0 1 2
1/2
图 3---1由图可知 状态 0可到达状态 1,经过状态 1又可到达状态 2；
反之,从状态 2出发经状态 1也可到达状态 0。
因此，状态空间 I的各状态都是互通的。
又由于 I 的任意状态 i (i = 0,1,2)不能到达 I 以外的任何状态,所以 I是一个闭集而且 I 中没有其它闭集 所以此马氏链是不可约的。
首页例 2
其一步转移矩阵为试讨论哪些状态是吸收态,闭集及不可约链 。
解 先按一步转移概率,画出各状态间的传递图设马氏链的状态空间为 I = { 1,2,3,4,5}
00010
00001
00100
002/102/1
02/1002/1
1
P
首页
11
1/2 1/21/2 3
1
1/2
图 3---2
4
5
2
1
闭集,
由图可知 状态 3为吸收态且故 1C = { 3 } 为闭集
2C = { 1,4 }3C = { 1,3,4 }
闭集,闭集，
4C = { 1,2,3,4 }
其中 是不可约的。
1C,2C
又因状态空间 I有闭子集,故此链为非不可约链。
首页二、首达时间和状态分类
1,首 达时间 系统从状态 i出发,首次到达状态 j的时刻称为从状态 i 出发首次进入状态 j 的时间,
或称自 i 到 j 的首达时间 。
}0,,m i n { 0 njXiXnT nij,
如果这样的 n不存在，就规定
ijT
说明
ijT 是一个随机变量，它的取值是系统从状态 i 出发使 jX n? 的最小正整数 n 。
首页自状态 i出发，经过 n步首次到达状态 j 的概率自状态 i出发，经有穷步终于到达状态 j的概率注 1
}|{ 0)( iXnTPf ijnij
}{
1
)(
ij
n
n
ijij TPff
,{)( jXjXPf mnnij ； }|1,,2,1 0 iXnm
10 )( ijnij ff
首页对于首次到达时间表示从状态 i出发首次返回状态 i所需的时间相应的 便是从状态 i出发，经有限步终于返回状态 i的概率，
ijT 当 ji? 时
}1,,m i n { 0 niXiXnT nii,
iif
)(
1
n
ii
n
ii ff?
}{ iiTP
}|{ 0
1
iXnTP ii
n
首页
2．首次到达分解式定理 2
证对任意 Iji?,及 1?n,有
)()(
1
)( mn
jj
m
ij
n
m
n
ij pfp
设系统从状态 i经 n步转移到状态 j，
那么首次到达 j 的时间 nT ij?
由条件概率及马氏性得
}|{ 0)( iXjXPp nnij }|,{
01 iXjXmTP nij
n
m
}|,{ 0
1
iXjXmTP nij
n
m
}|{ 0
1
iXmTP ij
n
m
},,,,|{ 110 jXjXjXiXjXP mmn
}|{}|{ 0
1
jXjXPiXmTP mnij
n
m
)()(
1
mn
jj
m
ij
n
m
pf?
首页说明
( m =1,2,…,n) 的所有可能值进行分解，
定理 3
本定理表示 n 步转移概率 )( nijp 按首次到达时间 ijT = m
建立了 )( mijf 与 )( nijp 之间的关系公式
0?ijf 的充要条件是 ji?
证 充分性 设 ji?
则存在某 1?n,使 0)(?nijp
由定理 2得
0)()(
1
)(
mnjjmij
n
m
n
ij pfp
从而 )1(
ijf,)2(ijf,?,)( nijf 中至少有一个为正，
所以
0)(
1
m
ij
m
ij ff
首页必要性由定理 2得所以设 0?ijf因为 )(
1
m
ij
m
ij ff?
所以至少有一个 1?n,使 0)(?nijf
0)()0()()()(
1
)(
nijjjnijmnjjmij
n
m
n
ij fpfpfp
ji?
推论
ji? 的充要条件是 0?ijf 且 0?jif
首页
3．常返态与瞬时态则称状态 i为常返态则称状态 i为瞬时态注若 1?iif
若 1?iif
“常返”一词，有时又称“返回”、“常驻”或“持久”
“瞬时”也称“滑过” 或“非常返”
定理 4
若 1?iif,则系统以概率 1 无穷次返回 i ；
若 1?iif,则系统以概率 1 只有有穷次返回 i 。
证若 1?iif则系统从状态 i出发，经过有限次转移之后，必定以概率 1返回状态 i。
再由马氏性 系统返回状态 i要重复发生 首页这样,系统从状态 i出发,又返回,再出发,再返回,随着时间的无限推移,将无限次访问状态 i。
将,不返回 i”称为成功,
则首次成功出现的次数服从几何分布，
若 1?iif则每次回到 i 后都有正的概率 iif?1 不返回 i,
其均值为
iif?1
1,
这就是说平均回到 i 共
iif?1
1 次 就不再回到 i 了。
也就是说以概率 1只有有穷次返回 i。
首页定理 5
证令 n = 0,1,2,…
因此，从状态 i出发，访问状态 i的平均次数为
i 是常返态的充要条件是
0
)(
n
n
iip
iX
iX
I
n
n
n,当
，当
0
1
那么过程访问状态 i 的次数为?
0n
nI
E [ 访问状态 i 的次数 | iX?0 ]
iXIE
n
n 0
0
| ]|[ 0
0
iXIE
n
n
}|1{1 0
0
iXIP
n
n
}|{ 0
0
iXiXP
n
n
0
)(
n
n
iip
由定理 4，得证。 首页说明 本定理的等价形式：
i为瞬时态，当且仅当定理 6
证如果 i为常返态,且,则 j也是常返态 。
因由切普曼 ---可尔莫哥洛夫方程得上式两边对所有的 s相加,得
0
)(
n
n
iip
ji?
ji? 所以存在 0?m,0?n 使 0)(?mijp,0)(?njip
对于任意的 0?s,
)()()( sm
ij
n
ji
Ii
snm
jj ppp
)()()( m
lj
s
il
n
ji
IlIi
ppp
)()()( mijsiinji ppp?
)(
0
snm
jj
s
p
)()()(
0
m
ij
s
ii
n
ji
s
ppp?
)(
0
)()( s
ii
s
m
ij
n
ji ppp?
又因为 i为常返态,所以
)(
0
s
ii
s
p
首页故得从而 即状态 j也是常返态定理 7 所有常返态构成一个闭集证 设 i为常返态，
)(
0
snm
jj
s
p
)(
0
n
jj
n
p
如果 ji?,则 ij?,即 i和 j相通。
这是因为 若自 j出发不能到达 i，那么从 i出发到达 j后，就不能再返回 i，这与 i是常返态的 相矛盾。
1?iif
再由定理 6知,j也是常返态,这就是说，
自常返态出发，只能到达常返态，不能到达瞬时态。
故常返态全体构成一个闭集 首页
4,状态空间的分解如果已知类中有一个常返态，则这个类中其它状态都是常返的；
若类中有一个瞬时态，则类中其它状态都是瞬时态。
若对不可约马氏链，则要么全是常返态，要么全是瞬时态。
定理 8 任一马氏链的状态空间 I必可分解为
kCCCNI 21
其中 N是瞬时态集,?，，
21 CC 是互不相交的由常返态组成的闭集而且
（ 1 ）对每一个确定的 h,hC 内任意两个状态相通；
（ 2 ） hC 和 gC （ gh? ）中的状态不相同。
首页证 记 C为全体常返态所构成的集合，
则由定理 7知 C为闭集将 C按相通关系分类：
那么再从余下的状态中任取一个状态如此进行下去，
并且显然满足条件（ 1）和（ 2）。
CIN 为瞬时态全体在 C 中任取一个状态 1i,
凡是与 1i 相通的状态组成一个集合，记为 1C ；
在组成 1C 后，如果还有余下的状态，
2i
凡是与 2i 相通的状态组成一个集合 2C ；
就可将 C 分解成?，,21 CC 等集合之和，
首页
5,正常返态与零常返态平均返回时间 从状态 i出发，首次返回状态 i的平均时间称为状态 i平均返回时间,
根据的值是有限或无限,可把常返态分为两类：
设 i是常返态，
则称 i为正常返态；
)(
11
}{][ nii
n
ii
n
iii nfnTnPTE
若i?
若i?,则称 i为零常返态。
首页定理 9 设 i是常返态，则
（ 1） i是零常返态的充要条件是
（ 2） i是正常返态的充要条件是
0lim )( niin p
0lim )( niin p
证明 （略）
推论 如果 j 是零常返态,i 是任一状态，则
0lim )( nijn p证因为首页
)(
0
)()(0 kn
jj
n
k
k
ij
n
ij pfp
)(
1
)( kn
jj
N
k
k
ij pf
)(
1
)( kn
jj
n
Nk
k
ij pf
)(
1
)( kn
jj
N
k
k
ij pf
n
Nk
k
ijf
1
)(
固定 N,先令n,由定理 9，上式第一项有
0lim )(
1
)(
knjjN
k
k
ijn pf
又由于级数?
1
)( 1
k
ij
k
ij ff 收敛，故其尾部?
1
)(
Nk
k
ijf 当N 时趋于 0,
即第二项当N 时趋于 0,从而推论得证。
首页说明 用极限判断状态类型的准则
（ 2） i是零常返态
（ 2） i是正常返态
0lim )( niin p
（ 1） i是瞬时态?
)(
0
n
ii
n
p
（这时 0lim )( niin p ）
)(
0
n
ii
n
p
且
)(
0
n
ii
n
p
且
0lim )( niin p
首页定理 10
证明若 ji,为常返态，且 ji?,
则 ji,同为正常返或同为零常返设 ji,为常返态因为 ji?
所以存在正整数 k,m,使 0)(kijp,0)(jip
对于任意正整数 r,由切普曼 ---可尔莫哥洛夫方程得
)()()()()( rjjmjirjjkijmrkii ppppp
)()()()()( riikijriimjimrkjj ppppp
令r,得 )()( limlim r
jjr
mrk
iir pp
)()( limlim rii
r
mrkjj
r pp
由此可知
)(lim r
iir p 与
)(lim r
jjr p 或同为零，或同为正，
由定理 9知
ji,同为正常返或同为零常返首页
6．有限马氏链对有限状态的马氏链我们给出不加证明的性质定理 11 设 {?,2,1,0,?nX
n } 是状态空间 I 有限的马氏链，则
（ 1）瞬时态集 N不可能是闭集；
（ 2）至少有一个常返态；
（ 3）不存在零常返态；
（ 4）若链是不可约的，那么状态都是正常返的
（ 5）其状态空间可分解为
kCCCNI21
其中 N 是瞬时态集，
kCCC,，,?21
是互不相交的由正常返态组成的闭集。
首页例 3
转移矩阵已知马氏链 {?,2,1,0,?nX n } 的状态空间
}4,3,2,1{?I
0001
1000
0100
4
1
4
1
4
1
4
1
P
试对其状态分类。
解按一步转移概率，
画出各状态间的传递图 2
1/4
1 1
1/4 1/4
1
1/4
1
4
3
首页从图可知，此链的每一状态都可到达另一状态，即 4个状态都是相通的。
考虑状态 1是否常返,需要计算
11f,
4
1)1(
11?f
}1|1,1{ 012)2(11 XXXPf
}1|2,1{ 012 XXXP }1|3,{ 012 XXXP
}1|4,1{ 012 XXXP
}1,4|1{ 012 XXXP }1|4{ 01 XXP
4
1
4114 pp
首页类似地可求得所以
4
1
413413
)3(
11 pppf
4
1
41342312
)4(
11 ppppf
0)(11?nf （?,6,5?n ）
)(
11
1
11
n
n
ff?
14
1
4
1
4
1
4
1
于是状态 1是常返的。 又因为
2
5)(
11
1
1
n
n
fn?
所以状态 1是正常返的。
由定理可知，此链所有状态都是正常返的。
首页例 4 设马氏链的状态空间 I={0,1,2,…},其一步转移概率为其中试证此马氏链是一个不可约常返态链
pp ii 1,qp i?0,Ii?
10 p,1 qp
证 先证 I不可约设 i,j是 I中任意两个状态，
若 ji?,则有
jjii pppp 11?
即 ji?若 ji?,则有
jji ppppq 110?
即 ji?于是对于任意的 Iji?,，都有 ji?
首页类似地可证所以 即 I中任意两个状态都是相通的。
因此,I是一个不可约的闭集再证 I中状态 0是一个常返态：
由状态的转移规则，得
ij?
ji?
01210 qpppp n?
所以
)(
00
1
00
n
n
ff?
}0|{
000
1
XnTP
n
首页
}0|0,1,,2,1{ 0121
1
XXnXXXP nn
n
}1,0|2{}0|1{ 10201
1
XXXPXXP
n
}1,,0|0{ 10 nXXXP nn?
}1|2{}0|1{ 1201
1
XXPXXP
n
}1|0{ 1 nXXP nn
1
1
n
nqp
1
1
p
q
由定义知状态 0为常返态。
因此，由定理知 I中所有状态都是常返态。
故此马氏链为不可约常返链。
首页三、状态的周期与遍历
1．周期状态 对于任意的,令其中 GCD表示最大公约数
Ii?
}01{ )( niii pnG C Dd,
如果 1?id,
则称 为周期态，i
id 为周期如果 1?id
则称 为非周期态。
i
定理 12 设马氏链的状态空间为 I,Iji?,
（ 1 ）若 ji?,则 ji dd? ；
（ 2 ）若是不可约马氏链，且 0?iip,则此马氏链是非周期链。
首页证 所以存在正整数 m,n，使则有则有因此有
（ 1 ） 因为 ji?,
0)(?mijp,0)(?njip
)( nmiip? )( mijp? 0)(?njip所以
id 能整除 m + n
若对某一 0?s 有 0)(?sjjp,
)( snmiip )( mijp? )( sjjp 0)(?njip
所以 id 能整除 m + n + s,从而 id 能整除 s 。
ji dd?
类似地可证得
ij dd?
故
ji dd?
首页
（ 2）
所以因为对于 Ii? 有 0?iip,
1?id
从而 i为非周期态。
又因为马氏链不可约，
对于 Ii? 有 ji?,
所以 j也是非周期态，
从而该马氏链是非周期链。
2．遍历状态若状态 i是正常返且非周期，则称 i为遍历状态。
若马氏链 { nX } 的所有状态都是遍历的，
则称 { nX } 为遍历马氏链，简称遍历链首页例 5 设马氏链的状态空间 I = {0,1,2,…},转移概率为试讨论各状态的遍历性。
解 根据转移概率作出状态传递图
2
1
00?p,2
1
1,iip,2
1
0?ip,Ii?
…1/2 1/2 1/2
1/2 1/21/2
0 1 2
1/2
图 3---4
3
1/2
首页从图可知，对任一状态 都有,
故由定理可知,I 中的所以状态都是相通的，
Ii? 0?i
因此只需考虑状态 0是否正常返即可。
2
1)1(
00?f
4
1
2
1
2
1)2(
00f 8
1)
2
1( 3)3(
00f
…
故
1
2
1
1
00
n
n
f
从而 0是常返态。
又因为
n
n n
n nnf
2
1
1 1
)(
000?
所以状态 0为正常返。
又由于
021)1(00p
故状态 0为非周期的从而状态 0是遍历的。 故所有状态 i都是遍历的。 返回首页习题课
1．带有两个反射壁的随机游动如果状态空间 I = {0,1,2,…,m},移动的规则是：
（ 1） 若移动前在 0处,则下一步以概率 p向右移动一个单位,以概率 q停留在原处 （ p+q=1） ；
（ 2） 若移动前在 m处,则下一步以概率 q向左移动一个单位,以概率 p停留在原处；
（ 3） 若移动前在其它点处,则均以概率 p向右移动一个单位,以概率 q向左移动一个单位 。
设 表示在时刻 n质点的位置，则 {,}是一个齐次马氏链，写出其一步转移概率矩阵。
nX nX 0?n
首页
q
p
右反射壁
m-1 m
pq
左反射壁
1 20
pq
pq
pq
pq
pq
P
000000
000000
000000
000000
000000
1
首页
2．带有反射壁的随机游动设随机游动的状态空间 I = {0,1,2,… },移动的规则是：
（ 1） 若移动前在 0处,则下一步以概率 p向右移动一个单位,以概率 q停留在原处 （ p+q=1） ；
（ 2） 若移动前在其它点处,则均以概率 p向右移动一个单位,以概率 q向左移动一个单位 。
设 表示在时刻 n质点的位置，则 {,}是一个齐次马氏链，写出其一步转移概率。 nX nX
0?n
首页
pq
反射壁
1 2 30
000
000
000
1
pq
pq
pq
P
首页
3,一个圆周上共有 N格 （ 按顺时针排列 ）,一个质点在该圆周上作随机游动,移动的规则是：质点总是以概率 p顺时针游动一格,以概率 逆时针游动一格 。
试求转移概率矩阵 。 pq 1
0000
0000
0000
0000
0000
1
qp
pq
pq
pq
qp
P
},,2,1{ NI
首页
4,一个质点在全直线的整数点上作随机游动,移动的规则是：以概率 p从 i移到 i-1,以概率 q从 i移到 i+1,以概率 r停留在 i,且,试求转移概率矩阵 。1 qpr
000
000
1
qrp
qrp
P
},2,1,0,1,2,{I
首页
5,设袋中有 a个球,球为黑色的或白色的,今随机地从袋中取一个球,然后放回一个不同颜色的球 。 若在袋里有 k
个白球,则称系统处于状态 k,试用马尔可夫链描述这个模型 （ 称为爱伦菲斯特模型 ）,并求转移概率矩阵 。
解 这是一个齐次马氏链，其状态空间为
I={—a,—a+1,…,—1,0,1,2,…,a}
一步转移矩阵是
01000
1
0
1
00
0
2
0
2
0
00
1
0
1
00010
1
aa
a
a
a
a
a
a
a
P
首页
1/3 1/2
1
1/3
1/2
1
1/3
1 2 3
4
6,设马氏链的状态空间 I={1,2,3,4},其一步转移矩阵为解试对其状态分类。
0010
0
2
1
2
1
0
0001
3
1
3
1
3
1
0
1
P
按一步转移概率，画出各状态间的传递图它是有限状态的马氏链，故必有一个常返态，又链中四个状态都是互通的。因此，所有状态都是常返态，这是一个有限状态不可约的马氏链。
可继续讨论是否为正常返态 首页可讨论状态 1
1/3 1/2
1
1/3
1/2
1
1/3
1 2 3
4
0)1(11?f
3
1)2(
11?f
2
1
2
1
3
1
3
1)3(
11f
12
11
2
1
2
1
3
1)4(
11f
122
1
122
1
12
1
2
1
3
1
2
)(
11
1
11
n
n
ff
122
11
2
1
2
1
2
1
3
1)5(
11f
122
11
2
1
2
1
2
1
2
1
3
1
2
)6(
11f
1?
首页状态 1是常返态
)(
11
1
1
n
n
fn?
122 16122 1512 14213312 2
状态 1是正常返态所以,全部状态都是正常返态首页
7,设马氏链的状态空间 I={1,2,3,4,5},其一步转移矩阵为试研究各状态的类及周期性解
00001
00001
6.04.0000
8.02.0000
005.05.00
1
P
各状态间的传递图首页对于任意 有，
即 I为不可再分闭集。
所以 I中每一个状态都是常返态，
且此马氏链为有限状态不可约常返链。
0.4 0.2
1
1 0.50.5
0.80.63
1
25
4
Iji?,
ji?
1421 12.05.0 1521 18.05.0
1431 14.05.0 1531 16.05.0
所以状态 1的周期为 3，由定理知,I中所有状态都为周期态，且周期都为 3。因此，这个马氏链又是以 3
为周期的周期链。
又因为马氏链为有限状态不可约链，所以所有状态都是正常返状态。
首页
8,设马氏链的状态空间为 I = {1,2,3},其一步转移矩阵为试研究各状态间的关系。
解
100
05.05.0
05.05.0
1P
0.5
0.50.5
1 2
0.5 1
3
状态空间为 I 包含两个不相交子集 1C = { 1,2},2C = { 3 }
在 1C 中两个状态是互通的，在 2C 中状态 3 是吸收状态。
因此,1C,2C 都是闭集可继续讨论正常返 首页
9,设马氏链的状态空间为 I = {1,2,3,4},其一步转移矩阵为试研究各状态间的关系。
解
02.02.06.0
007.03.0
0001
0100
1
P
1
0.6 0.2
0.2
0.7
1
1 2
0.3
3
4
状态空间为 I分两个部分：
= {1,2,3},={4}
1C 2C
是闭集
1C
中状态 4可到达 中各状态，且它非吸收状态，
所以 不是闭集。
2C 1C
2C 返回首页第三节 平稳分布与遍历性一、平稳分布定义 1
其满足设马氏链有转移矩阵 )( ijpP?,
若存在一个概率分布 { )( i?,Ii? },
)( i
Ij
jipj )(?
则称 { )( i?,Ii? } 为马氏链 { 0,?nX n } 的平稳分布绝对分布 }{)( iXPip
nn,Ii?,0?n
定态分布 }{)( iXPip
n,Ii?,0?n首页绝对概率公式绝对概率由初始分布和 n维转移概率完全确定即
)(
0 )()(
n
ij
Ii
n pipjp?
注 若对定态分布，则
ij
Ii
pipjp )()(?
性质 1 定态分布一定是平稳分布性质 2 若初始分布是平稳分布，则绝对分布也是平稳分布证如果马氏链 { 0,?nX n } 的初始分布
}{)( 00 iXPip
是平稳分布,则
)(0 ip ji
Ij
pjp )(0?
首页从而得
}{)( iXPip nn )(
0 )(
n
ji
Ij
pjp?
)(
0 )(
n
ji
Ij
kj
Ik
ppkp
（初始分布为平稳分布）
)(
0 )(
n
jikj
IjIk
ppkp
)1(
0 )(
nki
Ik
pkp
（切普曼 ---可尔莫哥洛夫方程）
)(1 ip n
由上式得
)( ip n )()( 11 ipip n ji
Ij
pjp )(0?
)(0 ip?
于是这时绝对分布是定态分布，从而它也是平稳分布。
说明 具有平稳分布的马氏链在每一时刻处在状态 i的概率相等首页二、遍历性非周期、正常返状态为遍历状态定义 2
使得设马氏链 { 0,?nX n } 的状态空间为 I,
若对一切 Iji?,，存在不依赖于 i 的常数 )( j?,
)(lim )( jp nijn
则称此马氏链具有遍历性其中 )( nijp 是马氏链的 n 步转移概率马氏链的遍历性表明不论从哪一个状态 i出发，当转移的步数 n充分大时，转移到状态 j的概率都接近于正常数 )( j? 首页定理 1
则此马氏链是遍历的,且 中的是方程组设有限马氏链 { 0,?nX n } 的状态空间为 I = { 0,1,2,?,s }
如果存在正整数 0n,使对一切 Iji?,都有 0)( 0?nijp,
)(lim )( jp nijn )( j?
s
i
ijpij
0
)()(
j =0,1,2,…,s
的满足条件
0)(?j? 1)(
0
j
s
j
的唯一解注 1 定理表明不论从链中哪一状态 i出发，都能以正概率经有限次转移到达链中预先指定的其它任一状态。
定理给出了求平稳分布 的方法。)( j?注 2
首页例 1
其一步转移矩阵为试证此链具有遍历性，并求出平稳分布。
设马氏链 { 0,?nX n } 的状态空间 I = { 1,2,3 }
3
2
3
1
0
3
2
0
3
1
0
3
2
3
1
1
P
解 由于
212 )( PP
3
2
9
2
9
1
9
4
9
4
9
1
9
4
9
2
3
1
首页所以因此，该马氏链具有遍历性。 由定理 1得解得当 0n =2 时，对于一切 Iji?,,0)2(?ijp 。
1)3()2()1(
)3(
3
2
)2(
3
2
)3(
)3(
3
1
)1(
3
2
)2(
)2(
3
1
)1(
3
1
)1(
7
1)1(,
7
2)2(,
7
4)3(
所以马氏链的平稳分布为 X
)(i?
1 2 3
7
1
7
2
7
4
1))3(),2(),1(())3(),2(),1(( P
首页定理 2
（ 1）若状态是正常返，则该链存在平稳分布，
且平稳分布
（其中 是从状态 j出发首次返回状态 j的平均时间）
（ 2）若所有状态是瞬时态，或所有状态是零常返态，则不存在平稳分布。
（ 3） 若是有限马氏链,则一定存在平稳分布 。
（ 4） 绝对分布的极限是平稳分布,即设 { 0,?nX n } 是状态空间为 I 的不可约非周期马氏链，
}1{})({ IjIjj
j
,,
)()(lim jjp nn Ij?
j?
首页例 2 设有 6个球（其中 2个红球,4个白球）分放于甲、
乙两个盒子中，每盒放 3个，今每次从两个盒中各任取一球并进行交换，以 表示开始时甲盒中红球的个数,（ ）表示经 n次交换后甲盒中的红球数。
( 1 ) 求马氏链 {,}的转移概率矩阵；
0X
nX
1?n
nX
1?n
( 2 ) 证明 {,}是遍历的；
nX
1?n
（ 3）求
)(lim n
ijn p
2,1,0,?ji
（ 4）求 )(lim jp
nn
2,1,0?j
首页解其一步转移矩阵为
（ 1 ）因 nX 表红球数，所以状态空间 I = { 0,1,2}
3
1
3
2
0
9
2
9
5
9
2
0
3
2
3
1
1
P
甲 乙红球 0
白球 3
红球 2
白球 1
红球 1
白球 2
红球 1
白球 2
红球 2
白球 1
红球 0
白球 3 首页并作出状态传递图
1/3
2/9
5/9 2/3
2/9
1/3
0 1 2
2/3
（ 2）由于它是一个有限马氏链，故必有一个常返态，
又链中三个状态 0,1,2都相通，所以每个状态都是常返态。
所以是一个不可约的有限马氏链，从而每个状态都是正常返的。
所以此链为非周期的。
故此链是不可约非周期的正常返链，即此链是遍历的。
又由 03100p 首页
（ 2）可以利用定理证明遍历性
（ 3 ）由于 )(lim )( jp nijn （ 2,1,0?j ），
所以先求平稳分布 )( j?
2
2
12
3
1
3
2
0
9
2
9
5
9
2
0
3
2
3
1
PP
首页解之得
)2,1,0(,0)(
1)2()1()0(
)2(
3
1
)1(
9
2
)2(
)2(
3
2
)1(
9
5
)0(
3
2
)1(
)1(
9
2
)0(
3
1
)0(
jj?
5
1)0(,
5
3)1(,
5
1)2(
故得
0
)(
0
1lim
n
in p 5
1)0(
1
)(
1
1lim
n
in p 5
3)1( 首页
（ 4）
5
1)0(
5
3)1(
2
)(
2
1lim
n
in p 5
1)2(
)0(lim nn p
)1(lim nn p
)2(lim n
n
p
5
1)2(
首页例 3 市场占有率预测设某地有 1600户居民，某产品只有甲、乙、丙 3厂家在该地销售。经调查,8月份买甲、乙、丙三厂的户数分别为 480,320,800。 9月份里，原买甲的有 48户转买乙产品，有 96户转买丙产品；原买乙的有 32户转买甲产品，有 64户转买丙产品；原买丙的有 64户转买甲产品，有 32户转买乙产品。用状态 1,2,3分别表示甲、乙、丙三厂，试求
（ 1） 转移概率矩阵；
（ 2） 9月份市场占有率的分布；
（ 3） 12月份市场占有率的分布；
（ 4） 当顾客流如此长期稳定下去市场占有率的分布 。
首页解 （ 1） 由题意得频数转移矩阵为再用频数估计概率，得转移概率矩阵为
7 0 43264
642 2 432
96483 3 6
N
88.004.008.0
2.07.01.0
2.01.07.0
1P
（ 2）以 1600除以 N中各行元素之和，得初始概率分布
（即初始市场占有率）
)5.02.03.0(),,()0( 321 pppP
首页所以 9月份市场占有率分布为
（ 3） 12月份市场占有率分布为
1)0()1( PPP? )5.02.03.0(?
88.004.008.0
2.07.01.0
2.01.07.0
)54.019.027.0(?
4
1)0()4( PPP?
)5.02.03.0(?
4
88.004.008.0
2.07.01.0
2.01.07.0
)5 9 8 3.01 6 9 8.02 3 1 9.0(?
首页
（ 4）由于该链不可约、非周期、状态有限正常返的，所以是遍历的。
解方程组
1
88.02.02.0
04.07.01.0
08.01.07.0
321
3213
3212
3211
即得当顾客流如此长期稳定下去是市场占有率的分布为
)625.0156.0219.0(),,( 321
返回首页讨论对时间连续状态离散的马尔可夫过程,
取时间参数,状态空间 I={0,1,2,… }
第四节 时间连续的马尔可夫链一、定义及性质时间连续的马尔可夫链
0?t
设随机过程 { )( tX,0?t } 的状态空间为 I,
若对所有的 s,0?t,及 Iji?，,)( ux,su0,有
isXjstXP )(|)({,)()( uxuX?,su0 }
})(|)({ isXjstXP
转移概率 })(|)({),( isXjstXPstsp ij
首页齐次马氏链转移概率仅由 t决定而与 s无关
2．性质性质 1
)(),( tpstsp ijij
设 { )( tX,0?t } 是状态空间为 I 时间连续的齐次马氏链
)( tp ij 对 Iji?,和 0?t,0,满足
（ 1 ） 0)(?tp ij
（ 2 ） 1)(
tp ij
Ij
（ 3 ） )()()( kjik
Ik
ij ptptp?
切普曼 ——柯尔莫哥洛夫方程首页性质 2
连续时间齐次马氏链的有限维概率分布由它的初始分布和转移矩阵所确定注性质 3
对任意 nttt100,Iiii n?,,,10?,有
00 )({ itXP?,11 )( itX?,?,nn itX?)( }
)()(})({ 10100 110 nniiii ttpttpitXP nn?
对任意 210 tt,Iiii?,,21,有
11 )({ itXP? | 22 )( itX?,itX?)(,2tt? }
= 11 )({ itXP? | 22 )( itX? }
注 对时间来说是可逆性首页性质 4
已知现在，那么过去与将来是独立注性质 5（遍历性定理）
马尔可夫定理设 {,}是状态空间 I={0,1,2,…,s} 的时间连续的齐次马氏链，
对任意 3210 ttt,Iiii?321,,，有
1133 )(,)({ itXitXP | 22 )( itX? }
= 2233 )(|)({ itXitXP } 11 )({ itXP? | 22 )( itX? }
)(tX 0?t
若存在 00?t
使对于一切 Iji?,都有 0)( 0?tp ij,则
)()(lim jtp ijt 存在且与 i 无关，
其中 )( j? （ j = 0,1,2,?,s ）是方程组首页的满足条件的唯一解。
例 1
)()()(
0
tpij
s
i
ij?
0?t
0)(?j?
1)(
0
s
j
j?
考虑一个电话总机接到的呼唤流，以 表示这个总机在 [0,t]中接到的呼唤次数，由于呼唤流在不相交的时间区间中接到的呼唤次数是相互独立的，且 服从泊松分布，所以 是一个时间连续状态离散的马氏过程，而且是齐次的。写出它的转移概率。
)(tX
)(tX )(tX
首页当呼唤次数 时 转移概率当 时其状态空间 I={0,1,2,…}
ji?
)( tp ij 正是在 t 这段时间内发生 ij? 次呼唤的概率
t
ij
ij eij
ttp
)!(
)()( 0
ji? 0)(?tp ij
转移概率为
ji
jie
ij
t
tp
t
ij
ij
0
)!(
)(
)(
首页
1．随机连续则称 { }是随机连续的。
定理 1
二、可尔莫哥洛夫微分方程时间连续的齐次马氏链 {,}是随机连续的充要条件为：对任意的,有设 { )( tX,0?t } 是时间连续的齐次马氏链，
若对任意 0,Ii?,有
0})0(||)()({|lim 0 iXtXhtXPh?
)(tX
)(tX 0?t
Iji?，
ijijh hp )(lim 0
ji
ji
,0
1,
随机连续直观意义 当系统经过很短时间，其状态几乎不变。
首页标准转移概率若时间连续的齐次马氏链是随机连续的，
则称其转移概率是标准的。
并且满足性质,
2．转移概率的性质性质 1
对任意 Ii?,有 0)(?tp ii （ 0?t ）
性质 2
若有 00?t,使 0)( 0?tp ij,则 0)(?tp ij
定理 2 对任意 Iji?，,ji?,)( tp
ij 满足
（ 1 ） iii
t
qt tp
)(1lim
0
,（ iq0 ）
并且对任意,
有 0?t
i
ii q
t
tp )(10 首页
（ 2）对时间连续的齐次有限马氏链，,有若注 1
推论则对任意,有
（ 2 ） ijij
t
qt tp?
)(l i m
0
,（ijq ）
（ 1 ）对任意 Ii?,iij
ji
0
Ii?
iij
ji
0?iq Ii?
1)(?tp ii
即 为吸收态i
首页等价它表明系统从状态 i出发，是继续留在状态 i，还是跳跃到状态 j，在不计一个高阶无穷小时，决定于 与注 2
i
ii
t
qt tp
)(1lim
0
ij
ij
t
q
t
tp?
)(lim
0
当 || t 较小时
tqtp iii 1)( + )( t?
等价
tqtp ijij?)( + )( t?
iq ijq
跳跃强度 与 称为跳跃强度
iq ijq
3．密度矩阵 由跳跃强度 构成的矩阵
ijq
)( ijqQ? （iiq iq ）
称为时间连续马氏链的密度矩阵，或称 Q 矩阵首页若对一切,有由定理 2推论可知也称时间连续马氏链是保守的。
矩阵保守时间连续的齐次有限马氏链是保守的。
Ii?
4、可尔莫哥洛夫定理
Q
iij
ji
则称 Q 矩阵为保守的设 { )( tX,0?t } 是时间连续的齐次马氏链，
对任意 Iji?,和 0?t,则首页
kjik
k
ij qtptp )()(
}{s u p i
i
q
)()( tpqtp kjik
k
ij
成立的充要条件为密度矩阵 )( ijqQ? 是保守的。
推论绝对概率 )( tp j 满足下列方程
kjk
jk
jjj qtpqtptp )()()(?
(1)
(2)
注 1 （ 1）与（ 2）两式分别称为可尔莫哥洛夫向前方程和向后方程,其矩阵形式
QtPtP )()(
)()( tQPtP
（向前方程）
（向后方程）
首页对时间连续齐次有限马氏链，向前方程和向后方程均成立，且有如何求注 2
在实际问题中往往是很困难。
但考虑到密度矩阵,是由在 的导数组成,即
QtPtP )()( )( tQP?
)(tP
)( ijqQ? )()( ijptP?
0?t )0(PQ
所以实际问题中先得到,再算)(
ijq )(tP
注 3 费勒已经证明了向后方程与向前方程有同一解 )(tp
ij
但具体应用哪一个方程组求解，要看具体问题而定。
首页设 状态空间 I={0,1}时间连续马氏链而由状态 1转到 0的概率为且规定在 时间内，由状态 0转到 1的概率为例 2 两状态链试求时间 t时的转移概率
{ )( tX,0?t }
t?
)(1)(01 ttetp t
)(1)(10 ttetp t
)( tp ij （ 1,0,?ji ）。
首页解类似地
t
tpq
t?
)(1lim 00
00 t
e t
t?
1
lim
0
t
tt
t
)(lim
0
t
tpq
t?
)(lim 01
001
t
tt
t
)(lim
0
101 qq
所以密度矩阵
Q
于是相应的可尔莫哥洛夫前进方程是
QtPtP )()(
即 首页据题意 有初始条件解上列微分方程，可得满足此初始条件的解。
例如求
)()()( 010000 tptptp
)()()( 010001 tptptp
)()()( 111010 tptptp
)()()( 110111 tptptp
1)0()0( 1100 pp 0)0()0( 1001 pp
)()()( 000100 tptptp
由 得 )(1)( 0001 tptp 首页因此或于是故由 得
)()()( 0000 tptp
tt etptpe )(0000)( )]()()([
tt etpe
dt
d )(
00
)( )]([
Cetpe tt )(00)( )(
1)0(00?p
1C
tetp )(
00 )(
首页类似地可解得三、生灭过程生灭过程是一类特殊的连续马氏链，它有许多重要的应用。
)1()( )(01 tetp
)1()( )(10 tetp
tetp )(
11 )(
首页设有同一类型的个体组成的一群体，
其每一个体在任意时间 内，
并设每一个体在此时间内也会死亡，且寿命服从参数为 的指数分布。
t?
繁殖一个新个体的概率是 )( tti （ 0?i? ），
繁殖两个以上个体的概率是 )( t ；
0?i?
若令 )( tX 表示群体在 t 时刻的个体数，
则随机过程 { )( tX,0?t } 是时间连续的齐次马氏链。
模型含义首页若它的转移概率满足则称此链为齐次生灭过程生率和灭率设 { )( tX,0?t } 是状态空间为 I 的时间连续的齐次马氏链，
)()(1 tttp iii 0?i?
)()(1 tttp iii （ 0?i?,00 ）
)()(1)( tttp iiii
)()( ttp ij 2|| ji
其中 0?i?,0?i? 分别称作过程的生灭过程定 义首页纯生过程纯灭过程由定义中的转移规则知，生灭过程的状态是互通的，
并且在长为 的一小段时间内，若不计高阶无穷小，状态转移只有三种可能：
0?i? 1?i
0?i? 1?i
t?
（ 1 ）状态由 i 变到 1?i,即增加 1
把 理解为 t时刻某群体的个体总数，这时经过了生出了一个个体)(tXt?
其概率为 ti ；
（ 2 ）状态由 i 变到 1?i,即减少 1其概率为 t
i ；
理解为经过了,死去了一个个体t?
（ 3 ）状态保持不变，其概率为 tii )(1
首页密度矩阵由即
i
ii
t
qt tp
)(1lim
0
ij
ij
t
q
t
tp?
)(lim
0
iiiq 1 （ 0?i? ）
可得
iiiq 1 （ 0?i? ）
iiq )( iiiq 0?ijq,1|| ji
)(00
)(0
0)(
00
333
2222
1111
00
Q
首页可尔莫哥洛夫向前方程是向后方程是
)()()( 11000 tptptp iii
)()()()()( 1111 tptptptp ijjijjjijjij 1?j
)()()( 10000 tptptp jjj
)()()()()( 11 tptptptp jiiijiijiiij 1?i
ijii
j
j
ppp
ppp
ppp
P
10
11110
00100
QtPtP )()(
)()( tQPtP
)(00
)(0
0)(
00
333
2222
1111
00
首页假定平稳分布由
}0,{?ip i
kjk
jk
jjj qtpqtptp )()()(?
可得 0
1100 pp
0)( 1111 iiiiiii ppp 1?i
当 0?k,2,1?k 时，可求得
0
1
0
1 pp?
0
21
10
2 pp
0
21
110 pp
k
k
k
由
1
0
k
k
p
可知
1
21
110
1
0 1
）（
k
k
k
p
首页定理 4
若其密度矩阵可表示成其中设 { )( tX,}0?t 是状态空间为 I 的马尔可夫过程，
其转移概率矩阵 )( ijpP?
)(00
)(0
0)(
00
333
2222
1111
00
Q
00,0?i?,0?i? （?,2,1?i ）
则 是生灭过程。{ )( tX,}0?t 首页
