第二章 Markov过程
6 参数连续状态离散的马氏过程
（一）参数连续状态离散的马氏过程的转移概率
定义：设是取值于状态空间的随机过程，是有限或无限可列的，如果对于任意的正整数，任意的，及任意的状态，均有：
则称此随机过程为参数连续状态离散的马氏过程（纯不连续了马氏过程）。
对于纯不连续马氏过程，有：
记：
称此条件概率为纯不连续了马氏过程的转移概率。
显然有：
如果仅为时间差的函数，而与和的值无关，则称此纯不连续了马氏过程为齐次的。此时
我们主要讨论齐次纯不连续了马氏过程。
C－K方程：
一般情形：
齐次情形：
连续性条件：
满足连续性条件的马氏过程称为随机连续的马氏过程。
注：固定时，可以证明齐次纯不连续，并且随机连续的马氏过程的转移概率是关于的一致连续函数，并且是可微的。
（二）无穷小转移率及转移率矩阵（矩阵）
取任意充分小的，由连续性条件及注，我们有：
即：
我们称为无穷小转移率或跳跃强度，显然有：
即有：
由及上面的式子，有：
两边求极限，即有：
当状态是有限的时候，我们可以定义一个矩阵如下：
称为转移率矩阵或矩阵。
注：当状态为无限可列时，也可以定义形式上的矩阵。
（三）Kolmogrov—Feller前进方程
由C－K方程，取任意充分小的，有：
由：
有：
即有：
令，我们有：
由初始条件：
即可解得上面的方程组。
当状态有限时，我们令：
则有：
进一步，若记：
则有：
此即为Kolmogrov—Feller前进方程。
（四）Kolmogrov—Feller后退方程
根据C－K方程，取任意充分小的，有：
由：
得：
令，我们有：
当状态有限时，记：
则有：
初始条件为：
上面的方程组即为Kolmogrov—Feller后退方程
（五）Fokker-Planck方程
讨论有限状态的情形，令：
过程的初始分布为：
设在时刻时，过程所处各状态的概率分布为：
则有：
即有：
即有：
因此，得：
此即为Fokker-Planck方程，其初始条件为
解此方程可得任意时刻该过程的一维概率分布。
（六）例子
例1 设有参数连续、状态离散的马氏过程，状态空间为：，当时，，，求。
解：由K－F前进方程，可知：
由
可知
因此，我们有：
解此微分方程，得：
利用初始条件：
可得：
例2 （排列问题）设有一服务台，内到达服务台的顾客数是服从Poission分布的随机变量。单位时间到达服务台的平均人数是。服务台只有一个服务员，对顾客服务时间是按负指数分布的随机变量，平均服务时间为。如果服务台空闲时，到达的顾客立刻得到服务；如果顾客到达时服务员正在为另一顾客服务，则他必须排队等候；如果顾客到达时发现已经有二人在等候，则他就离开不再回来。设代表在时刻系统内顾客人数（包括正在被服务的顾客和排队等候的顾客）。假设系统在时处于零状态，即服务人员空闲。求时刻系统处于状态的无条件概率所满足的微分方程。
解：（1）写出状态空间：
（2）求矩阵：
（a）当时，在内到达一个顾客的概率为：
在内到达二个或二个以上的顾客的概率为：
因此
由：
可得：
（b）当时，表示在时刻有一个顾客正在备服务。由指数分布的无记忆性，可知，在内完成服务的概率为：
由此可知，在时间内系统由1状态转入到0状态的概率为：
故
在时间内系统由1状态转入到2状态的概率为：
故
同理：
（c）当时，系统不再接受新顾客，此时，状态只可转到2或仍在3。当时，在时间内完成服务的概率为：
因此
于是可得矩阵如下：
（3）写出方程
初始条件为：
习题：P232：15、16。
