第二章 Markov过程 9．应用问题 几种重要的纯不连续马氏过程 Poission过程（专门讲解） 纯增殖过程（人口问题） 纯增殖过程的转移概率为：  即在纯不连续增殖过程中，如果在内出现个个体的条件下，在内出现一个新个体的概率为，出现二个或二个以上新个体的概率为，没有出现新个体的概率为。 纯增殖过程的状态空间为 关心的问题是：在时刻，系统具有个个体的概率是多少，即要求：  假定初始（）时系统有个个体，，即，并假定（与无关），我们来求。 我们注意到：在内出现个个体可以等价于下列不相容的情况之和：（a）在内出现个个体，在内出现0个个体；（b）在内出现个个体，在内出现1个个体；（c）在内出现个个体或个体以下，在内出现2个个体或2个个体以上，因此有：  因此有：  同理，有：  即有：  用Laplace变换解此微分方程可得：  生灭过程 定义：纯不连续马氏过程如果满足： 过程中状态转移仅限于从一个状态向其邻近状态转移； 若，则在内产生由状态转移到状态的概率为：；产生由状态转移到状态的概率为：； 若，则在内转移二个或二个以上状态的概率为。 则称此纯不连续马氏过程为生灭过程。 状态空间为 由定义，可得生灭过程的（生灭矩阵）矩阵为：  在条件，，（）下，有：  因此，可知对，有，从而这样的生灭过程是不可约的。 由生灭矩阵可以写出K－F前进方程：  (A) Fokker-Planck方程：  其中。以上的（）均可以是的函数。 如果的极限分布存在，即，且与无关，则有，因此在Fokker-Planck方程中令，有：  解以上代数方程组得：  利用：，我们有：  由此可知，当  时，，因此可得以下定理： 定理：设时生灭过程，，，，则存在唯一的平稳分布（它就等于极限分布）的充要条件为：  且  给定起始状态，就可以求得过程在时刻处于状态的概率，初始条件为：  如果均是的函数，则上述过程称为非齐次生灭过程； 如果均是的线性函数，则称为非齐次线性生灭过程； 如果均与的无关，则上述过程称为齐次生灭过程。 特别地，假设，此时过程是非齐次线性生灭过程，关于此情况时的微分方程（A）的解法（用母函数求解法）可以看P179（课后阅读）。 当（与无关），此时过程是齐次线性生灭过程，对于此时，我们可以求，具体求法如下： 此时的生灭矩阵为  写出福克－普朗克方程：  令： 则有：  由于：   因此：  即有：  利用初始条件：，即可求得：  由上面求解过程可以看到，一般来说，解前进方程、后退方程和福克－普朗克方程是比较困难的，有时根本无法求得。但是，如果只要研究时的极限情况，我们就可以利用上面8（二）中提到的方法，将微分方程求极限后，转化为解线性代数方程组，下面通过例子说明具体的求法。 例：（电话交换问题）某电话总机有条线路。在某一呼唤来到时如有空闲线路，则该呼唤占用其中某一条空闲线路，并开始通话。如果通话结束，则该线路使用完毕而称为空闲线路，等待下一次呼唤。如果呼唤来到时遇到条线路均被占用，则该呼唤招到拒绝而消失。设有按poission分布的呼唤流，即在内来到一次呼唤的概率为，来到二次或二次以上的呼唤的概率为；并设如果某一线路在某时刻被占用，而在内这条线路空闲出来的概率为，即通话时间按负指数分布。求总机在时刻有条线路被占用的概率？以及当时，有条线路被占用的概率？ 解：此时的状态空间为，，并且是一生灭过程，生灭矩阵为：  写出福克－普朗克方程：  令：，我们有：  设：，则有：  因此 故有：  利用： 可得：  画出转移率转移图，注意用极限平衡原理求解。 几种特殊的生灭过程： 有迁入的线性增长模型：此时，（见习题17）； 纯生过程（Yule过程）：此时； 纯灭过程：此时，（见习题18）； 排队和服务问题 任何排队过程都由3个历程组成：到达过程、排队和服务过程。根据这三个历程不同可以建立不同的概率模型，如M / M / 1和M / M / s及一般的G1 /G2 / s模型，对于排队和服务问题，我们所关心的是： 服务系统中顾客的平均数 排队等候的顾客平均数 顾客在系统中所花费时间的平均数 顾客化在排队等候的时间平均值 下面通过例子讨论以上几个问题。 例 无容量限制的M / M / 1排队系统，该系统的顾客到达服从Poission分布，只有一个服务员，服务时间服从负指数分布，且都是独立的。 解：考虑系统进入平稳分布情况。此时是情况的生灭过程。 根据上面的解法，我们有： 当时，有平稳分布，且平稳分布为：  系统中顾客的平均数为：  排队等候的顾客平均数为： 当系统中有个人，其中一人被服务，人排队等候，排队等候的顾客平均数为：  顾客在系统中所花费时间的平均数： 若顾客A到达服务点时系统中已有人，其中一人在被服务，人在排队等候；由服务时间是负指数分布（无记忆性）和每个顾客的服务时间之间的独立性，故顾客A到达服务点后需要等候平均时间后才能得到服务，本人的平均服务时间为，因此有：  顾客花在排队等候的时间平均值  例 有容量限制的M / M / 1排队系统：即如果顾客到达时发现系统容量已满（N人），则该顾客就不再排队而离开。此时有N+1个状态，其它假设和上例一样。 解：此时的状态空间为：。 画出转移率图，建立系统到达平稳分布后相应的平衡方程组：  解此方程组得：  由：  可以求得：  因此，在容量有限的M / M / 1排队系统中，不用假设。 计算系统中顾客的平均数：  计算等候的顾客平均数：  顾客在系统中所花费时间的平均数： 注意：此时有两种不同的计算方式。 一种是将所有到过系统的人都计算在内，此时有：  另一种只计算进入系统的顾客在系统中所花费时间的平均数，此时有：  其中表示一条件概率，即已知系统的状态为非时系统处于状态的条件概率，。 （三）机器维修问题 设有一具有台机器的系统，机器在运行过程中的任何时候都可能发生故障而需要维修。每台机器从开始工作到需要维修的时间间隔是服从负指数分布的随机变量，且机器在时刻处于工作状态，而在内需要维修的概率为；反之，每台机器维修的时间也服从负指数分布，且机器在时刻处于维修状态，而在内机器维修完成恢复工作状态的概率为。 如果为了管理此系统仅配备一名维修工，那么当有一台机器发生故障时，该机器立刻得到维修；当维修工正在维修某一台机器时而另外有一机器发生故障时，新发生故障的机器排队等候维修。若发生故障的机器有台，则其中一台正在被维修，台参与排队等候维修。此时称该系统处于状态；若所有机器处于工作状态，则称该系统处于0状态。 因此系统的状态空间为：。它是一生灭过程，其中：   画出状态转移率图，类似的可以讨论系统不工作机器的平均数、等待维修的机器的平均数等问题。 另外，如果维修人员不是一个，而是多人的情况时，也可以类似地讨论，还可以考虑同一系统用几个维修人员比较合理的问题，等等。（见书P211－217，课后阅读） 习题：P233－235：17、19、24、26。