第二章 Markov过程 8．纯不连续马氏链的极限性质 （一）纯不连续马氏过程的离散骨架 记，，称，为纯不连续马氏过程在时刻的分布，称为初始分布。 注意：任意个时刻的联合分布率可由和唯一确定，且有关系：  定义：对于纯不连续马氏过程，任取，记：  则是一离散时间的马氏链，称为以为步长的离散骨架，简称骨架。它的步转移概率矩阵为。 对于满足连续性条件的齐次纯不连续马氏过程，有以下结论： 命题：，有。 证明：由，及连续性条件，可知： 对任意固定的，当充分大时，有，由C－K方程有：  因此可得：  由此命题可知：对所有的及正整数，及，有，这意味着对每一个离散骨架，每一个状态都是非周期的。因此对于纯不连续的马氏过程，无需引入周期的概念。 定义：若存在，使得，则称由状态可达状态，记为；若对一切，有，则称由状态不可达状态；若且，则称状态与相通，记作。 由上面的命题可知，，因此相通是一等价关系，从而可以相通关系对状态空间分类。相通的状态组成一个状态类。整个状态空间是一个状态类，则称该纯不连续马氏过程是不可约的。 定义：（1）若，则称状态为常返状态；否则称状态为非常返状态。 （2）设为常返状态，若，则称状态为正常返状态；若，则称状态为零常返状态。 （3）若概率分布，满足：  则称为的平稳分布。 （4）若对，存在，则称为的极限分布。 与马氏链的讨论类似，我们有： 定理：不可约纯不连续马氏过程是正常返的充分必要条件是它存在平稳分布，且此时的平稳分布就是极限分布。 下面讨论和的极限性质，讨论状态空间有限且各状态都相通的情形。状态无限可列的情形有类似的结果。 （二）极限性质 命题：当时，趋于一个与初始分布无关的极限的充分必要条件是对任何状态趋于同一极限。 证明：设初始分布为，由全概率公式有：  “”：若时，趋于一个与初始分布无关的极限，即当时，  特别地取一种初始分布，我们有：  因此有：  （极限与无关） “”：若，则对于任意的，有：  定理：（Markov定理）对于状态有限的纯不连续马氏过程，若使得对于有，那么极限存在且与无关。 由上面的定理和命题，我们可知，对于纯不连续马氏过程，如果存在一个，使得对于有，则。 此时，我们有：  根据K－F前进方程  两边求极限，有：  因此，解以下的联立方程组：  即可求得当时过程取各个状态的极限概率。 （三）例子 例：（机器维修问题）设某机器的正常工作时间时一负指数分布的随机变量，它的平均正常工作时间为；它损坏后修复时间也是一负指数分布的随机变量，它的平均修复时间为。如果该机器在时是正常工作的，问在时该机器处于正常工作状态的概率是多少？长时间工作下去，机器处于正常状态的概率如何？ 解：（1）写出状态空间：记机器正常工作状态为0，维修状态为1，则状态空间为。 （2）求出矩阵：由指数分布的“无记忆性”，可求得矩阵为：  （3）写出前进或后退方程及初始条件：  （4）解上面的微分方程：  由：  可求得：  （5）极限性态：根据以上所求，求极限即有：  另外：根据上面极限性态讨论，由：  同样可以求得：  习题讲解：