第二章 Markov过程
本章我们先讨论一类特殊的参数离散状态空间离散的随机过程，参数为，状态空间为可列或有限的情况，即讨论的过程为Markov链。Markov链最初由Markov于1906年引入，至今它在自然科学、工程技术、生命科学及管理科学等诸多领域中都有广泛的应用。之后我们将讨论另一类参数连续状态空间离散的随机过程，即纯不连续Markov过程。
Markov链的定义
定义：设随机序列的状态空间为，如果对，及，有：
(A)
则称为Markov链。
注1：随机序列也可记为。
注2：等式（A）刻画了Markov链的特性，称此特性为Markov性或无后效性，简称为马氏性。Markov链也称为马氏链。
定义：设为马氏链，状态空间为，对于，称
为马氏链在时刻的一步转移概率。若对于，有
即上面式子的右边与时刻无关，则称此马氏链为齐次（或时齐的）马氏链。
对于齐次马氏链，我们记，称矩阵为齐次马氏链的一步转移概率矩阵，简称为转移矩阵。
注3：对于马氏链，我们有：
因此，只要得到了马氏链的一步转移概率及初始分布，就可以求得马氏链的任意前维的联合分布。特别地，若马氏链是齐次的，则由转移矩阵及初始分布，就可以得到齐次马氏链的任意前维的联合分布。
注4：一步转移概率满足：
注5：若状态空间是有限的，设状态数为则一步转移矩阵是阶方阵，若状态是无限可列的情形，则一步转移矩阵只是形式上的矩阵。
普曼－柯尔莫哥洛夫（C－K）方程
（一）步转移概率的定义
定义：称为马氏链的步转移概率。在齐次马氏链的情况下，与无关，我们记为，称
为齐次马氏链的步转移（概率）矩阵。
显然有：
时，即为一步转移矩阵。
规定：
（二）切普曼－柯尔莫哥洛夫（C－K）方程
定理：对于步转移概率有如下的C－K方程：
对于齐次马氏链，此方程为：
（C－K方程）
证明：由全概率公式，有：
对于齐次马氏链的情形：我们可以写成矩阵的形式即有：
由此推出：
其中：
由此可知：对于齐次马氏链，如果知道了它的初始分布和一步转移矩阵，就可以求得的所有有限维概率分布。即有：
上式中各步转移概率均可由C－K方程求出，利用一步转移矩阵及初始分布就可以完全确定齐次马氏链的统计性质。
马氏链的例子
随机游动：
无限制的随机游动：
以表示时刻时质点所处的位置，则是一齐次马氏链，其状态空间为，一步转移概率为：
现在求步转移概率：
设次转移中向右次，向左次，则有
即有：
带有一个吸收壁的随机游动：
特点：当时，就停留在零状态。
此时是一齐次马氏链，其状态空间为，一步转移概率为：
注意；状态为马氏链的吸收状态的充要条件是：。
带有二个吸收壁的随机游动：
此时是一齐次马氏链，状态空间为，为两个吸收状态，它的一步转移概率为：
即有：
带有一个反射壁的随机游动：
特点：一旦质点进入零状态，下一步它以概率向右移动一格，以概率停留在零状态。
此时的状态空间为，它的一步转移概率为：
带有二个反射壁的随机游动：
此时的状态空间为，它的一步转移概率矩阵为：
即有：
排队模型
离散排队系统
考虑顾客到达一服务台排队等待服务的情况。
若服务台前至少有一顾客等待，则在单位时间周期内，服务员完成一个顾客的服务后，该顾客立刻离去；若服务台前没有顾客，则服务员空闲。
在一个服务周期内，顾客可以到达，设第个周期到达的顾客数是一个取值为非负整数的随机变量，且相互独立同分布。在每个周期开始时系统的状态定义为服务台前等待服务的顾客数。若现在状态为，则下周期的状态应该为：
其中为该周期内到达的顾客数。
记第个周期开始的顾客数为，则，其中，根据马氏链的定义，可知是一马氏链。
若假设，则的一步转移概率为：
易见：当时，则当充分大后，等待顾客的队伍将无限增大；若，则等待服务的顾客队伍长度趋近某种平衡。
G/M/1排队系统
略。（见纯不连续马氏过程的内容，以后会讲到。）
离散分支过程
考虑某一群体，假定某一代的每一个个体可以产生个下一代，其中是取值非负整数的离散型随机变量，，设某一代各个体产生下一代的个数相互独立同分布且与上一代相互独立。
令：表示第代个体的数目，则当时，有；当时，有：
其中是第代中第个个体产生下一代的个数。
由此可知，只要给定，那么的分布就完全决定了，且与以前的无关，故是一马氏链。把这一类马氏链称为离散的分支过程。可以证明：
注：设是随机变量的母函数，即；又设第0代有一个个体，即，则与分布相应的母函数为；另外，，因此与分布相对应的母函数为。
设的母函数为，则，所以有：
由此等式可得以上的结论。
习题：P111－112：7、8、9、11、12。
