第二章 Markov过程
（六）闭集和状态空间的分解
定义：设是状态空间的一个子集，如果从内任何一个状态不能到达外的任何状态，则称是一个闭集。如果单个状态构成的集是闭集，则称状态是吸收态。如果闭集中不再含有任何非空闭的真子集，则称是不可约的。闭集是存在的，因为整个状态空间就是一个闭集，当不可约时，则称此马氏链不可约，否则称此马氏链可约。
有关的性质：
（1）是闭集
（2）是闭集
（3）为吸收态
（4）齐次马氏链不可约任何两个状态均互通
（5）所有常返态构成一个闭集
（6）在不可约马氏链中，所有状态具有相同的状态类型
定义：对，若正整数集非空，则定义其最大公约数为状态的周期，记为，当时，称该状态无周期。
定义：称非周期正常返状态为遍历态。
注意：一个不可约的、非周期的、有限状态的马氏链一定是遍历的。
（七）常返、非常返、周期状态的分类特性
设，则和或者都是非常返态，或者都是零常返态，或者都是正常返非周期的（遍历），或者都是正常返有周期的且有相同的周期。
（八）周期状态的判别
按互通性将状态分类后，在同一类集合中选一个状态判别其周期性即可。
如有正整数，使得，则状态无周期。
如有正整数，使得步转移概率矩阵中相应某状态的那一列元素全不为零，则状态无周期
（九）分解定理
齐次马氏链的状态空间可唯一地分解为有限多个或可列多个互不相交的状态子集之并，即有。
其中：是非常返态集，每个均是由常返状态组成的不可约集，其中的状态互通，因此中的状态具有相同的状态类型：或者均为零常返；或者均为正常返非周期（遍历）；或者均为正常返有且有相同的周期；而且对于。
（周期链分解定理）一个周期为的不可约马氏链，其状态空间可以分解为个互不相交的集之并，即有：
且
其中约定。
基于上面的（1），我们将状态空间中的状态依的次序从新排列，则转移矩阵具有以下的形式
其中均为随机矩阵，他们对应的链是不可约的。称以上形式的转移矩阵为标准形式。
（十）有限马氏链的性质
所有非常返状态组成的集合不可能是闭集。
没有零常返状态。
必有正常返状态。
不可约有限马氏链只有正常返态。
状态空间可以分解为
其中：每个均是由正常返状态组成的有限不可约闭集，是非常返态集。
（十一）例子
例1 设有三个状态的齐次马氏链，它的一步转移概率矩阵为：
试研究其状态关系。
例2 设有四个状态的齐次马氏链，它的一步转移概率矩阵为：
试研究其状态关系。
解：正常返，非常返，吸收态。
例3 设马氏链的状态空间为，转移概率为：，，，研究各状态的分类。
解：画出状态转移图，可知：
，故，故状态1是常返的。
又，故状态1是正常返的。
易知状态1是非周期的，从而状态1是遍历的。
对于其它状态，由于，因此也是遍历的。
例4 设有八个状态的齐次马氏链，它的一步转移概率矩阵为：
讨论其周期性。
解：主对角线为0，它是具有周期性的转移矩阵的标准形式。八个状态可以分为四个子集，，，，，它们互不相交，它们的并是整个状态空间，该过程具有确定的周期转移，即：，周期为4。
例5 设齐次马氏链的状态空间为，一步转移矩阵为：
求：（1）的分布率及，（2）
解：（1）画出状态转移图，可得的分布率为：
1 2 3 4 … n …
… …
因此，。
（2）由于：
，故
，故
，故
因此，状态1和2为非常返态，3为常返态。
例6 设齐次马氏链的状态空间为，一步转移矩阵为：
试研究其状态关系。
解：画出状态转移图，可知：
故状态3和4为非常返态。
故状态1和2都是正常返的，易知它们是非周期的，从而是遍历状态。
例7 设一齐次马氏链的状态空间为，其状态转移矩阵为：
试讨论此链状态的分类及常返的充分必要条件。
例8设一口袋中装有三种颜色（红、黄、白）的小球，其数量分别为3、4、3。现在不断地随机逐一摸球，有放回，且视摸出球地颜色计分：红、黄、白分别计1、0、-1分。第一次摸球之前没有积分。以表示第次取出球后的累计积分，
（a），是否齐次马氏链？说明理由。
（b）如果不是马氏链，写出它的有穷维分布函数族；如果是，写出它的一步转移概率和两步转移概率。
（c）令，求。
附录：转移矩阵估计问题
设为一齐次马氏链，状态空间为，我们有此马氏链的一次实现（样本），而转移矩阵未知，如何用现有数据来估计转移矩阵?
记在状态之后首次出现状态的时间为，定义似然函数：
相应的对数似然函数为：
利用约束条件，由极大似然估计法（MLEs）我们有如下估计式：
注：此估计为局部最大估计。也可以由以下引理得到以上的估计。
引理：设，则在约束条件下，函数在处取得最大。
5．马氏链的极限性态与平稳分布
关心的问题：
当时，的极限是否存在？
在什么情况下，一个马氏链是一个平稳序列？
关于第一个问题，由于：，其中，是马氏链的初始分布，因此，问题可以转化为研究的极限性质，即研究是否存在？存在的话，其极限是否与有关？
关于第二个问题，实际上是一个平稳分布是否存在的问题。
（一）的极限性态
定理：设有一有限状态的马氏链，若存在一个正整数，使得对于，有，则，其中是一随机矩阵，且它的各行都相同。
如果状态空间是无限可列的马氏过程，则定理要修改为：
或者是中的所有元素都大于零（此时仍为随机矩阵）
或者是中的所有元素都等于零
推论1 的极限矩阵是唯一的，且满足：
（1），即：。
（2）
推论2 ，即所取的值与初始状态的分布无关。
证：由于：
故
即，经过无穷次转移后处于状态的概率与初始状态无关，与初始状态的分布也无关。
下面不加证明地给出几个常用的定理
定理：若是非常返或零常返，则对于任意的，有。
注意：当是正常返时，情况比较复杂，不一定存在，即使存在，也可能与有关。
定理：若是遍历状态，则对于任意的，有：
定理：对于不可约的遍历链，则对于任意的，有 。
定理：若马氏链是不可约的遍历链，则是方程组
满足条件的唯一解。
（二）平稳分布
定义：一个定义在状态空间上的概率分布称为马氏链的平稳分布，如有：
即，，有：
平稳分布也称为马氏链的不变概率测度。对于一个平稳分布，显然有：
定理：设是一马氏链，则为平稳过程的充分必要条件是是平稳分布，即有：
证明：充分性：记，则有：
因此，对于，，，，，有：
所以是严平稳过程。
必要性：由于是平稳过程，因此有：
又由得：
即是平稳分布。
定理：不可约的遍历链恒有唯一的平稳分布，且。
（三）的存在性
定义：若存在，则称为马氏链的极限分布。
定理：非周期的不可约链是正常返的充分必要条件是它存在平稳分布，且此时平稳分布就是极限分布。
证明：充分性：设存在平稳分布：，由此有：
即：
由于：，
由控制收敛定理，有：
因为
于是至少存在一个，从而
即有：
故为正常返状态，由不可约性，可知整个链是正常返的，且有
必要性：由于马氏链是正常返非周期链，即为遍历链，由以上的定理立即可得结果。且有：
由此定理可知，对于不可约遍历链，则极限分布存在，且就是等于平稳分布。
（四）例子
例1 设，且一步转移矩阵为：
求平稳分布及。
解：由，解得：
，
故，由，故。
且：。
例2 在直线上带有反射壁的随机游动，只考虑质点取1、2、3三个点，一步转移矩阵为：
讨论它是否为遍历链。
解：计算得：
可以看出其中得元素都大于零，因此可知是遍历的。即，与无关。
求极限分布时，只要解方程即可，可以求得：
习题：P115～116：17、18、19、 21。
