第二章 Markov过程
4. 马尔可夫链状态的分类
（一） 到达与相通
定义：对给定的两个状态，若存在正整数，是的，则称从状态可到达状态，记作，反之称从状态不可到达状态。
注意：当状态不能到达状态时，对于，，因此
定义：有两个状态 和，如果由 状态可到达状态，即，且由状态也可到达状态，即，则称状态 和状态相通，记作。
定理：可到达和相通都具有传递性。即若，则；若，则。
证明：如果，则由定义，存在和，使得：
根据C－K方程，我们有：
因此，。同理可以证明相通的情形。
（二） 首达时间和首达概率：
定义：对于任意的，称：
为从状态出发首次到达（进入）状态的时间（时刻），简称首达时间。
注意：首达时间是一随机变量，它取值于。
定义：对于任意的，称：
为系统在0时从状态出发，经步首次到达状态的概率。
由定义，显然有：
定义：对于任意的，称：
为系统在0时从状态出发经过有限步转移后迟早到达状态的概率。
注意：，它表示系统在0时从状态出发，经过有限步转移后不可能到达状态的概率。
（三）首达概率的基本性质：
（1）对于任意的，
（2）对于任意的 及 ，有：
（3）对于任意的，。
（4）对于任意的，
证明：因为：
而
于是我们有：
因此，有：
因此：
即有：
于是结论（2）成立。
当时，，使得，取：
，
则有：
因此
反之，当时，，使得，从而，得。
因此（3）成立，（4）是（3）的结果。
（四）状态的分类
定义：对于状态，如果，则称状态为常返态（返回态）；如果，则称状态为非常返态（滑过态）。
令条件数学期望：
是从状态出发，到达状态的平均转移步数（时间）。
注意：特别地，若，则是从状态出发，首次返回状态的平均转移步数，称为状态的平均返回时间；对应的称为状态的返回概率；称为从状态出发，首次返回状态的概率。
定义：对于常返态 ，若，则称状态 是正常返的；否则，若，则称状态 是零常返的。
（五）常返态和非常返态的判别
状态是常返（）的。
状态是非常返（）的。
如果是非常返的，则对，有；。
设，则和或者都是正常返的，或者都是非常返的，或者都是零常返的。
若状态是常返的，则是零常返的
如果是零常返的，则对，有。
证明：对于序列和，分别引入其母函数为：
上面两个级数当时，都是绝对收敛的。利用公式：
我们有：
令，由上式，有：
在上式中，令，我们有：
由此可得以上结论的（1）、（2）。
另外，当是非常返态，且时，由
可得：
即
，且
由此可得结论（3）。
若，则存在正整数，使得
因此对于任意的正整数，有：
由此可得：
因此，当是常返态时，可知也是常返态；当是非常返态时，可知也是非常返态。结论（4）成立。
注意：一个状态有限的马氏链，不可能所有状态都为非常返态。
例1 （赌徒输光问题）赌徒甲有赌资元，赌徒乙有赌资元，为不小于的正整数。两人进行一系列的赌博。每赌一局，输者给赢者元，没有和局，直赌到两人中有一人输光为止。设在每局中甲赢的概率为，输的概率为，求甲输光的概率。
解：此问题实际上就是状态空间为的一个马氏链，其中状态和状态为吸收态。甲开始处于状态，最后它要么到达状态（输光），要么到达状态（将对方赢完），然后就不赌了。求甲输光的概率，实际上就是求甲从状态首达状态的概率。理论上有一步转移概率矩阵（很容易写出）就可以求得，但这样求相当麻烦，现在用其它方法来求。
令为甲从状态出发首达状态的概率。我们要求的是。因为状态和状态为吸收态，所以，用全概率公式，我们有：
因此有：
因此有：
令，利用，可得：
代入上面的式子，有
令，，可得：
此即为所要求的结果。
当时，
当时，。
例2 设有一电脉冲，脉冲的幅度是随机的，其幅度的可取值是，且各幅度出现的概率相同。现用一电表测量其幅度，每隔一单位时间测量一次，从首次测量开始，记录其最大幅值为。（1）证明该过程为一齐次马氏链；（2）写出一步转移概率矩阵；（3）仪器记录到最大值的期望时间。
解：（1）记：是第（）次记录的幅度值，则是相互独立同分布的随机变量序列。是前次记录幅度的最大值。则有：
以上用到了的相互独立性。因此：
因此此过程是齐次马氏过程。
（2）一步转移概率为
（3）设为仪器记录到最大值的首达时间，则可以看为起初在状态的首达返回时间，则：
，
因此记录到最大值的期望为
由此可知，状态是正常返态。
例3 随机游动：
一维情形：状态空间为，都是相通的，因此构成一个类，任意取一个状态，则有：
考虑母函数：
从而有：
由此可知，当时，所有状态为常返状态，当时，状态为非常返状态，即链是非常返的。
二维情形：计算质点经过步后仍然回到原位置的概率。此时，质点必须与横坐标平行地向右移步，向左移步，向上移步，向下移步，并且，因此有：
由于，因此，平面上的对称随机游动也是常返的。
三维情形： 可以证明，空间上的对称随机游动是非常返的（Ploya 定理）。
习题：P113～114：13、14、16（1）（3）（4）。
