实例2 马氏链模型问题1．迷宫问题
试验者想分析不同颜色对老鼠的吸引作用。他设计了一个迷宫如右图.
他把一只老鼠放入迷宫的某一间，然后周期性地定时观察老鼠的位置.
问题分析 老鼠的运动带有随机性，利用概率论中的马氏链理论进行研究.
假设
*1,若观察时老鼠位于第j 个分隔间，称老鼠处于状态j；
*2,以 表示老鼠处于初始状态j的概率，概率向量
P（0）=（，，）
称为初始概率分布。
（一般地，一个行向量的所有分量非负，分量之和为1，称为概率向量）。
*3 表示老鼠从状态i运动到状态j的概率，称，i,j=1，2，3为转移概率，矩阵A=（）为转移矩阵，满足
1） 0≤≤1；
2） .
（一般，若方阵A的行向量是概率向量，称之为转移矩阵）。
建模 表示第n次观察时，老鼠位于第j个分隔间的概率.由全概率公式可得：
老鼠的运动具有马氏性（无后效性）：在第n次观察时，老鼠处于各状态的概率仅与第n-1次观察时所处状态的概率以及转移概率有关，而与第n-1之前的状态无关.
老鼠的这一种随机转移过程是一类马氏链。
式（1）可改写为矩阵形式：
其中,，A=（）3×3,有递推公式：
=A=A2=…=An,(2)
由老鼠的初始分布可确定任何一次的分布情况。
定理1 设A是一个马氏链的转移矩阵，是初始分布，则第n步的概率分布为
=An,n=1，2，…
模型分析
例 取=（1/3，1/3，1/3），老鼠运动的转移矩阵是
A=，
第三次观察时，老鼠在各个分隔间的概率分布为
=A3=（1/3，1/3，1/3）
=（0.295，0.434，0.271）,
要了解老鼠最终的活动情况，需要考察当时，的变化趋势.
例 设转移矩阵 R=，有
R2=,
R3== ’
R4= = ,
当n时， ≈
令 u=（7/12,5/12），有 uR=u,称u 是矩阵R的不动点向量.
若老鼠的转移矩阵具有不动点向量，说明随着转移次数的增大(时间的推移),老鼠的运动规律趋于稳定.
哪些转移矩阵具有不动点向量？
定义：一个马氏链的转移矩阵A是正则的，当且仅当存在正整数K，使AK的每一个元素都是正数.
具有正则转移矩阵的马氏链称为正则链。
定理2 若A是一个马氏链的正则阵，则
（1）A有唯一的不动点向量W，W的每一个分量为正；
（2）A的n次幂An(n为正整数)随n的增大而趋于矩阵，的每一个行向量等于不动点向量W.
老鼠的转移矩阵是正则阵，由定理2可得
，
老鼠的运动随时间推移，逐渐趋于稳定。
问题2 信息传播问题
一条消息在人群中传播，每次由第i个人传给第i+1人，每次传播消息时的失真概率为p,0＜p＜1，经过长时间传播后，第n个人得知消息的真实程度如何？
建模 设整个传播过程是随机转移过程，转移矩阵为
R =
因0＜p＜1，R是正则阵。
设初始分布为v,则经过n次传播以后，消息处于真、假状态的概率分布为
模型求解 需求出R的不动点向量W.
一般的2阶正则阵有如下形式
，0＜a＜1，0＜b＜1，
记A的不动点向量为W=（w1,w2）,应满足 WA=W，即
= w1(1－a)+w2b,w1a+w2(1－b)）,
故
解得 W=.
信息传播转移矩阵R中，a=b=p,得不动点向量为W=（1/2，1/2），根据定理2知,当n→∞时，
,
若初始分布为v =（p,1－p）,则经过n步传播后处于真、假状态的概率分布是
= vRn → (p,1－p) =(1/2,1/2).
结论分析：说明消息的真实程度极低,
问题3 另一类迷宫问题迷宫的四个分隔间都是相通的,在第四分隔间里放有食物.
分析：老鼠受到食物的吸引不会再运动到其它房间.
建模 老鼠运动过程的转移矩阵为
1 2 3 4
T =
模型分析,
1）老鼠一旦进入状态4，它将永远停留在状态4，称状态4为吸收状态；
2）从任何一个状态出发，都可以进入状态4。
定义：若马氏链至少含有一个吸收状态，并且从每一个非吸收状态出发，都可以到达某个吸收状态，称此马氏链为吸收链。
例 随机游动问题一个醉汉在一条大街上徘徊，若他位于第i个街口,他会以各为 1/3的概率向前
1 2 3 4 5
或向后移动，或以1/3的概率留在原处；当他走到1和5时就会停下不动了.
醉汉运动的转移矩阵为：
T = ，
这是一个吸收链，吸收状态是“1”和“5”。
模型求解,对矩阵T进行行初等变换与列初等变换，得到T的等价矩阵：
Tτ = =.
一般，有n个状态，r个吸收状态的吸收链的转移矩阵的标准形式为：
T=,
其中，S为s × s矩阵，s=n－r,S是非吸收状态到非吸收状态的转移矩阵定义：在吸收链的标准形式中，称F=（Es－S）－1为基矩阵。
定理3：设吸收链的基矩阵为F，有
1）F的元素fij 是从非吸收状态“i”到达非吸收状态“j”的平均转移次数；
2）F的第i行元素之和是从非吸收状态“i”出发，被某个吸收状态吸收之前的平均转移次数,
定理4：令B=FR=（Es－S）－1R=（bij）,则bij是从非吸收状态i出发，被吸收状态j吸收的概率.
练习 设醉汉问题中的状态“1”是表示“回到酒吧”，状态“5”是表示“回家”，试计算他从各街口回家或重回酒吧的平均徘徊次数.
问题4 智力竞赛问题
甲乙两队进行智力竞赛，赛前规定如下：
1）比赛前双方各记2分；
2）每比赛一次，胜方得1分，负方则扣去1分，有一队总分达4分时结束比赛.
甲队赢1分的概率为p,0＜p＜1，讨论：
1）甲队获得1，2，3分的平均次数？
2）决出胜负时，甲队分数的平均转移次数？
3）甲队最终获胜的概率？
分析：甲队的可能得分是0、1、2、3、4，分别记为a0、a1、a2、a3、a4，其中a0、a4是吸收状态，a1、a2、a3是非吸收状态。并且a2是初始状态。
建模：建立转移矩阵
T = ，
T矩阵等价于
Tτ= =
分数的转移过程的基矩阵为
F=
==
其中q=1－p.
1） 根据定理3，注意初始状态是a2,甲队获得分数为1、2、3分的平均次数分别为：
，，.
2）决出胜负时，甲队的分数转移的平均次数为
＋＋= .
3）计算
B=FR=
=
=（bij）3×2,
根据定理4，甲队获胜的概率为 b2,4=.
试验者想分析不同颜色对老鼠的吸引作用。他设计了一个迷宫如右图.
他把一只老鼠放入迷宫的某一间，然后周期性地定时观察老鼠的位置.
问题分析 老鼠的运动带有随机性，利用概率论中的马氏链理论进行研究.
假设
*1,若观察时老鼠位于第j 个分隔间，称老鼠处于状态j；
*2,以 表示老鼠处于初始状态j的概率，概率向量
P（0）=（，，）
称为初始概率分布。
（一般地，一个行向量的所有分量非负，分量之和为1，称为概率向量）。
*3 表示老鼠从状态i运动到状态j的概率，称，i,j=1，2，3为转移概率，矩阵A=（）为转移矩阵，满足
1） 0≤≤1；
2） .
（一般，若方阵A的行向量是概率向量，称之为转移矩阵）。
建模 表示第n次观察时，老鼠位于第j个分隔间的概率.由全概率公式可得：
老鼠的运动具有马氏性（无后效性）：在第n次观察时，老鼠处于各状态的概率仅与第n-1次观察时所处状态的概率以及转移概率有关，而与第n-1之前的状态无关.
老鼠的这一种随机转移过程是一类马氏链。
式（1）可改写为矩阵形式：
其中,，A=（）3×3,有递推公式：
=A=A2=…=An,(2)
由老鼠的初始分布可确定任何一次的分布情况。
定理1 设A是一个马氏链的转移矩阵，是初始分布，则第n步的概率分布为
=An,n=1，2，…
模型分析
例 取=（1/3，1/3，1/3），老鼠运动的转移矩阵是
A=，
第三次观察时，老鼠在各个分隔间的概率分布为
=A3=（1/3，1/3，1/3）
=（0.295，0.434，0.271）,
要了解老鼠最终的活动情况，需要考察当时，的变化趋势.
例 设转移矩阵 R=，有
R2=,
R3== ’
R4= = ,
当n时， ≈
令 u=（7/12,5/12），有 uR=u,称u 是矩阵R的不动点向量.
若老鼠的转移矩阵具有不动点向量，说明随着转移次数的增大(时间的推移),老鼠的运动规律趋于稳定.
哪些转移矩阵具有不动点向量？
定义：一个马氏链的转移矩阵A是正则的，当且仅当存在正整数K，使AK的每一个元素都是正数.
具有正则转移矩阵的马氏链称为正则链。
定理2 若A是一个马氏链的正则阵，则
（1）A有唯一的不动点向量W，W的每一个分量为正；
（2）A的n次幂An(n为正整数)随n的增大而趋于矩阵，的每一个行向量等于不动点向量W.
老鼠的转移矩阵是正则阵，由定理2可得
，
老鼠的运动随时间推移，逐渐趋于稳定。
问题2 信息传播问题
一条消息在人群中传播，每次由第i个人传给第i+1人，每次传播消息时的失真概率为p,0＜p＜1，经过长时间传播后，第n个人得知消息的真实程度如何？
建模 设整个传播过程是随机转移过程，转移矩阵为
R =
因0＜p＜1，R是正则阵。
设初始分布为v,则经过n次传播以后，消息处于真、假状态的概率分布为
模型求解 需求出R的不动点向量W.
一般的2阶正则阵有如下形式
，0＜a＜1，0＜b＜1，
记A的不动点向量为W=（w1,w2）,应满足 WA=W，即
= w1(1－a)+w2b,w1a+w2(1－b)）,
故
解得 W=.
信息传播转移矩阵R中，a=b=p,得不动点向量为W=（1/2，1/2），根据定理2知,当n→∞时，
,
若初始分布为v =（p,1－p）,则经过n步传播后处于真、假状态的概率分布是
= vRn → (p,1－p) =(1/2,1/2).
结论分析：说明消息的真实程度极低,
问题3 另一类迷宫问题迷宫的四个分隔间都是相通的,在第四分隔间里放有食物.
分析：老鼠受到食物的吸引不会再运动到其它房间.
建模 老鼠运动过程的转移矩阵为
1 2 3 4
T =
模型分析,
1）老鼠一旦进入状态4，它将永远停留在状态4，称状态4为吸收状态；
2）从任何一个状态出发，都可以进入状态4。
定义：若马氏链至少含有一个吸收状态，并且从每一个非吸收状态出发，都可以到达某个吸收状态，称此马氏链为吸收链。
例 随机游动问题一个醉汉在一条大街上徘徊，若他位于第i个街口,他会以各为 1/3的概率向前
1 2 3 4 5
或向后移动，或以1/3的概率留在原处；当他走到1和5时就会停下不动了.
醉汉运动的转移矩阵为：
T = ，
这是一个吸收链，吸收状态是“1”和“5”。
模型求解,对矩阵T进行行初等变换与列初等变换，得到T的等价矩阵：
Tτ = =.
一般，有n个状态，r个吸收状态的吸收链的转移矩阵的标准形式为：
T=,
其中，S为s × s矩阵，s=n－r,S是非吸收状态到非吸收状态的转移矩阵定义：在吸收链的标准形式中，称F=（Es－S）－1为基矩阵。
定理3：设吸收链的基矩阵为F，有
1）F的元素fij 是从非吸收状态“i”到达非吸收状态“j”的平均转移次数；
2）F的第i行元素之和是从非吸收状态“i”出发，被某个吸收状态吸收之前的平均转移次数,
定理4：令B=FR=（Es－S）－1R=（bij）,则bij是从非吸收状态i出发，被吸收状态j吸收的概率.
练习 设醉汉问题中的状态“1”是表示“回到酒吧”，状态“5”是表示“回家”，试计算他从各街口回家或重回酒吧的平均徘徊次数.
问题4 智力竞赛问题
甲乙两队进行智力竞赛，赛前规定如下：
1）比赛前双方各记2分；
2）每比赛一次，胜方得1分，负方则扣去1分，有一队总分达4分时结束比赛.
甲队赢1分的概率为p,0＜p＜1，讨论：
1）甲队获得1，2，3分的平均次数？
2）决出胜负时，甲队分数的平均转移次数？
3）甲队最终获胜的概率？
分析：甲队的可能得分是0、1、2、3、4，分别记为a0、a1、a2、a3、a4，其中a0、a4是吸收状态，a1、a2、a3是非吸收状态。并且a2是初始状态。
建模：建立转移矩阵
T = ，
T矩阵等价于
Tτ= =
分数的转移过程的基矩阵为
F=
==
其中q=1－p.
1） 根据定理3，注意初始状态是a2,甲队获得分数为1、2、3分的平均次数分别为：
，，.
2）决出胜负时，甲队的分数转移的平均次数为
＋＋= .
3）计算
B=FR=
=
=（bij）3×2,
根据定理4，甲队获胜的概率为 b2,4=.
