一年内有多少天下雨
马尔柯夫过程模型
?马尔柯夫过程介绍
?一个典型的问题
?马尔柯夫过程的理论
?马尔柯夫理论的应用
?结束
马尔柯夫过程介绍
? 事物的发展、变化有必然的，也有偶然的。
– 例如：天上的云由水蒸发而形成，这是必然的；而
地上哪一天下雨，这有偶然性。
? 偶然性事件在数学中称为 随机事件 。
? 偶然事件可能性的大小在数学中称为 概率 。
? 我们若仔细观察就会发现：许多事物未来的发
展或演变，往往受该事物现在的状况所支配，
历史只是通过现在的状况来影响未来。
– 如轴承的磨损情况、各竞争企业的市场占有率等等，
? 一个未来完全由现在的状态所确定的过程称为
无后效 的。
马尔柯夫过程介绍
? 在本世纪初（ 1907年）俄国数学家马尔柯夫经
过多次研究实验后发现：在某些事物的概率变
化过程中，第 n次试验的结果，常常由第 n-1次
试验的结果所决定。
? 这是一种 无后效的随机过程 。
? 由于马尔柯夫首先对此种过程作有系统的研究，
所以，以后在学术研究上把这种无后效的随机
过程即称为 马尔柯夫过程 。
? 下面是马尔柯夫过程的一个典型例子。
一个典型的问题
? 问题
某个沿海城市的天气变化有如下规律：如果
今天下雨明天一定是晴天；如果今天是晴天则
明天有 50%的可能下雨。问该城市一年之中平
均有多少天下雨？
? 分析
? 按照问题的提法，可以认为该城市的天气分
为晴天和下雨两大类。晴天和下雨都是随机出
现的事件，后一天的天气情况完全由前一天决
定。要求的是一年中平均下雨的天数，也就是
一天中下雨的概率（可能性）。
一个典型的问题
? 数学描述
? 数学模型必须建立在对问题的数学描述的基
础上。 为了方便和明确起见，我们设作为开始
的某一天晴天和下雨的概率 (可能性 )分别为 q0
和 y0,后一天下雨和晴天的概率分别为 q1和 y1 。
? 以此类推，后 n 天下雨和晴天的可能性分别为
qn和 yn 。
? 按前面的分析，我们需要求出
? y ≡lim n→∞ yn
一个典型的问题
? 模型的建立
? 由于后一天的天气完全取决于前一天，因此
可以得到如下的关系：
? q k+1 = f (qk,yk); (1a)
? y k+1 = g (qk,yk),(1b)
? 其中函数 f 和 g 的具体形式待定。
? 由于天气不是晴天就是下雨，两者的可能性
之和为 1,因此有限制条件：
? qk+ yk= 1,f (qk,yk) + g (qk,yk) = 1 (2)
一个典型的问题
? 按照今天下雨明天一定是晴天；如果今天是晴
天则明天有 50%的可能下雨的规律，由上面的
限制条件不难得到：
? 1 = f (0,1),0.5 = f (1,0) ； (3a)
? 0 = g (0,1),0.5 = g (1,0) 。 (3b)
? 关系式 (1),(2)和 (3)给出了这个问题的 一般模
型 。
? 然而，满足上述条件的函数 f 和 g 很多，我们
要进行计算，就必须确定它们的具体形式。
? 怎样才能把得到的一般模型 具体化 呢？
一个典型的问题
? 模型的具体化
? 在满足了问题的所有条件之后，如果得到的
模型还不能具体确定，通常取最简单的可能方
案。如果成功，问题就简单地解决了；如果失
败，也可以在此基础上分析原因，进行修正。
? 在本题的情况下，最简单的是假定 f 和 g 都
是自变量的线性函数，即
? f = a q + b y,g = c q + d y (4)
一个典型的问题
? 利用条件（ 3），我们容易求出系数
? a = 0.5,b = 0,c = 0.5 d = 1.
? 于是，（ 4）式成为
? f = 0.5 q + y,
? g = 0.5 q
? 也就是
? q k+1 = 0.5 qk+ yk ; (5a)
? y k+1 = 0.5 qk, (5b)
? 上式给出了天气问题的一个简化的具体模型。
一个典型的问题
? 求解
? 建立了具体的模型
，下一步工作就是进
行求解。
? 为了简化求解过程
的表述，我们把公式
（ 5）改写成矩阵形
式，见右边,???
?
??
?
?
??
?
?
??
?
?
???
?
?
??
?
?
?
?
k
k
k
k
y
q
y
q
05.0
15.0
1
1
一个典型的问题
? 右边的矩阵把前一天
的概率转变为后一天
的概率，称为概率转
移矩阵，简称 概率矩
阵,记为 P。
? 利用概率矩阵 P，我
们可以递推出第 n天
下雨和晴天的概率。
? 怎么求出 n → ∞ 时的
情况呢？
??
?
?
??
?
?
??
?
?
??
?
?
???
?
?
??
?
?
?
?
k
k
k
k
y
q
y
q
05.0
15.0
1
1
一个典型的问题
? 马克思告诉我们：事
物是客观的，客观事
物是有规律的。
? 现在让我们通过实践
来探寻这个规律吧？
? 从出发点开始，我们
先由（ 5）式递推出
前三天的概率。
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
0
0
2
2
3
3
0
0
1
1
2
2
0
0
1
1
25.37.
75.63.
05.0
15.0
5.25.
5.75.
05.0
15.0
05.0
15.0
y
q
y
q
y
q
y
q
y
q
y
q
y
q
y
q
一个典型的问题
? 你看出其中的规律来了吗？
? 注意比较后 k 天与出发点的概率关系，联结两
者的矩阵称为 k 次概率矩阵。
? 如果看不出，别着急，我们 再算三天 。
? 现在，你看出其中的规律来了吧！
? 不难发现，随着天数 k 的增加,k 次概率矩阵
中各列之间的差距越来越小。我们猜想当幂次
趋于无穷大时，各列将会变得相同。即第一行
变成 2/3，第二行变成 1/3。
一个典型的问题
? 根据上面猜想的规律，
我们容易算出当天数
k 趋于无穷大时，得
到的天气情况概率为
? q = 2/3,y =1/3
? 这个结果与出发点
的天气情况无关！
? 想一想，它说明什么？
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
3
1
3
2
00
3
1
3
2
0
0
3
1
3
1
3
2
3
2
)( yq
y
q
y
q
一个典型的问题
? 结果的解释
? 上式表明无论最初的天气如何，足够
长时间以后，下雨或者晴天的概率将会
变成确定的数值 。
? 按照得出的结果,y = 1/3
? 说明该城市一年之中平均有三分之一的
时间在下雨，大约 122天。
马尔柯夫的理论
? 马尔柯夫对这类过程进行了严格地研究，得到
如下的理论结果：
? 定义 1,概率向量
– 任意一个向量，如果它内部的各个元素为非负数，
且总和等于 1，则此向量称为概率向量。
– 如 u = (0.28,0.72 ) 即为概率向量。
? 定义 2,概率矩阵
– 一个方矩阵中，如果其各列都是概率向量，则此方
阵称为概率矩阵。
马尔柯夫的理论
? 定理 1,
– 如果 A 和 B 都是概率矩阵,则 A B 乘积亦为概率
矩阵，同理 An 亦为概率矩阵 。
? 定理 2.
– 设有概率矩阵 A，则当 n 趋于无穷大时,An 趋于一
个固定概率矩阵 P，即矩阵中每一个列向量都相等
的概率矩阵。并且 P 中的列向量在 A 作用下保持不
变。
? 定理 3.
– 设 T 为任一概率向量, P 为任一固定概率矩阵。则
P T 为 固定概率矩阵中的任一列向量 。
马尔柯夫理论的应用
? 下面，我们应用马尔柯夫的理论来处理一个实
际问题。
? 问题
若某汽车出租公司在甲（旅店）、乙（机
场）、丙（旅店）三个地点附近设有停车场。
顾客可由甲、乙、丙三处租车，汽车送走旅客
后，也可以回到甲、乙、丙三处候客。根据过
去的统计资料，汽车在三处的往返关系的概率
如下：
马尔柯夫理论的应用
? 左边的表格给出了
汽车由行中位置出
发，回到列中位置
的概率。
? 若该公司想选择一
处附设汽车保养场，
设于何处较好？
甲 乙 丙
甲 0.8 0.2 0.2
乙 0.2 0.0 0.2
丙 0.0 0.8 0.6
马尔柯夫理论的应用
? 分析
从上面的概率矩阵中可以知道：从甲处开出
的汽车有 80%回到甲处，有 20%回到乙处，没
有回到丙处的。其他概率值的含义也是这样。
现在要决定汽车保养场应设于何处较好，就是
要知道该公司在经过长期经营以后，集结在何
处的汽车较多？这是一个求固定概率向量，也
即求固定概率矩阵的问题。
? 请你用前面的知识和方法来解决。
? 试一试吧，别放过每一个锻炼自己的机会！
一个典型的问题
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
0
0
6
6
0
0
5
5
0
0
4
4
0
0
3
3
0
0
2
2
0
0
1
1
3 4 4.3 2 8.
6 5 6.6 7 2.
3 1 3.3 4 4.
6 8 7.6 5 6.
3 7 5.3 1 3.
6 2 5.6 8 7.
25.3 7 5.
75.6 2 5.
5.025.0
5.075.0
0.05.0
0.15.0
y
q
y
q
y
q
y
q
y
q
y
q
y
q
y
q
y
q
y
q
y
q
y
q
一年内有多少天下雨
马尔柯夫过程模型
?马尔柯夫过程介绍
?一个典型的问题
?马尔柯夫过程的理论
?马尔柯夫理论的应用
?结束
马尔柯夫过程介绍
? 事物的发展、变化有必然的，也有偶然的。
– 例如：天上的云由水蒸发而形成，这是必然的；而
地上哪一天下雨，这有偶然性。
? 偶然性事件在数学中称为 随机事件 。
? 偶然事件可能性的大小在数学中称为 概率 。
? 我们若仔细观察就会发现：许多事物未来的发
展或演变，往往受该事物现在的状况所支配，
历史只是通过现在的状况来影响未来。
– 如轴承的磨损情况、各竞争企业的市场占有率等等，
? 一个未来完全由现在的状态所确定的过程称为
无后效 的。
马尔柯夫过程介绍
? 在本世纪初（ 1907年）俄国数学家马尔柯夫经
过多次研究实验后发现：在某些事物的概率变
化过程中，第 n次试验的结果，常常由第 n-1次
试验的结果所决定。
? 这是一种 无后效的随机过程 。
? 由于马尔柯夫首先对此种过程作有系统的研究，
所以，以后在学术研究上把这种无后效的随机
过程即称为 马尔柯夫过程 。
? 下面是马尔柯夫过程的一个典型例子。
一个典型的问题
? 问题
某个沿海城市的天气变化有如下规律：如果
今天下雨明天一定是晴天；如果今天是晴天则
明天有 50%的可能下雨。问该城市一年之中平
均有多少天下雨？
? 分析
? 按照问题的提法，可以认为该城市的天气分
为晴天和下雨两大类。晴天和下雨都是随机出
现的事件，后一天的天气情况完全由前一天决
定。要求的是一年中平均下雨的天数，也就是
一天中下雨的概率（可能性）。
一个典型的问题
? 数学描述
? 数学模型必须建立在对问题的数学描述的基
础上。 为了方便和明确起见，我们设作为开始
的某一天晴天和下雨的概率 (可能性 )分别为 q0
和 y0,后一天下雨和晴天的概率分别为 q1和 y1 。
? 以此类推，后 n 天下雨和晴天的可能性分别为
qn和 yn 。
? 按前面的分析，我们需要求出
? y ≡lim n→∞ yn
一个典型的问题
? 模型的建立
? 由于后一天的天气完全取决于前一天，因此
可以得到如下的关系：
? q k+1 = f (qk,yk); (1a)
? y k+1 = g (qk,yk),(1b)
? 其中函数 f 和 g 的具体形式待定。
? 由于天气不是晴天就是下雨，两者的可能性
之和为 1,因此有限制条件：
? qk+ yk= 1,f (qk,yk) + g (qk,yk) = 1 (2)
一个典型的问题
? 按照今天下雨明天一定是晴天；如果今天是晴
天则明天有 50%的可能下雨的规律，由上面的
限制条件不难得到：
? 1 = f (0,1),0.5 = f (1,0) ； (3a)
? 0 = g (0,1),0.5 = g (1,0) 。 (3b)
? 关系式 (1),(2)和 (3)给出了这个问题的 一般模
型 。
? 然而，满足上述条件的函数 f 和 g 很多，我们
要进行计算，就必须确定它们的具体形式。
? 怎样才能把得到的一般模型 具体化 呢？
一个典型的问题
? 模型的具体化
? 在满足了问题的所有条件之后，如果得到的
模型还不能具体确定，通常取最简单的可能方
案。如果成功，问题就简单地解决了；如果失
败，也可以在此基础上分析原因，进行修正。
? 在本题的情况下，最简单的是假定 f 和 g 都
是自变量的线性函数，即
? f = a q + b y,g = c q + d y (4)
一个典型的问题
? 利用条件（ 3），我们容易求出系数
? a = 0.5,b = 0,c = 0.5 d = 1.
? 于是，（ 4）式成为
? f = 0.5 q + y,
? g = 0.5 q
? 也就是
? q k+1 = 0.5 qk+ yk ; (5a)
? y k+1 = 0.5 qk, (5b)
? 上式给出了天气问题的一个简化的具体模型。
一个典型的问题
? 求解
? 建立了具体的模型
，下一步工作就是进
行求解。
? 为了简化求解过程
的表述，我们把公式
（ 5）改写成矩阵形
式，见右边,???
?
??
?
?
??
?
?
??
?
?
???
?
?
??
?
?
?
?
k
k
k
k
y
q
y
q
05.0
15.0
1
1
一个典型的问题
? 右边的矩阵把前一天
的概率转变为后一天
的概率，称为概率转
移矩阵，简称 概率矩
阵,记为 P。
? 利用概率矩阵 P，我
们可以递推出第 n天
下雨和晴天的概率。
? 怎么求出 n → ∞ 时的
情况呢？
??
?
?
??
?
?
??
?
?
??
?
?
???
?
?
??
?
?
?
?
k
k
k
k
y
q
y
q
05.0
15.0
1
1
一个典型的问题
? 马克思告诉我们：事
物是客观的，客观事
物是有规律的。
? 现在让我们通过实践
来探寻这个规律吧？
? 从出发点开始，我们
先由（ 5）式递推出
前三天的概率。
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
0
0
2
2
3
3
0
0
1
1
2
2
0
0
1
1
25.37.
75.63.
05.0
15.0
5.25.
5.75.
05.0
15.0
05.0
15.0
y
q
y
q
y
q
y
q
y
q
y
q
y
q
y
q
一个典型的问题
? 你看出其中的规律来了吗？
? 注意比较后 k 天与出发点的概率关系，联结两
者的矩阵称为 k 次概率矩阵。
? 如果看不出，别着急，我们 再算三天 。
? 现在，你看出其中的规律来了吧！
? 不难发现，随着天数 k 的增加,k 次概率矩阵
中各列之间的差距越来越小。我们猜想当幂次
趋于无穷大时，各列将会变得相同。即第一行
变成 2/3，第二行变成 1/3。
一个典型的问题
? 根据上面猜想的规律，
我们容易算出当天数
k 趋于无穷大时，得
到的天气情况概率为
? q = 2/3,y =1/3
? 这个结果与出发点
的天气情况无关！
? 想一想，它说明什么？
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
3
1
3
2
00
3
1
3
2
0
0
3
1
3
1
3
2
3
2
)( yq
y
q
y
q
一个典型的问题
? 结果的解释
? 上式表明无论最初的天气如何，足够
长时间以后，下雨或者晴天的概率将会
变成确定的数值 。
? 按照得出的结果,y = 1/3
? 说明该城市一年之中平均有三分之一的
时间在下雨，大约 122天。
马尔柯夫的理论
? 马尔柯夫对这类过程进行了严格地研究，得到
如下的理论结果：
? 定义 1,概率向量
– 任意一个向量，如果它内部的各个元素为非负数，
且总和等于 1，则此向量称为概率向量。
– 如 u = (0.28,0.72 ) 即为概率向量。
? 定义 2,概率矩阵
– 一个方矩阵中，如果其各列都是概率向量，则此方
阵称为概率矩阵。
马尔柯夫的理论
? 定理 1,
– 如果 A 和 B 都是概率矩阵,则 A B 乘积亦为概率
矩阵，同理 An 亦为概率矩阵 。
? 定理 2.
– 设有概率矩阵 A，则当 n 趋于无穷大时,An 趋于一
个固定概率矩阵 P，即矩阵中每一个列向量都相等
的概率矩阵。并且 P 中的列向量在 A 作用下保持不
变。
? 定理 3.
– 设 T 为任一概率向量, P 为任一固定概率矩阵。则
P T 为 固定概率矩阵中的任一列向量 。
马尔柯夫理论的应用
? 下面，我们应用马尔柯夫的理论来处理一个实
际问题。
? 问题
若某汽车出租公司在甲（旅店）、乙（机
场）、丙（旅店）三个地点附近设有停车场。
顾客可由甲、乙、丙三处租车，汽车送走旅客
后，也可以回到甲、乙、丙三处候客。根据过
去的统计资料，汽车在三处的往返关系的概率
如下：
马尔柯夫理论的应用
? 左边的表格给出了
汽车由行中位置出
发，回到列中位置
的概率。
? 若该公司想选择一
处附设汽车保养场，
设于何处较好？
甲 乙 丙
甲 0.8 0.2 0.2
乙 0.2 0.0 0.2
丙 0.0 0.8 0.6
马尔柯夫理论的应用
? 分析
从上面的概率矩阵中可以知道：从甲处开出
的汽车有 80%回到甲处，有 20%回到乙处，没
有回到丙处的。其他概率值的含义也是这样。
现在要决定汽车保养场应设于何处较好，就是
要知道该公司在经过长期经营以后，集结在何
处的汽车较多？这是一个求固定概率向量，也
即求固定概率矩阵的问题。
? 请你用前面的知识和方法来解决。
? 试一试吧，别放过每一个锻炼自己的机会！
一个典型的问题
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
0
0
6
6
0
0
5
5
0
0
4
4
0
0
3
3
0
0
2
2
0
0
1
1
3 4 4.3 2 8.
6 5 6.6 7 2.
3 1 3.3 4 4.
6 8 7.6 5 6.
3 7 5.3 1 3.
6 2 5.6 8 7.
25.3 7 5.
75.6 2 5.
5.025.0
5.075.0
0.05.0
0.15.0
y
q
y
q
y
q
y
q
y
q
y
q
y
q
y
q
y
q
y
q
y
q
y
q
一年内有多少天下雨
