第一节 引言
★ 1907年由俄罗斯数学家马尔可夫（ A.Markov）提出，
并由蒙特 -卡罗 (Mote-Carlo)加以发展。
★ 用于分析随机事件未来发展变化的趋势，即利用某一变量的现状和动向去预测该变量未来的状态及动向，以预测未来某特定时期可能发生的变化，以便采取相应的对策。
★ 内容：马尔可夫过程、马尔可夫链第十四章 马尔可夫分析设某地居民的牛奶供应由 A,B,C三厂负责，每月订一次，假定牛奶固定销售给 1000户顾客，要订哪厂牛奶由顾客自己选择。因广告宣传、服务质量等原因，用户会改换厂家。假设有 6月份三个厂销售情况的市场调查记录，具体统计资料如下表所示：
29
0
4535300C
4905040500B
2204060200A
7月 1日顾客数失得6月 1日顾客数六月份顾客的变化牛奶厂例 1
29
0
4535300C
4905040500B
2204060200A
7月 1日顾客数失得6月 1日顾客数六月份顾客的变化牛奶厂
B A B
B 6 A 3 5 / 5 0 0 0,0 7
ijp i j
pBA
表 中 表 示 失 于 的 概 率,如 厂 六 月 份 失 于 厂 35 户,而 有
500 户,因 此,厂 月 份 失 于 的 概 率 为 。
2 5 / 3 0 0 0,0 8 3,1 6 0 / 2 0 0 0,8 0 0
20 / 20 0 0.1 00,45 0 / 50 0 0.9 00
20 / 30 0 0.0 67,20 / 20 0 0.1 00
15 / 50 0 0.0 30,25 5 / 30 0 0.8 50
pp
pp
pp
pp
C A A A
A B B B
C B A C
B C C C
同 理,可 得得失值及其概率
2006月 1日顾客数
A牛奶厂
7月 1日顾客数
B C
300500
490220 290
A
B
C
160 35 25
20 450 20
20 15 255
0,8 0 0p?AA 0,0 7 0p?BA 0,0 8 3p?CA
0,1 0 0p?AB 0,9 0 0p?BB 0,0 6 7p?CB
0,1 0 0p?AC 0,0 3 0p?BC 0,8 5 0p?CC
将上表的所得情况用概率矩阵的形式进行描述，则有
0.800 0.100 0.100
0.070 0.900 0.030
0.083 0.067 0.085
A
A
C
维持和损失
B
CB
维持和获得根据以上数据可做以下工作：
①预测未来某时刻各销售者的市场占有率；
③预测市场是否会出现市场平衡状态（稳定市场份额）；
②预测将来销售者的市场份额的得失比率；
④按对市场份额得失分析销售者的推销活动，指导厂家促销。
根据以上数据预测 8月 1日 A,B,C三厂的市场占有率，
则 8月 1日的状态为
0,8 0 0 0,1 0 0 0,1 0 0
0,2 2 0,4 9 0,2 9 0,0 7 0 0,9 0 0 0,0 3 0 0,2 3 4 0,4 8 3 0,2 8 3
0,0 8 3 0,0 6 7 0,0 8 5
A 0,2 2 0,8 0 0,4 9 0,0 7 0,2 9 0,0 8 3 0,2 3 4厂 的 市 场 份 额
A厂保持率 C厂转入率B厂转入率其中,向量为各厂 7月份的市场占有份额
（订户数与总订户数之比），则 8月份 A厂拥有全部顾客的 23.4%,B厂为 48.3%,C厂为 28.3%。
0,2 2 0,4 9 0,2 9
第二节 正规随机矩阵的基本知识
★ 概率向量
12
1
0,1
n
T
n i i
i
u u u u u u
u
任 何 一 个 向 量,若 且,
则 称 为 概 率 向 量 。
★ 概率矩阵
[] i j n nPp
P
在 方 阵 中,若 各 个 行 向 量 都 为 概 率 向 量,
则 称 为 概 率 矩 阵 或 随 机 矩 阵 。
概率矩阵具有以下性质：
性质 1：
[]n ij n n
T
u R A a
A u y
设 为 一 个 概 率 向 量,是 一 个 概 率 矩 阵,
则 也 是 一 个 概 率 向 量 。
证
11 1
12
1
12
1 1 1
1 1 1 1 1 1
[ ]
( ) 1
n
TT
n
m m n
n n n
i i i i i in
i i i
T
n n n n n n
i i ij i ij i
j j i i j i
aa
y u A u u u
aa
u a u a u a
y
y u a u a u
则 各 分 量 之 和 为
TAu所 以 为 一 个 概 率 向 量 。
性质 2：
n
A B A B
A
若 和 都 为 概 率 矩 阵,则 亦 为 概 率 矩 阵,
亦 为 概 率 矩 阵 。1
1
i
T
i
T
T
n
n
A A i
BA
AB
AB
AB
AB
A B A
用 表 示 由 矩 阵 的 第 行 组 成 的 向 量,
由 性 质 知,
都 是 概 率 向 量,
而故 的 每 一 行 组 成 的 向 量 均 为 概 率 向 量,
即 为 概 率 矩 阵,亦 为 概 率 矩 阵 。
证
★ 正规概率矩阵
,( 1 )mP m P m
P
对 任 一 概 率 矩 阵,若 存 在 使 得 为 大 于 的 正 整 数的 所 有 元 素 都 是 正 数,则 称 为 正 规 概 率 矩 阵 。
2
11
01
22
11
13
22
44
PP
,
2
101 0 1 0
,1 1 3 1 2 1 1
2 2 4 4 22
m m
mm
Q Q Q
，,
正规概率矩阵非正规概率矩阵概率矩阵具有一下性质：
若 A是一个正规概率矩阵，则有
TX A X X
X
一 定 存 在 一 个 概 率 向 量,使 得 成 立,
且 的 各 分 量 皆 为 正 数 ；
①
1 2 3
()
k
k
T
A A A A A
B A B k
BX
的 各 次 方 幂,,,,组 成 的 序 列 会趋 近 于 一 个 固 定 的 方 阵,即 当,
且 的 每 一 行 均 为 ；
②
23( ) ( ) ( )
( ) ( )
T T T k T
kT
A u A u A u A u
X A X k
设 为 任 一 维 概 率 向 量,
则 向 量 序 列,,,,
趋 近 于 概 率 向 量 即 有
③
例 2 试用正规随机矩阵 验证上述定理01
11
22
A
12
21
1 2 2
[]
1
2
1
2
TT
X x x A X X
xx
x x x
解 设 概 率 向 量 满 足 方 程 组,
于 是 便 得 到 方 程 组
1 2 1 2x x x x将 两 个 方 程 相 加,得 到 恒 等 式,
故 这 两 个 方 程 不 是 相 互 独 立 的 。
12
21
12
1
1
2
1
xx
xx
xx
用 方 程 来 取 代 上 述 方 程 组 中 的 第 二 个 方 程,
得 到 新 的 方 程 组
12
12[ ] [ ]
33
TTX x x
解 之 得
1 2 3
12
33
12
33
T
A A A
XB
B
进 一 步,矩 阵 序 列,,,趋 近 于 各 行都 以 向 量 所 构 成 的 方 阵 。
事实上，有
234
56
351311
884422
,,,
351 3 5 1 1
884 4 1 6 1 6
5 1 1 1 1 2 1
1 6 1 6 3 2 3 2
,
1 1 2 1 2 1 4 3
3 2 3 2 6 4 6 4
A A A
A A B
12[ ] ( )
()
Tk
k T T
u u u A B k
A u B u
另 设 为 任 一 概 率 向 量,由可 得
12
1
2
12
1 1 1 1
( )
3 3 3 3
2 2 1 2
( )
3 3 3 3
T
uu
u
B u X
u
uu
第三节 马尔可夫链一、一般随机过程
1.定义：
{ ( ),}
()
t X t t T
tT
X t S
依 赖 于 一 个 变 动 参 数 的 一 族 随 机 变 量 。
其 中,变 动 参 数 所 有 可 取 值 的 集 合 为 参 数 空 间 。
的 值 所 构 成 的 集 合 称 为 随 机 过 程 的 状 态 空 间 。
,0
0
{,0 }
t
t
t
t t N
Nt
例 如 从 时 间 开 始 记 录 某 电 话 总 机 的 呼 叫 次 数,
设 时 没 有 呼 叫,至 时 刻 的 呼 叫 次 数 记 为,则随 机 变 量 族 是 随 机 过 程 。
2.马氏过程：
()t X t
t
若 已 知 在 时 间 系 统 处 于 状 态 的 条 件 下,在 时 刻系 统 所 处 状 态 与 时 刻 以 前 系 统 所 处 的 状 态 无 关,此 过 程便 为 马 尔 可 夫 过 程 （ 随 机 过 程 的 一 个 子 类 ） 。
,
()
()
t
t t X t
t X t
例 如 在 布 朗 运 动 中,已 知 时 刻 下 的 运 动 状 态 条 件 下,微粒 在 后 的 运 动 情 况 和 微 粒 在 以 前 的 情 况 无 关 。 若 表示 微 粒 在 时 刻 的 位 置,则 是 马 尔 可 夫 过 程 。
TS
TS
TS
连 续,离 散 的 马 氏 过 程马 氏 过 程 连 续,连 续 的 马 氏 过 程离 散,离 散 的 马 氏 过 程 （ 马 尔 可 夫 链 ）
二、马尔可夫链
1.定义：
1
1
1 2 - 1
1
{,1,2,}
( ) ( | )
,”,,
0
( |,,1,2,- 1 )
nn
ij n n
nn
n
n n k k
X n X i
n i p n p X j X i
X i X j
i i i i j n
p X j X i X i k n
设 是 一 个 随 机 变 量 序 列,用,,表 示时 刻 系 统 处 于 状 态 这 一 事 件,称为 事 件 出 现 的 条 件 下,事 件 出 现 的 概率,又 称 它 为 系 统 的 一 步 转 移 概 率 。 若 对 任 意 的 非 负 整 数
、,,,及 一 切,有
1
( | ) ( ),
{}
n n ij
n
p X j X i p n
X
则 称 是 一 个 马 尔 可 夫 链 。
1
{}
m
m m m
A B C D E
Xm
X X X
例 如,有 一 位 顾 客 每 天 向 一 家 商 店 买 一 包 香 烟 。 他 购 买 香 烟并 不 固 定 于 一 种 牌 号,商 店 中,,,,五 种 牌 号 的 香烟 他 都 有 可 能 购 买 。 设 表 示 他 在 第 天 购 买 的 香 烟 牌 号 。
若 这 个 人 只 记 得 昨 天 抽 烟 的 味 道,以 前 的 都 记 不 得 了,那 么取 什 么 值,只 与 取 什 么 值 有 关,则 构 成 一 个 马 尔可 夫 链 。
2.齐次马尔可夫链
11
( | ) ( | )
s k s k
i k j
p X j X i p X j X i
i j k s
若 系 统 无 论 何 时 从 状 态 出 发,经 步 转 移 到 状 态 的概 率 都 相 同,即 有 下 式 成 立,
其 中,,,皆 为 正 整 数,为 任 一 正 整 数,
则 称 此 马 尔 可 夫 链 为 齐 次 马 尔 可 夫 链 。
1( ) ( | )
n
ij n n
ij
p n p X j X i
p
若 系 统 的 一 步 转 移 概 率 与初 始 时 刻 无 关,可 以 简 记 为 。
i jiip
ijp
jjp
jip
一步转移概率具有以下性质：
1
0 (,1,2,,)
1 ( 1,2,,)
ij
n
ij
j
p i j n
p i n
把各状态之间的一步转移概率排成矩阵，称为状态矩阵
11 1
1
n
n nn
pp
P
pp
每个状态 i对应状态矩阵 P的第 i行。
例 3,（天气预报问题）
如 果 明 日 是 否 有 雨 仅 与 今 日 天 气 （ 是 否 有 雨 ） 有 关,而与 过 去 的 天 气 无 关,并 设 今 日 下 雨,则 明 日 下 雨 的 概 率为,今 日 无 雨 则 明 日 有 雨 的 概 率 为 ； 又 假 定 把 有 雨 称为 0 状 态 天 气,无 雨 状 态 称 为 1 状 态 天 气,则 本 例 是 一 个两 状 态 的 马 尔 可 夫 链 。 它 的 一 步 转 移 概 率 矩 阵 为
1
1P
0
0 1
1
三,k步转移概率与 k步转移矩阵
★ k步转移概率系统从状态 i恰好经 k步转移到状态 j的概率。
() 11{ | }ki j kp p X j X i记 为 。
★ k步转移矩阵
() ×()kkij n nPp?
( ) ( )
()
1
,0 (,1,2,,)
1 ( 1,2,,)
kk
ij
n
k
ij
j
P p i j n
p i n
显 然 为 概 率 矩 阵 即 有例 4,某商店对前一天来店分别购买 A,B,C牌号的顾客各
100名的购买情况进行统计（每天都购买一包），统计结果如下表所示：
今天购买情况顾客数量前次购买品牌
A
B
C
A B C
20
20
30
50
70
30
30
10
40
{ | 1,2,}
A B C
m
m
Xm
Xm
设 顾 客 在 每 次 购 买 香 烟 时,只 对 他 前 次 所 吸 牌 号 有 印 象,
因 此,可 采 用 齐 次 马 氏 链 描 述 顾 客 对 香烟 的 需 求 状 况 。 随 机 变 量 表 示 顾 客 在 第 天 购 买 的 香烟 牌 号 。 用 1,2,3 分 别 表 示 顾 客 购 买,,三 牌 号香 烟 的 不 同 状 态 。
假定一位顾客在第一天购买牌号 A的香烟，试问他在第三天购买牌号 B的概率是多少呢？
——求二步转移概率
0,2 0,5 0,3
0,2 0,7 0,1
0,3 0,3 0,4
P
解,马 氏 链 的 一 步 转 移 矩 阵
1 1 1 2 1 3
1 2 2 2 3 2
( 2 )
1 2 3 1
A A B C
0,2,0,5,0,3 A B
C B 0,5,0,7,0,3,
B ( 2 | 1 )
p p p
p p p
p p X X
如 设 第 一 天 购 买 牌 号,第 二 天 购 买,,牌 号 的 概率 分 别 为 ； 而 第 二 天 买,,
,第 三 天 买 的 概 率 为 则 第三 天 购 买 的 概 率 为 二 步 转 移 概 率 。
根据概率乘法公式与互斥性得
12
( 2 )
1 2 1 1 1 2 1 2 2 2 1 3 3 2 1 1 1 2 1 3 2 2
32
0.5
0,2 0,5 0,3 0,7 0,54
0.3
p
p p p p p p p p p p p
p
A
C
B B （ 第 三 天 ）A （ 第 一 天 ）
（ 第 二 天 ）
11p
12p
13p
12p
22p
32p
更一般地，
( 2 ) ( 1 ) ( 1 )
( 2 ) ( 2 ) 2[]
ij ik k j
k
ij n n
p p p
P p P P P?
可得齐次马氏链的二步转移概率及二步转移矩阵
1
l
2
ji
1ip
2ip
ilp
2jp
1jp
ljp
n
inp njp
上例中二步转移矩阵进一步，还有下式成立（切普曼 -柯尔莫哥洛夫方程）：
( 2 ) 2
0.23 0.54 0.23
0.21 0.62 0.17
0.24 0.48 0.28
PP
( ) ( ) ( )
( ) ( ) ( )
,n m n mi j i k k j
k
n m n m
p p p
P P P
应用切普曼 -柯尔莫哥洛夫方程易知：
( ) ( 1 )n n nP P P P
例 5,0,7 0,4在 天 气 预 报 问 题 中,＝,＝,则
0,7 0,3
0,4 0,6P
于是，两步转移概率矩阵为
( 2 ) 0,7 0,3 0,7 0,3 0,6 1 0,3 9
0,4 0,6 0,4 0,6 0,5 2 0,4 8P P P
四步转移概率矩阵为
( 4 ) ( 2 ) ( 2 ) 0,5 7 4 9 0,4 2 5 1
0,5 6 6 8 0,4 3 3 2P P P
( 4 )00 0.5749P?由 此 可 知,今 日 有 雨 第 五 日 仍 有 雨 的 概 率 为初始概率分布记为
( 0 ) ( 0 ) ( 0 ) ( 0 ) ( 0 )
0 1 2 0
1
,{ } 0,1nTn i i
i
p X i
第 k步转移概率记为
( ) ( ) ( ) ( ) ( )
12
1
,{ } 0,1
nTk k k k k
k n j k j
j
p X j
由乘法公式得
( ) ( 0 ) ( )00{ } { | } { }kkj k k i ij
ii
p X j p X j X i p X i p
写成向量形式为：
0()kTk P
四、稳态概率
1.定义：
( ) * * *
* * * *
12
l im 1 { }
n
j j j jn
j
T
j
若 极 限 存 在,且,则 称 为 系 统的 平 稳 分 布,为 系 统 的 稳 态 概 率 向 量 。
2.性质：
★ 稳态概率分布与初始分布无关。
★
* * * *
12
* * * *
T
j
T
j
P
Pj
若 马 尔 可 夫 链 是 标 准 的,即 它 的 转 移 概 率 矩 阵 是 一 个正 规 随 机 矩 阵,则 存 在 一 个 概 率 向 量满 足,即 为 状 态 的 稳 态 概 率,为 稳 态 概 率向 量 。
而随着步数的增大，有性质 2可以这样理解
10 0 1[ ] [ ]k T T k T TkkP P P P
由于
*1l i m l i mkk
kk
由上式知，
**TP 。
注：若转移矩阵为正规随机矩阵，则系统就必然存在平衡状态。
性质 2同时给出了一个求解稳态概率向量的方法
1
1,n i
i
x
结 合 有
1
1
T
n
i
i
P X X
x
（ 1 ）
（ 2 ）
12[ ]
T
nX x x x?其 中,,式 (1) 称 为 平 衡 方 程 。 尽 管 在 平衡 方 程 中 变 量 数 与 方 程 数 相 等,但 在 转 移 矩 阵 中 必 须 满足 每 行 元 素 之 和 为 1,所 以 应 联 合 式 (2),( 用 式 (2) 替 换式 (1) 中 某 一 个 方 程 即 可 ),式 (2) 称 为 规 范 化 方 程 。
求解上述方程组，即得稳态概率向量 X
例 6：一步转移矩阵
12
P
[ ] TnX x x x?
为 正 规 随 机 矩 阵,则 系 统 必 存 在 唯 一 稳 态 概 率 向 量
,由 上 述 公 式 可 得
0.2 0.5 0.3
0.2 0.7 0.1
0.3 0.3 0.4
P
1 2 3 1
1 2 3 2
1 2 3
0.2 0.2 0.3
0.5 0.7 0.3
1
x x x x
x x x x
x x x
[0,2 2 0,5 7 0,2 1 ] A B
C
TXX?解 得,即 为 平 稳 状 态 下,,
三 种 牌 号 香 烟 的 购 买 率 。
综上所述，一般的齐次马尔可夫链具有如下性质：
0[]
k
kT
k
k
P
第 步 转 移 概 率 向 量 与 初 始 概 率 向 量 有 如 下 关 系,
③
P转 移 矩 阵 是 一 个 随 机 矩 阵 。①
* * * * * *
12
( ) *
*
0
( a ) ( ) ( )
( b ) ( ) ( ),l im ( )
T
n
kT
kT
k k j
k
P
P
P B k B
P k p X j
若 概 率 转 移 矩 阵 是 一 个 正 规 随 机 矩 阵,则 系 统 存 在 一 个唯 一 的 稳 态 概 率 向 量,使 得,且时,的 每 一 行 向 量 相 同,全 为 ；
亦 即 。
④
( ) ( ) ( ) ( )n n n m n m
i j i k k j
k
nn
P P n p p p
步 状 态 转 移 矩 阵 等 于 一 步 状 态 转 移 矩 阵 的 次 方,即
,且 步 转 移 概 率 为 。
②
五、马尔可夫分析应用实例
A B C
50 % 30 %
20%
{ | 1,2 }
N N N A B C
m
m
Xm?
1 2 3
例 7,,,三 家 公 司 生 产 同 一 种 产 品 。 根 据 调 查 得 知,
各 家 公 司 产 品 上 月 占 据 市 场 的 份 额 分 别 为,
和 。 设 第 个 月 顾 客 对 这 种 产 品 的 各 种 牌 号 的 需求 状 况 可 用 一 个 齐 次 马 尔 可 夫 链 表 示 。
令 状 态,,分 别 表 示 买,,公 司 产 品,
相 应 的 概 率 转 移 矩 阵
0,70 0,10 0,20
0,10 0,80 0,10
0,05 0,05 0,90
P
试 问,本 月 和 下 月 三 家 公 司 产 品 占 据 市 场 的 份 额 各 为多 少？ 一 年 后 三 家 公 司 产 品 占 据 市 场 的 分 额 各为 多 少？
解,上月购买 A公司产品的顾客中，本月将有 70%仍买
A公司的产品，上月购买 B公司产品的顾客中，本月将有
10%转买 A公司产品；上月购买 C公司产品的顾客中，本月将有 5%转买 A公司产品。因此 A公司产品本月占据市场分额为
0,5 0,70 0,30 0,10 0,2 0,05
0,70
0,5 0,3 0,2 0,10 0,39
0,05
0,5 0,3 0,2 T其 中,初 始 概 率 向 量 表 示 上 月 三 家 公 司 产 品占 据 市 场 的 分 额,于 是 描 述 本 月 各 公 司 占 据 市 场 分 额 的 概率 向 量 为
0,5 0,3 0,2 0,3 9 0,3 0 0,3 1P?
描述下月各公司产品占据市场分额的概率向量为
20,3 9 0,3 0 0,3 1 0,5 0,3 0,2 0,3 2 0,2 9 0,3 9PP
描述一年后各公司产品占据市场分额的概率向量为
120,5 0,3 0,2 P
P是正规随机矩阵，故此概率向量近似于稳态概率，求解方程
1 2 3 1
1 2 3 2
1 2 3
0,7 0,1 0,0 5
0,1 0,8 0,0 5
1
* 0,1 8 0,2 3 0,5 9 A
5 0 1 8
T可 得 。 故 公 司 产 品 所 占 市 场 分 额一 年 后 将 由 年 初 的 ％ 下 降 到 ％,情 况 堪 忧 。
例 8,（订货决策）某商店经营一种易腐食品，出售后一个单位可获利 a＝ 5元。若当天售不出去，则每单位损失
b＝ 3元。该店经理统计了连续 40天的需求情况（不是实际销售量）。现将所得数据列出如下：
3,3,4,2,2,4,2,3,4,4,4,3,2,4,2,3,3,4,2,2,4,3,4,3,2,3,4,2,3,2,
2,3,4,2,4,4,3,2,3,3
经理想应用马尔可夫链来预测需求量，确定明天进货量。
①已知当天需求量为 3个单位，明日应进货多少单位？
②若不知当天需求量，明日应进货多少单位？
解,
12
3
1 1 1 2 1 3
2 1 2 2 2 3
3 1 3 2 3 3
2
3 6 4
4 3 6
6 4 3
NN
N
N N N N N N
N N N N N N
N N N N N N
令 状 态 需 求 量 为 个 单 位,状 态 需 求 量 为 3 个 单 位,
状 态 需 求 量 为 4 个 单 位,状 态 转 移 的 情 况 是,
,次 ；,次 ；,次
,次 ；,次 ；,次
,次 ；,次 ；,次于是，此马尔可夫的转移概率矩阵 3 6 4
13 13 13
4 3 6
13 13 13
6 4 3
13 13 13
P
求解方程组
1 2 3 1
1 2 3 2
1 2 3
3 4 6
1 3 1 3 1 3
6 3 4
1 3 1 3 1 3
1
x x x x
x x x x
x x x
111
333
T
X
得稳态概率向量
33 0,3 7 5
5 3 8
b
ab
用边际分析思想解决问题
23
( 4 3 )
6 0,4 6 2
13
p
bp
ab
明 日 的 需 求 量 | 当 天 需 求 量
4? 明 日 应 进 货 个 单 位 （ 第 一 问 的 答 案 ）
2
23
1
( 3 )
3
2
( 3 )
3
b
px
ab
b
p x x
ab
明 日 的 需 求 量明 日 的 需 求 量
3? 明 日 应 进 货 个 单 位 （ 第 二 问 的 答 案 ）
用边际分析思想解决问题第四节 吸收马尔可夫链一、吸收马尔可夫链
★ 吸收态
1iii p i
i
i
对 于 马 尔 可 夫 链 的 状 态,如 果,即 到 达 状 态 后,
永 久 停 留 在,不 可 能 再 转 移 到 其 它 任 何 状 态,那 么,
就 称 状 态 为 吸 收 状 态 或 吸 收 态,否 则 为 非 吸 收 态 。
★ 吸收马尔可夫链若 一 个 马 氏 链 至 少 有 一 个 吸 收 态,且 任 何 一 个 非 吸 收态 到 吸 收 态 是 可 能 的 （ 不 必 是 一 步 ）,则 称 马 氏 链 为吸 收 马 尔 可 夫 链 。
例 9：甲、乙两人进行比赛，每局比赛中甲胜的概率是 p，乙胜的概率是 q,和局的概率是 r (p+q+r=1) 。每局赛后胜者记
,+1”分，负者记,-1”分,和局不记分，当有一个获得 2分时
{,1,2 }nnX n X n?以 表 示 比 赛 到 第 局 时 所 得 的 分 数,则就 是 一 个 吸 收 马 氏 链 。
结束比赛。
{ 2,1,0,1,2 }I状 态 空 间 = 1 0 0 0 0
0 0
0 0
0 0
0 0 0 0 1
q r p
P q r p
q r p
一 步 转 移 概 率 矩 阵
1 0 0 0 0
0 0
0 0
0 0
0 0 0 0 1
q r p
P q r p
q r p
一 步 转 移 概 率 矩 阵
1 1 5 51,1,1 5pp其 中,这 表 明,都 是 吸 收 态 。
其余三个非吸收态都可能经若干步转移后到达吸收态。
★吸收马氏链将被吸收的概率为 1，或说吸收马氏链 n步后，到达非吸收态的概率趋向于零。（被吸收：过程达到吸收态）
对于吸收马氏链，感兴趣的是如下三个问题：
①过程被吸收前，在非吸收态之间转移的平均次数是多少？
②过程从非吸收态出发到达吸收态的平均步数是多少？
③过程从非吸收态出发最终进入吸收态的概率是多少？
对于一个有 r个吸收态和 s个非吸收态的吸收马氏链，经过适当排列（将吸收态集中在一起排列在前面）的 一步转移概率矩阵 P总可以表示为如下的标准形式：
0
IP
RQ
r个 吸 收 态
s个 非 吸 收 态
r个 吸 收 态 s个 非 吸 收 态
0
I r r
rs
R r s
Q s s
其 中,
是 一 个 阶 单 位 矩 阵,它 的 元 素 是 吸 收 态 之 间 的 转 移 概 率 ；
是 一 个 阶 零 矩 阵,它 的 元 素 是 吸 收 态 到 非 吸 收 态 的 转 移 概 率 ；
是 一 个 阶 子 阵,它 的 元 素 是 非 吸 收 态 到 吸 收 态 的 转 移 概 率 ；
是 一 个 阶 单 位 矩 阵,它 的 元 素 是 非 吸 收 态 之 间 的 转 移 概 率 。
()nnP步 转 移 概 率 矩 阵 的 分 块 形 式 如 下,
( 2 )
2
0 0 0
IIIP
R Q R Q Q R R Q
( 3 ) 3
23
0
IPP
Q R Q R R Q
()
12
1
0
[ ]
0
[ ] [ ]
nn
n n n
n n n
I
PP
Q Q I R Q
I
I Q I Q R Q
1[ ] [ ],
n
nn
Qn
I Q I Q R n
,非 吸 收 态 之 间 步 转 移 概 率 矩 阵 ；
非 吸 收 态 经 步 到 吸 收 态 的 转 移 概 率 矩 阵 。
1
n
0
l im
[ ] 0
n
n
I
P
I Q R
步 后 过 程 达 到 非 吸 收 态 的 概 率 趋 向 于 零,
故表 示 过 程 全 被 吸 收
1[]I Q R 的 元 素,
目 前 处 于 非 吸 收 态,最 终 进 入 吸 收 态 的 转 移 概 率 。
1[]N I Q
基 本 矩 阵 （ 特 征 量 ）,
,从 非 吸 收 态 转 移 到 每 个 吸 收 态 的 平 均 步 数 。
例 10：
1
2
1
2
0 1 2 3 4 0 4
一 物 体 作 线 性 运 动,每 次 它 以 概 率 向 右 移 动 一 单 位,或 以概 率 向 左 移 动 。 设 置 障 碍 后,若 物 体 任 何 时 候 到 达 这 些 障碍 之 一 它 将 留 在 那 儿 。 令 状 态 为,,,,。 状 态,是 吸 收 态,
其 余 为 非 吸 收 态,且 从 中 任 一 个 到 达 吸 收 态 是 可 能 的 。
解：该过程是一个吸收马氏链，它的转移概率矩阵
1 0 0 0 0
11
0 0 0
22
11
0 0 0
22
11
0 0 0
22
0 0 0 0 1
P
P的标准形式为
1 0 0 0 0
0 1 0 0 0
11
0 0 0
22
11
0 0 0
22
11
0 0 0
22
P
1
0 0
2
11
0
22
1
0 0
2
Q
1
1 0
2
11
1
22
1
0 1
2
IQ
其中 于是
1
31
1
22
[ ] 1 2 1
13
1
22
N I Q
由 N知，从状态 2出发，在吸收前到达状态 1,2,3的平均步数分别为 1,2,1。
对于一个具有非吸收态的吸收马氏链，令 c是有 s（非吸收态个数）个分量为 1的列向量，则向量 t＝ Nc具有的各个分量是从各个相应的非吸收态出发到被吸收时的平均步数。
例 11：续上例，求 t
31
1
1322
1 2 1 1 4
1 3 1 3
1
22
t Nc
解于是，从状态 1,2,3开始到吸收的平均步数分别是
3,4,3。
ij
ij
bi
j
Bb
令 是 一 个 吸 收 马 氏 链 开 始 在 非 吸 收 态,将 被 吸 收 在 状态 的 概 率 。
令 是 具 有 元 素 的 矩 阵
ij
ij
p i k j
从 非 吸 收 态 到 吸 收 态,可 以 是 一 步 转 移,转 移 概 率 是； 也 可 以 通 过 中 间 状 态,先 从 到 （ 非 吸 收 态 ） 再 到,
故 可 得 方 程,
ij ij ik k jkb p p b
写成矩阵形式为
1
[]
[]
B R Q B
I Q B R
B I Q R N R?
例 12 续上两例，由 N及 R，立即得
31
3 1 1
1 0 44
2 2 2
11
1 2 1 0 0
22
1 3 1
13 1 0
2 2 2
44
B NR
3
1
4
1
4
4
于 是,如 从 状 态 出 发,可 知 在 状 态 0 吸 收 的 概 率 为,
在 状 态 吸 收 的 概 率 为 。
综上所述矩阵 N：给出了依赖开始状态的过程被吸收前到达每个非吸收态的平均次数。
向量 t＝ Nc：给出了依赖开始状态的吸收前的平均次数。
矩阵 B＝ NR：给出了依赖开始状态的在每个吸收态被吸收的概率。
例 13 (企业经营状况分析 )某地企业管理部门为掌握企业经营状况的变化规律，对有关企业作了一次跟踪调查统计，得如下统计表：
前年经营状况去年经营状况好 中 差 兼并 破产倒闭好中差
20
60
10
90
30
60
30
120
10
18
50
78
0
2
7
9
0
0
3
3
100
100
100
300?（ 求 和 ）
求和经营条件稳定，不妨假定为齐次马氏链。
由上表可得经营状况得转移矩阵如下：
1 0 0 0 0
0 1 0 0 0
0
0 0 0,6 0,3 0,1
0,0 2 0 0,2 0,6 0,1 8
0,0 7 0,0 3 0,1 0,3 0,5
I
P
RQ
兼并 破产 好 中 差兼并破产好中差由
()
12
0
[ ]
nn
n n n
IPP
Q Q I R Q
求得
( 3 )
1 0 0 0 0
0 1 0 0 0
0,0 3 2 2 8 0,0 0 7 9 2 0,3 5 2 4 0,4 1 2 2 0,1 9 5 20
0,0 6 9 3 4 0,0 1 1 9 4 0,2 7 1 4 0,4 2 7 2 0,2
P?
2012
0,1 4 0 1 8 0,0 5 4 4 2 0,2 0 5 4 0,3 6 1 2 0,2 3 8 8 0
由 知现在经营状况好的企业，经过三年运营仍然保持好的概率为 35.24％；变为中等的概率为 41.22%…… 而转为“破产倒闭,的概率大约只为 0.792％，余类推。
(3) P
1
11.23 13.85 7.23
[ ] 9,08 14,6 2 7,08
7,69 11,5 4 7,69
N I Q?
1
0.7 83 1 0.2 16 9
[ ] 0.7 88 0.2 12 4
0.7 69 1 0.2 30 7
B I Q R?
由 B知，若企业处于“好”的状况，则最终进入“兼并
”的可能性为 78.31％；最终进入“倒闭”的可能性为
21.69％，余类推。
由 N知，若企业处于“好”的状况，则最终进入“吸收
”状态前，将可能在“好”状态保持 11.23年；在“中”
状态度过 13.85年；而在“差”状态维持 7.23年，余类推
。
最后，由 t＝ Nc得（ s＝ 3）
1 1,2 3 1 3,8 5 7,2 3 1 3 2,3 1
9,0 8 1 4,6 2 7,0 8 1 3 0,7 8
7,6 9 1 1,5 4 7,6 9 1 2 6,9 2
t
由 t知，企业由“好”状况出发到“兼并”或“倒闭”为止，平均经过 32.31年；由“中”出发只需 30.78年；由
“差”出发只需 26.92年。
二、银行不良债务分析的马尔可夫模型
1,不良贷款状态划分
1
2
3
4
5
0 6 0
6 1 1 8 0
1 8 1 3 6 0
360
N
N
N
N
N
— — 逾 期 贷 款,拖 延 支 付 本 金 利 息 达 ～ 天
— — 怀 疑 贷 款,拖 延 支 付 本 金 利 息 达 ～ 天
— — 呆 滞 贷 款,拖 延 支 付 本 金 利 息 达 ～ 天
— — 呆 帐 贷 款,拖 延 支 付 本 金 利 息 超 过 天
— — 付 清 本 金 和 利 息
2,不良贷款分析的 Markov模型
⑴ 模型结构
★ 随机变量，表示第 t月时贷款。
tX
★ t 时间（月）,t＝ 0,1,2,…… 。
★ S 状态集合，,其中为前面规定的贷款状态
1 2 3 4 5{,,,,}S N N N N N?
1 2 3 4 5,,,,N N N N N
1 2 3
45
{,,}
{,}
T N N N
A N N
状 态 集 合 可 划 分 为 两 类,
（ 非 吸 收 状 态 ）
（ 吸 收 状 态 ）
★ P 状态转移矩阵，表示每隔 1月的各种状态的转移情况
11 12 13 14 15
21 22 23 24 25
31 32 33 34 35
41 42 43 44 45
51 52 53 54 55
p p p p p
p p p p p
P p p p p p
p p p p p
p p p p p
5
1
1
0,1 ( 1,2,3,4,5 ; 1,2,3,4,5 )
ij i j
ij ij
i
p N N
p p i j
其 中,表 示 当 前 处 于 状 态,月 后 处 于 的 概 率并 有,
45NN根 据,是 吸 收 态,可 得
1 1 1 2 1 5
2 1 2 2 2 3 2 5
3 1 3 2 3 3 3 4 3 5
0 0
0
0
0 0 0 1 0
0 0 0 0 1
p p p
p p p p
QR
P p p p p p
I
1N 2N 3N 4N 5N
1N
2N
3N
4N
5N
T A
T
A
1 1 1 2
2 1 2 2 2 3
3 1 3 2 3 3
0
pp
Q p p p
p p p
15
25
34 35
0
0
p
Rp
pp
1 0
0 1I
其中：
⑵ 计算步骤
①计算特征量（基本矩阵）
1
1 1 1 2 1 1 1 2 1 3
1
2 1 2 2 2 3 2 1 2 2 2 3
3 1 3 2 3 33 1 3 2 3 3
1 0
[ ] 1
1
pp m m m
N I Q p p p m m m
m m mp p p
②计算矩阵
1
1511 12 11 12
21 22 23 25 21 22
31 3231 32 33 34 35
0 1 0
1 0
1
pp p b b
N R p p p p b b
bbp p p p p
③计算,其中 D为基期贷款中最终转为呆帐的数目； G为最终付清的贷款数目。
0001 2 3[ ] [ ]D G N R
⑶分析
①各种状态转为呆帐及付清的概率
11
12
21
22
31
32
b
b
b
b
b
b
— — 逾 期 贷 款 转 为 呆 帐 的 概 率 ；
— — 逾 期 贷 款 付 清 的 概 率 ；
— — 怀 疑 贷 款 转 为 呆 帐 的 概 率 ；
— — 怀 疑 贷 款 付 清 的 概 率 ；
— — 呆 滞 贷 款 转 为 呆 帐 的 概 率 ；
— — 呆 滞 贷 款 付 清 的 概 率 ；
②各种状态转为呆帐及付清的概率
1 1 1 1 2 1 3
2 2 1 2 2 2 3
3 3 1 3 2 3 3
()
()
()
T N m m m
T N m m m
T N m m m
— 逾 期 贷 款 转 化 为 呆 帐 或 付 清 的 平 均 时 间
— 怀 疑 贷 款 转 化 为 呆 帐 或 付 清 的 平 均 时 间
— 呆 滞 贷 款 转 化 为 呆 帐 或 付 清 的 平 均 时 间例 14 某银行当前借出贷款总额为 470万，其中属于 状态
200万，属于 状态 150万,状态 120万。而根据隔月帐面变化情况分析，近似得状态转移矩阵 2N 3N
1N
0,3 0,3 0 0 0,4
0,1 5 0,2 5 0,3 0 0,3
0,1 0,1 0,3 0,3 5 0,1 5
0 0 0 1 0
0 0 0 0 1
P
1N 2N 3N 4N 5N
1N
2N
3N
4N
5N
根据以上信息对贷款状态变化和趋势进行分析。
其中,是呆帐状态,是付清状态。4N 5N
⑴ 计算特征量
0.3 0.3 0
0.1 5 0,25 0.3
0.1 0.1 0.3
Q
0 0,4
0 0,3
0.3 5 0.1 5
R
1
1 1 1 2 1 3
1
2 1 2 2 2 3
3 1 3 2 3 3
0,7 0,3 0
[ ] 0,1 5 0,7 5 0,3
0,1 0,1 0,7
1,6 1 8 0,6 8 6 0,2 9 4
0,4 4 1 1,6 0 1 0,6 8 6
0,2 9 4 0,3 2 7 1,5 2 9
m m m
N m m m I Q
m m m
⑵计算矩阵
11 12
21 22
31 32
1,6 1 8 0,6 8 6 0,2 9 4 0 0,4
0,4 4 1 1,6 0 1 0,6 8 6 0 0,3
0,2 9 4 0,3 2 7 1,5 2 9 0,3 5 0,1 5
0,1 0 2 9 0,8 9 7 1
0,2 4 0 0,7 6 0
0.
bb
N R b b
bb
5 4 9 0,4 5 1
⑶计算 000
1 2 3
[ ] [ ]
0,10 29 0,89 71
[ 200 150 120 ] 0.24 0 0.76 0
0,54 9 0,45 1
[ 122,46 3 47.5 4]
D G NR
现有贷款 470万中，最终可能有 122.46万将成为呆帐。
逾期贷款 200万中，有 10.29％可能转为呆帐； 89.71％可能付清怀疑贷款 150万中，有 24％可能转为呆帐； 76％可能付清呆滞贷款 120万中，有 54.9%可能转为呆帐； 45.1％可能付清
★ 1907年由俄罗斯数学家马尔可夫（ A.Markov）提出，
并由蒙特 -卡罗 (Mote-Carlo)加以发展。
★ 用于分析随机事件未来发展变化的趋势，即利用某一变量的现状和动向去预测该变量未来的状态及动向，以预测未来某特定时期可能发生的变化，以便采取相应的对策。
★ 内容：马尔可夫过程、马尔可夫链第十四章 马尔可夫分析设某地居民的牛奶供应由 A,B,C三厂负责，每月订一次，假定牛奶固定销售给 1000户顾客，要订哪厂牛奶由顾客自己选择。因广告宣传、服务质量等原因，用户会改换厂家。假设有 6月份三个厂销售情况的市场调查记录，具体统计资料如下表所示：
29
0
4535300C
4905040500B
2204060200A
7月 1日顾客数失得6月 1日顾客数六月份顾客的变化牛奶厂例 1
29
0
4535300C
4905040500B
2204060200A
7月 1日顾客数失得6月 1日顾客数六月份顾客的变化牛奶厂
B A B
B 6 A 3 5 / 5 0 0 0,0 7
ijp i j
pBA
表 中 表 示 失 于 的 概 率,如 厂 六 月 份 失 于 厂 35 户,而 有
500 户,因 此,厂 月 份 失 于 的 概 率 为 。
2 5 / 3 0 0 0,0 8 3,1 6 0 / 2 0 0 0,8 0 0
20 / 20 0 0.1 00,45 0 / 50 0 0.9 00
20 / 30 0 0.0 67,20 / 20 0 0.1 00
15 / 50 0 0.0 30,25 5 / 30 0 0.8 50
pp
pp
pp
pp
C A A A
A B B B
C B A C
B C C C
同 理,可 得得失值及其概率
2006月 1日顾客数
A牛奶厂
7月 1日顾客数
B C
300500
490220 290
A
B
C
160 35 25
20 450 20
20 15 255
0,8 0 0p?AA 0,0 7 0p?BA 0,0 8 3p?CA
0,1 0 0p?AB 0,9 0 0p?BB 0,0 6 7p?CB
0,1 0 0p?AC 0,0 3 0p?BC 0,8 5 0p?CC
将上表的所得情况用概率矩阵的形式进行描述，则有
0.800 0.100 0.100
0.070 0.900 0.030
0.083 0.067 0.085
A
A
C
维持和损失
B
CB
维持和获得根据以上数据可做以下工作：
①预测未来某时刻各销售者的市场占有率；
③预测市场是否会出现市场平衡状态（稳定市场份额）；
②预测将来销售者的市场份额的得失比率；
④按对市场份额得失分析销售者的推销活动，指导厂家促销。
根据以上数据预测 8月 1日 A,B,C三厂的市场占有率，
则 8月 1日的状态为
0,8 0 0 0,1 0 0 0,1 0 0
0,2 2 0,4 9 0,2 9 0,0 7 0 0,9 0 0 0,0 3 0 0,2 3 4 0,4 8 3 0,2 8 3
0,0 8 3 0,0 6 7 0,0 8 5
A 0,2 2 0,8 0 0,4 9 0,0 7 0,2 9 0,0 8 3 0,2 3 4厂 的 市 场 份 额
A厂保持率 C厂转入率B厂转入率其中,向量为各厂 7月份的市场占有份额
（订户数与总订户数之比），则 8月份 A厂拥有全部顾客的 23.4%,B厂为 48.3%,C厂为 28.3%。
0,2 2 0,4 9 0,2 9
第二节 正规随机矩阵的基本知识
★ 概率向量
12
1
0,1
n
T
n i i
i
u u u u u u
u
任 何 一 个 向 量,若 且,
则 称 为 概 率 向 量 。
★ 概率矩阵
[] i j n nPp
P
在 方 阵 中,若 各 个 行 向 量 都 为 概 率 向 量,
则 称 为 概 率 矩 阵 或 随 机 矩 阵 。
概率矩阵具有以下性质：
性质 1：
[]n ij n n
T
u R A a
A u y
设 为 一 个 概 率 向 量,是 一 个 概 率 矩 阵,
则 也 是 一 个 概 率 向 量 。
证
11 1
12
1
12
1 1 1
1 1 1 1 1 1
[ ]
( ) 1
n
TT
n
m m n
n n n
i i i i i in
i i i
T
n n n n n n
i i ij i ij i
j j i i j i
aa
y u A u u u
aa
u a u a u a
y
y u a u a u
则 各 分 量 之 和 为
TAu所 以 为 一 个 概 率 向 量 。
性质 2：
n
A B A B
A
若 和 都 为 概 率 矩 阵,则 亦 为 概 率 矩 阵,
亦 为 概 率 矩 阵 。1
1
i
T
i
T
T
n
n
A A i
BA
AB
AB
AB
AB
A B A
用 表 示 由 矩 阵 的 第 行 组 成 的 向 量,
由 性 质 知,
都 是 概 率 向 量,
而故 的 每 一 行 组 成 的 向 量 均 为 概 率 向 量,
即 为 概 率 矩 阵,亦 为 概 率 矩 阵 。
证
★ 正规概率矩阵
,( 1 )mP m P m
P
对 任 一 概 率 矩 阵,若 存 在 使 得 为 大 于 的 正 整 数的 所 有 元 素 都 是 正 数,则 称 为 正 规 概 率 矩 阵 。
2
11
01
22
11
13
22
44
PP
,
2
101 0 1 0
,1 1 3 1 2 1 1
2 2 4 4 22
m m
mm
Q Q Q
，,
正规概率矩阵非正规概率矩阵概率矩阵具有一下性质：
若 A是一个正规概率矩阵，则有
TX A X X
X
一 定 存 在 一 个 概 率 向 量,使 得 成 立,
且 的 各 分 量 皆 为 正 数 ；
①
1 2 3
()
k
k
T
A A A A A
B A B k
BX
的 各 次 方 幂,,,,组 成 的 序 列 会趋 近 于 一 个 固 定 的 方 阵,即 当,
且 的 每 一 行 均 为 ；
②
23( ) ( ) ( )
( ) ( )
T T T k T
kT
A u A u A u A u
X A X k
设 为 任 一 维 概 率 向 量,
则 向 量 序 列,,,,
趋 近 于 概 率 向 量 即 有
③
例 2 试用正规随机矩阵 验证上述定理01
11
22
A
12
21
1 2 2
[]
1
2
1
2
TT
X x x A X X
xx
x x x
解 设 概 率 向 量 满 足 方 程 组,
于 是 便 得 到 方 程 组
1 2 1 2x x x x将 两 个 方 程 相 加,得 到 恒 等 式,
故 这 两 个 方 程 不 是 相 互 独 立 的 。
12
21
12
1
1
2
1
xx
xx
xx
用 方 程 来 取 代 上 述 方 程 组 中 的 第 二 个 方 程,
得 到 新 的 方 程 组
12
12[ ] [ ]
33
TTX x x
解 之 得
1 2 3
12
33
12
33
T
A A A
XB
B
进 一 步,矩 阵 序 列,,,趋 近 于 各 行都 以 向 量 所 构 成 的 方 阵 。
事实上，有
234
56
351311
884422
,,,
351 3 5 1 1
884 4 1 6 1 6
5 1 1 1 1 2 1
1 6 1 6 3 2 3 2
,
1 1 2 1 2 1 4 3
3 2 3 2 6 4 6 4
A A A
A A B
12[ ] ( )
()
Tk
k T T
u u u A B k
A u B u
另 设 为 任 一 概 率 向 量,由可 得
12
1
2
12
1 1 1 1
( )
3 3 3 3
2 2 1 2
( )
3 3 3 3
T
uu
u
B u X
u
uu
第三节 马尔可夫链一、一般随机过程
1.定义：
{ ( ),}
()
t X t t T
tT
X t S
依 赖 于 一 个 变 动 参 数 的 一 族 随 机 变 量 。
其 中,变 动 参 数 所 有 可 取 值 的 集 合 为 参 数 空 间 。
的 值 所 构 成 的 集 合 称 为 随 机 过 程 的 状 态 空 间 。
,0
0
{,0 }
t
t
t
t t N
Nt
例 如 从 时 间 开 始 记 录 某 电 话 总 机 的 呼 叫 次 数,
设 时 没 有 呼 叫,至 时 刻 的 呼 叫 次 数 记 为,则随 机 变 量 族 是 随 机 过 程 。
2.马氏过程：
()t X t
t
若 已 知 在 时 间 系 统 处 于 状 态 的 条 件 下,在 时 刻系 统 所 处 状 态 与 时 刻 以 前 系 统 所 处 的 状 态 无 关,此 过 程便 为 马 尔 可 夫 过 程 （ 随 机 过 程 的 一 个 子 类 ） 。
,
()
()
t
t t X t
t X t
例 如 在 布 朗 运 动 中,已 知 时 刻 下 的 运 动 状 态 条 件 下,微粒 在 后 的 运 动 情 况 和 微 粒 在 以 前 的 情 况 无 关 。 若 表示 微 粒 在 时 刻 的 位 置,则 是 马 尔 可 夫 过 程 。
TS
TS
TS
连 续,离 散 的 马 氏 过 程马 氏 过 程 连 续,连 续 的 马 氏 过 程离 散,离 散 的 马 氏 过 程 （ 马 尔 可 夫 链 ）
二、马尔可夫链
1.定义：
1
1
1 2 - 1
1
{,1,2,}
( ) ( | )
,”,,
0
( |,,1,2,- 1 )
nn
ij n n
nn
n
n n k k
X n X i
n i p n p X j X i
X i X j
i i i i j n
p X j X i X i k n
设 是 一 个 随 机 变 量 序 列,用,,表 示时 刻 系 统 处 于 状 态 这 一 事 件,称为 事 件 出 现 的 条 件 下,事 件 出 现 的 概率,又 称 它 为 系 统 的 一 步 转 移 概 率 。 若 对 任 意 的 非 负 整 数
、,,,及 一 切,有
1
( | ) ( ),
{}
n n ij
n
p X j X i p n
X
则 称 是 一 个 马 尔 可 夫 链 。
1
{}
m
m m m
A B C D E
Xm
X X X
例 如,有 一 位 顾 客 每 天 向 一 家 商 店 买 一 包 香 烟 。 他 购 买 香 烟并 不 固 定 于 一 种 牌 号,商 店 中,,,,五 种 牌 号 的 香烟 他 都 有 可 能 购 买 。 设 表 示 他 在 第 天 购 买 的 香 烟 牌 号 。
若 这 个 人 只 记 得 昨 天 抽 烟 的 味 道,以 前 的 都 记 不 得 了,那 么取 什 么 值,只 与 取 什 么 值 有 关,则 构 成 一 个 马 尔可 夫 链 。
2.齐次马尔可夫链
11
( | ) ( | )
s k s k
i k j
p X j X i p X j X i
i j k s
若 系 统 无 论 何 时 从 状 态 出 发,经 步 转 移 到 状 态 的概 率 都 相 同,即 有 下 式 成 立,
其 中,,,皆 为 正 整 数,为 任 一 正 整 数,
则 称 此 马 尔 可 夫 链 为 齐 次 马 尔 可 夫 链 。
1( ) ( | )
n
ij n n
ij
p n p X j X i
p
若 系 统 的 一 步 转 移 概 率 与初 始 时 刻 无 关,可 以 简 记 为 。
i jiip
ijp
jjp
jip
一步转移概率具有以下性质：
1
0 (,1,2,,)
1 ( 1,2,,)
ij
n
ij
j
p i j n
p i n
把各状态之间的一步转移概率排成矩阵，称为状态矩阵
11 1
1
n
n nn
pp
P
pp
每个状态 i对应状态矩阵 P的第 i行。
例 3,（天气预报问题）
如 果 明 日 是 否 有 雨 仅 与 今 日 天 气 （ 是 否 有 雨 ） 有 关,而与 过 去 的 天 气 无 关,并 设 今 日 下 雨,则 明 日 下 雨 的 概 率为,今 日 无 雨 则 明 日 有 雨 的 概 率 为 ； 又 假 定 把 有 雨 称为 0 状 态 天 气,无 雨 状 态 称 为 1 状 态 天 气,则 本 例 是 一 个两 状 态 的 马 尔 可 夫 链 。 它 的 一 步 转 移 概 率 矩 阵 为
1
1P
0
0 1
1
三,k步转移概率与 k步转移矩阵
★ k步转移概率系统从状态 i恰好经 k步转移到状态 j的概率。
() 11{ | }ki j kp p X j X i记 为 。
★ k步转移矩阵
() ×()kkij n nPp?
( ) ( )
()
1
,0 (,1,2,,)
1 ( 1,2,,)
kk
ij
n
k
ij
j
P p i j n
p i n
显 然 为 概 率 矩 阵 即 有例 4,某商店对前一天来店分别购买 A,B,C牌号的顾客各
100名的购买情况进行统计（每天都购买一包），统计结果如下表所示：
今天购买情况顾客数量前次购买品牌
A
B
C
A B C
20
20
30
50
70
30
30
10
40
{ | 1,2,}
A B C
m
m
Xm
Xm
设 顾 客 在 每 次 购 买 香 烟 时,只 对 他 前 次 所 吸 牌 号 有 印 象,
因 此,可 采 用 齐 次 马 氏 链 描 述 顾 客 对 香烟 的 需 求 状 况 。 随 机 变 量 表 示 顾 客 在 第 天 购 买 的 香烟 牌 号 。 用 1,2,3 分 别 表 示 顾 客 购 买,,三 牌 号香 烟 的 不 同 状 态 。
假定一位顾客在第一天购买牌号 A的香烟，试问他在第三天购买牌号 B的概率是多少呢？
——求二步转移概率
0,2 0,5 0,3
0,2 0,7 0,1
0,3 0,3 0,4
P
解,马 氏 链 的 一 步 转 移 矩 阵
1 1 1 2 1 3
1 2 2 2 3 2
( 2 )
1 2 3 1
A A B C
0,2,0,5,0,3 A B
C B 0,5,0,7,0,3,
B ( 2 | 1 )
p p p
p p p
p p X X
如 设 第 一 天 购 买 牌 号,第 二 天 购 买,,牌 号 的 概率 分 别 为 ； 而 第 二 天 买,,
,第 三 天 买 的 概 率 为 则 第三 天 购 买 的 概 率 为 二 步 转 移 概 率 。
根据概率乘法公式与互斥性得
12
( 2 )
1 2 1 1 1 2 1 2 2 2 1 3 3 2 1 1 1 2 1 3 2 2
32
0.5
0,2 0,5 0,3 0,7 0,54
0.3
p
p p p p p p p p p p p
p
A
C
B B （ 第 三 天 ）A （ 第 一 天 ）
（ 第 二 天 ）
11p
12p
13p
12p
22p
32p
更一般地，
( 2 ) ( 1 ) ( 1 )
( 2 ) ( 2 ) 2[]
ij ik k j
k
ij n n
p p p
P p P P P?
可得齐次马氏链的二步转移概率及二步转移矩阵
1
l
2
ji
1ip
2ip
ilp
2jp
1jp
ljp
n
inp njp
上例中二步转移矩阵进一步，还有下式成立（切普曼 -柯尔莫哥洛夫方程）：
( 2 ) 2
0.23 0.54 0.23
0.21 0.62 0.17
0.24 0.48 0.28
PP
( ) ( ) ( )
( ) ( ) ( )
,n m n mi j i k k j
k
n m n m
p p p
P P P
应用切普曼 -柯尔莫哥洛夫方程易知：
( ) ( 1 )n n nP P P P
例 5,0,7 0,4在 天 气 预 报 问 题 中,＝,＝,则
0,7 0,3
0,4 0,6P
于是，两步转移概率矩阵为
( 2 ) 0,7 0,3 0,7 0,3 0,6 1 0,3 9
0,4 0,6 0,4 0,6 0,5 2 0,4 8P P P
四步转移概率矩阵为
( 4 ) ( 2 ) ( 2 ) 0,5 7 4 9 0,4 2 5 1
0,5 6 6 8 0,4 3 3 2P P P
( 4 )00 0.5749P?由 此 可 知,今 日 有 雨 第 五 日 仍 有 雨 的 概 率 为初始概率分布记为
( 0 ) ( 0 ) ( 0 ) ( 0 ) ( 0 )
0 1 2 0
1
,{ } 0,1nTn i i
i
p X i
第 k步转移概率记为
( ) ( ) ( ) ( ) ( )
12
1
,{ } 0,1
nTk k k k k
k n j k j
j
p X j
由乘法公式得
( ) ( 0 ) ( )00{ } { | } { }kkj k k i ij
ii
p X j p X j X i p X i p
写成向量形式为：
0()kTk P
四、稳态概率
1.定义：
( ) * * *
* * * *
12
l im 1 { }
n
j j j jn
j
T
j
若 极 限 存 在,且,则 称 为 系 统的 平 稳 分 布,为 系 统 的 稳 态 概 率 向 量 。
2.性质：
★ 稳态概率分布与初始分布无关。
★
* * * *
12
* * * *
T
j
T
j
P
Pj
若 马 尔 可 夫 链 是 标 准 的,即 它 的 转 移 概 率 矩 阵 是 一 个正 规 随 机 矩 阵,则 存 在 一 个 概 率 向 量满 足,即 为 状 态 的 稳 态 概 率,为 稳 态 概 率向 量 。
而随着步数的增大，有性质 2可以这样理解
10 0 1[ ] [ ]k T T k T TkkP P P P
由于
*1l i m l i mkk
kk
由上式知，
**TP 。
注：若转移矩阵为正规随机矩阵，则系统就必然存在平衡状态。
性质 2同时给出了一个求解稳态概率向量的方法
1
1,n i
i
x
结 合 有
1
1
T
n
i
i
P X X
x
（ 1 ）
（ 2 ）
12[ ]
T
nX x x x?其 中,,式 (1) 称 为 平 衡 方 程 。 尽 管 在 平衡 方 程 中 变 量 数 与 方 程 数 相 等,但 在 转 移 矩 阵 中 必 须 满足 每 行 元 素 之 和 为 1,所 以 应 联 合 式 (2),( 用 式 (2) 替 换式 (1) 中 某 一 个 方 程 即 可 ),式 (2) 称 为 规 范 化 方 程 。
求解上述方程组，即得稳态概率向量 X
例 6：一步转移矩阵
12
P
[ ] TnX x x x?
为 正 规 随 机 矩 阵,则 系 统 必 存 在 唯 一 稳 态 概 率 向 量
,由 上 述 公 式 可 得
0.2 0.5 0.3
0.2 0.7 0.1
0.3 0.3 0.4
P
1 2 3 1
1 2 3 2
1 2 3
0.2 0.2 0.3
0.5 0.7 0.3
1
x x x x
x x x x
x x x
[0,2 2 0,5 7 0,2 1 ] A B
C
TXX?解 得,即 为 平 稳 状 态 下,,
三 种 牌 号 香 烟 的 购 买 率 。
综上所述，一般的齐次马尔可夫链具有如下性质：
0[]
k
kT
k
k
P
第 步 转 移 概 率 向 量 与 初 始 概 率 向 量 有 如 下 关 系,
③
P转 移 矩 阵 是 一 个 随 机 矩 阵 。①
* * * * * *
12
( ) *
*
0
( a ) ( ) ( )
( b ) ( ) ( ),l im ( )
T
n
kT
kT
k k j
k
P
P
P B k B
P k p X j
若 概 率 转 移 矩 阵 是 一 个 正 规 随 机 矩 阵,则 系 统 存 在 一 个唯 一 的 稳 态 概 率 向 量,使 得,且时,的 每 一 行 向 量 相 同,全 为 ；
亦 即 。
④
( ) ( ) ( ) ( )n n n m n m
i j i k k j
k
nn
P P n p p p
步 状 态 转 移 矩 阵 等 于 一 步 状 态 转 移 矩 阵 的 次 方,即
,且 步 转 移 概 率 为 。
②
五、马尔可夫分析应用实例
A B C
50 % 30 %
20%
{ | 1,2 }
N N N A B C
m
m
Xm?
1 2 3
例 7,,,三 家 公 司 生 产 同 一 种 产 品 。 根 据 调 查 得 知,
各 家 公 司 产 品 上 月 占 据 市 场 的 份 额 分 别 为,
和 。 设 第 个 月 顾 客 对 这 种 产 品 的 各 种 牌 号 的 需求 状 况 可 用 一 个 齐 次 马 尔 可 夫 链 表 示 。
令 状 态,,分 别 表 示 买,,公 司 产 品,
相 应 的 概 率 转 移 矩 阵
0,70 0,10 0,20
0,10 0,80 0,10
0,05 0,05 0,90
P
试 问,本 月 和 下 月 三 家 公 司 产 品 占 据 市 场 的 份 额 各 为多 少？ 一 年 后 三 家 公 司 产 品 占 据 市 场 的 分 额 各为 多 少？
解,上月购买 A公司产品的顾客中，本月将有 70%仍买
A公司的产品，上月购买 B公司产品的顾客中，本月将有
10%转买 A公司产品；上月购买 C公司产品的顾客中，本月将有 5%转买 A公司产品。因此 A公司产品本月占据市场分额为
0,5 0,70 0,30 0,10 0,2 0,05
0,70
0,5 0,3 0,2 0,10 0,39
0,05
0,5 0,3 0,2 T其 中,初 始 概 率 向 量 表 示 上 月 三 家 公 司 产 品占 据 市 场 的 分 额,于 是 描 述 本 月 各 公 司 占 据 市 场 分 额 的 概率 向 量 为
0,5 0,3 0,2 0,3 9 0,3 0 0,3 1P?
描述下月各公司产品占据市场分额的概率向量为
20,3 9 0,3 0 0,3 1 0,5 0,3 0,2 0,3 2 0,2 9 0,3 9PP
描述一年后各公司产品占据市场分额的概率向量为
120,5 0,3 0,2 P
P是正规随机矩阵，故此概率向量近似于稳态概率，求解方程
1 2 3 1
1 2 3 2
1 2 3
0,7 0,1 0,0 5
0,1 0,8 0,0 5
1
* 0,1 8 0,2 3 0,5 9 A
5 0 1 8
T可 得 。 故 公 司 产 品 所 占 市 场 分 额一 年 后 将 由 年 初 的 ％ 下 降 到 ％,情 况 堪 忧 。
例 8,（订货决策）某商店经营一种易腐食品，出售后一个单位可获利 a＝ 5元。若当天售不出去，则每单位损失
b＝ 3元。该店经理统计了连续 40天的需求情况（不是实际销售量）。现将所得数据列出如下：
3,3,4,2,2,4,2,3,4,4,4,3,2,4,2,3,3,4,2,2,4,3,4,3,2,3,4,2,3,2,
2,3,4,2,4,4,3,2,3,3
经理想应用马尔可夫链来预测需求量，确定明天进货量。
①已知当天需求量为 3个单位，明日应进货多少单位？
②若不知当天需求量，明日应进货多少单位？
解,
12
3
1 1 1 2 1 3
2 1 2 2 2 3
3 1 3 2 3 3
2
3 6 4
4 3 6
6 4 3
NN
N
N N N N N N
N N N N N N
N N N N N N
令 状 态 需 求 量 为 个 单 位,状 态 需 求 量 为 3 个 单 位,
状 态 需 求 量 为 4 个 单 位,状 态 转 移 的 情 况 是,
,次 ；,次 ；,次
,次 ；,次 ；,次
,次 ；,次 ；,次于是，此马尔可夫的转移概率矩阵 3 6 4
13 13 13
4 3 6
13 13 13
6 4 3
13 13 13
P
求解方程组
1 2 3 1
1 2 3 2
1 2 3
3 4 6
1 3 1 3 1 3
6 3 4
1 3 1 3 1 3
1
x x x x
x x x x
x x x
111
333
T
X
得稳态概率向量
33 0,3 7 5
5 3 8
b
ab
用边际分析思想解决问题
23
( 4 3 )
6 0,4 6 2
13
p
bp
ab
明 日 的 需 求 量 | 当 天 需 求 量
4? 明 日 应 进 货 个 单 位 （ 第 一 问 的 答 案 ）
2
23
1
( 3 )
3
2
( 3 )
3
b
px
ab
b
p x x
ab
明 日 的 需 求 量明 日 的 需 求 量
3? 明 日 应 进 货 个 单 位 （ 第 二 问 的 答 案 ）
用边际分析思想解决问题第四节 吸收马尔可夫链一、吸收马尔可夫链
★ 吸收态
1iii p i
i
i
对 于 马 尔 可 夫 链 的 状 态,如 果,即 到 达 状 态 后,
永 久 停 留 在,不 可 能 再 转 移 到 其 它 任 何 状 态,那 么,
就 称 状 态 为 吸 收 状 态 或 吸 收 态,否 则 为 非 吸 收 态 。
★ 吸收马尔可夫链若 一 个 马 氏 链 至 少 有 一 个 吸 收 态,且 任 何 一 个 非 吸 收态 到 吸 收 态 是 可 能 的 （ 不 必 是 一 步 ）,则 称 马 氏 链 为吸 收 马 尔 可 夫 链 。
例 9：甲、乙两人进行比赛，每局比赛中甲胜的概率是 p，乙胜的概率是 q,和局的概率是 r (p+q+r=1) 。每局赛后胜者记
,+1”分，负者记,-1”分,和局不记分，当有一个获得 2分时
{,1,2 }nnX n X n?以 表 示 比 赛 到 第 局 时 所 得 的 分 数,则就 是 一 个 吸 收 马 氏 链 。
结束比赛。
{ 2,1,0,1,2 }I状 态 空 间 = 1 0 0 0 0
0 0
0 0
0 0
0 0 0 0 1
q r p
P q r p
q r p
一 步 转 移 概 率 矩 阵
1 0 0 0 0
0 0
0 0
0 0
0 0 0 0 1
q r p
P q r p
q r p
一 步 转 移 概 率 矩 阵
1 1 5 51,1,1 5pp其 中,这 表 明,都 是 吸 收 态 。
其余三个非吸收态都可能经若干步转移后到达吸收态。
★吸收马氏链将被吸收的概率为 1，或说吸收马氏链 n步后，到达非吸收态的概率趋向于零。（被吸收：过程达到吸收态）
对于吸收马氏链，感兴趣的是如下三个问题：
①过程被吸收前，在非吸收态之间转移的平均次数是多少？
②过程从非吸收态出发到达吸收态的平均步数是多少？
③过程从非吸收态出发最终进入吸收态的概率是多少？
对于一个有 r个吸收态和 s个非吸收态的吸收马氏链，经过适当排列（将吸收态集中在一起排列在前面）的 一步转移概率矩阵 P总可以表示为如下的标准形式：
0
IP
RQ
r个 吸 收 态
s个 非 吸 收 态
r个 吸 收 态 s个 非 吸 收 态
0
I r r
rs
R r s
Q s s
其 中,
是 一 个 阶 单 位 矩 阵,它 的 元 素 是 吸 收 态 之 间 的 转 移 概 率 ；
是 一 个 阶 零 矩 阵,它 的 元 素 是 吸 收 态 到 非 吸 收 态 的 转 移 概 率 ；
是 一 个 阶 子 阵,它 的 元 素 是 非 吸 收 态 到 吸 收 态 的 转 移 概 率 ；
是 一 个 阶 单 位 矩 阵,它 的 元 素 是 非 吸 收 态 之 间 的 转 移 概 率 。
()nnP步 转 移 概 率 矩 阵 的 分 块 形 式 如 下,
( 2 )
2
0 0 0
IIIP
R Q R Q Q R R Q
( 3 ) 3
23
0
IPP
Q R Q R R Q
()
12
1
0
[ ]
0
[ ] [ ]
nn
n n n
n n n
I
PP
Q Q I R Q
I
I Q I Q R Q
1[ ] [ ],
n
nn
Qn
I Q I Q R n
,非 吸 收 态 之 间 步 转 移 概 率 矩 阵 ；
非 吸 收 态 经 步 到 吸 收 态 的 转 移 概 率 矩 阵 。
1
n
0
l im
[ ] 0
n
n
I
P
I Q R
步 后 过 程 达 到 非 吸 收 态 的 概 率 趋 向 于 零,
故表 示 过 程 全 被 吸 收
1[]I Q R 的 元 素,
目 前 处 于 非 吸 收 态,最 终 进 入 吸 收 态 的 转 移 概 率 。
1[]N I Q
基 本 矩 阵 （ 特 征 量 ）,
,从 非 吸 收 态 转 移 到 每 个 吸 收 态 的 平 均 步 数 。
例 10：
1
2
1
2
0 1 2 3 4 0 4
一 物 体 作 线 性 运 动,每 次 它 以 概 率 向 右 移 动 一 单 位,或 以概 率 向 左 移 动 。 设 置 障 碍 后,若 物 体 任 何 时 候 到 达 这 些 障碍 之 一 它 将 留 在 那 儿 。 令 状 态 为,,,,。 状 态,是 吸 收 态,
其 余 为 非 吸 收 态,且 从 中 任 一 个 到 达 吸 收 态 是 可 能 的 。
解：该过程是一个吸收马氏链，它的转移概率矩阵
1 0 0 0 0
11
0 0 0
22
11
0 0 0
22
11
0 0 0
22
0 0 0 0 1
P
P的标准形式为
1 0 0 0 0
0 1 0 0 0
11
0 0 0
22
11
0 0 0
22
11
0 0 0
22
P
1
0 0
2
11
0
22
1
0 0
2
Q
1
1 0
2
11
1
22
1
0 1
2
IQ
其中 于是
1
31
1
22
[ ] 1 2 1
13
1
22
N I Q
由 N知，从状态 2出发，在吸收前到达状态 1,2,3的平均步数分别为 1,2,1。
对于一个具有非吸收态的吸收马氏链，令 c是有 s（非吸收态个数）个分量为 1的列向量，则向量 t＝ Nc具有的各个分量是从各个相应的非吸收态出发到被吸收时的平均步数。
例 11：续上例，求 t
31
1
1322
1 2 1 1 4
1 3 1 3
1
22
t Nc
解于是，从状态 1,2,3开始到吸收的平均步数分别是
3,4,3。
ij
ij
bi
j
Bb
令 是 一 个 吸 收 马 氏 链 开 始 在 非 吸 收 态,将 被 吸 收 在 状态 的 概 率 。
令 是 具 有 元 素 的 矩 阵
ij
ij
p i k j
从 非 吸 收 态 到 吸 收 态,可 以 是 一 步 转 移,转 移 概 率 是； 也 可 以 通 过 中 间 状 态,先 从 到 （ 非 吸 收 态 ） 再 到,
故 可 得 方 程,
ij ij ik k jkb p p b
写成矩阵形式为
1
[]
[]
B R Q B
I Q B R
B I Q R N R?
例 12 续上两例，由 N及 R，立即得
31
3 1 1
1 0 44
2 2 2
11
1 2 1 0 0
22
1 3 1
13 1 0
2 2 2
44
B NR
3
1
4
1
4
4
于 是,如 从 状 态 出 发,可 知 在 状 态 0 吸 收 的 概 率 为,
在 状 态 吸 收 的 概 率 为 。
综上所述矩阵 N：给出了依赖开始状态的过程被吸收前到达每个非吸收态的平均次数。
向量 t＝ Nc：给出了依赖开始状态的吸收前的平均次数。
矩阵 B＝ NR：给出了依赖开始状态的在每个吸收态被吸收的概率。
例 13 (企业经营状况分析 )某地企业管理部门为掌握企业经营状况的变化规律，对有关企业作了一次跟踪调查统计，得如下统计表：
前年经营状况去年经营状况好 中 差 兼并 破产倒闭好中差
20
60
10
90
30
60
30
120
10
18
50
78
0
2
7
9
0
0
3
3
100
100
100
300?（ 求 和 ）
求和经营条件稳定，不妨假定为齐次马氏链。
由上表可得经营状况得转移矩阵如下：
1 0 0 0 0
0 1 0 0 0
0
0 0 0,6 0,3 0,1
0,0 2 0 0,2 0,6 0,1 8
0,0 7 0,0 3 0,1 0,3 0,5
I
P
RQ
兼并 破产 好 中 差兼并破产好中差由
()
12
0
[ ]
nn
n n n
IPP
Q Q I R Q
求得
( 3 )
1 0 0 0 0
0 1 0 0 0
0,0 3 2 2 8 0,0 0 7 9 2 0,3 5 2 4 0,4 1 2 2 0,1 9 5 20
0,0 6 9 3 4 0,0 1 1 9 4 0,2 7 1 4 0,4 2 7 2 0,2
P?
2012
0,1 4 0 1 8 0,0 5 4 4 2 0,2 0 5 4 0,3 6 1 2 0,2 3 8 8 0
由 知现在经营状况好的企业，经过三年运营仍然保持好的概率为 35.24％；变为中等的概率为 41.22%…… 而转为“破产倒闭,的概率大约只为 0.792％，余类推。
(3) P
1
11.23 13.85 7.23
[ ] 9,08 14,6 2 7,08
7,69 11,5 4 7,69
N I Q?
1
0.7 83 1 0.2 16 9
[ ] 0.7 88 0.2 12 4
0.7 69 1 0.2 30 7
B I Q R?
由 B知，若企业处于“好”的状况，则最终进入“兼并
”的可能性为 78.31％；最终进入“倒闭”的可能性为
21.69％，余类推。
由 N知，若企业处于“好”的状况，则最终进入“吸收
”状态前，将可能在“好”状态保持 11.23年；在“中”
状态度过 13.85年；而在“差”状态维持 7.23年，余类推
。
最后，由 t＝ Nc得（ s＝ 3）
1 1,2 3 1 3,8 5 7,2 3 1 3 2,3 1
9,0 8 1 4,6 2 7,0 8 1 3 0,7 8
7,6 9 1 1,5 4 7,6 9 1 2 6,9 2
t
由 t知，企业由“好”状况出发到“兼并”或“倒闭”为止，平均经过 32.31年；由“中”出发只需 30.78年；由
“差”出发只需 26.92年。
二、银行不良债务分析的马尔可夫模型
1,不良贷款状态划分
1
2
3
4
5
0 6 0
6 1 1 8 0
1 8 1 3 6 0
360
N
N
N
N
N
— — 逾 期 贷 款,拖 延 支 付 本 金 利 息 达 ～ 天
— — 怀 疑 贷 款,拖 延 支 付 本 金 利 息 达 ～ 天
— — 呆 滞 贷 款,拖 延 支 付 本 金 利 息 达 ～ 天
— — 呆 帐 贷 款,拖 延 支 付 本 金 利 息 超 过 天
— — 付 清 本 金 和 利 息
2,不良贷款分析的 Markov模型
⑴ 模型结构
★ 随机变量，表示第 t月时贷款。
tX
★ t 时间（月）,t＝ 0,1,2,…… 。
★ S 状态集合，,其中为前面规定的贷款状态
1 2 3 4 5{,,,,}S N N N N N?
1 2 3 4 5,,,,N N N N N
1 2 3
45
{,,}
{,}
T N N N
A N N
状 态 集 合 可 划 分 为 两 类,
（ 非 吸 收 状 态 ）
（ 吸 收 状 态 ）
★ P 状态转移矩阵，表示每隔 1月的各种状态的转移情况
11 12 13 14 15
21 22 23 24 25
31 32 33 34 35
41 42 43 44 45
51 52 53 54 55
p p p p p
p p p p p
P p p p p p
p p p p p
p p p p p
5
1
1
0,1 ( 1,2,3,4,5 ; 1,2,3,4,5 )
ij i j
ij ij
i
p N N
p p i j
其 中,表 示 当 前 处 于 状 态,月 后 处 于 的 概 率并 有,
45NN根 据,是 吸 收 态,可 得
1 1 1 2 1 5
2 1 2 2 2 3 2 5
3 1 3 2 3 3 3 4 3 5
0 0
0
0
0 0 0 1 0
0 0 0 0 1
p p p
p p p p
QR
P p p p p p
I
1N 2N 3N 4N 5N
1N
2N
3N
4N
5N
T A
T
A
1 1 1 2
2 1 2 2 2 3
3 1 3 2 3 3
0
pp
Q p p p
p p p
15
25
34 35
0
0
p
Rp
pp
1 0
0 1I
其中：
⑵ 计算步骤
①计算特征量（基本矩阵）
1
1 1 1 2 1 1 1 2 1 3
1
2 1 2 2 2 3 2 1 2 2 2 3
3 1 3 2 3 33 1 3 2 3 3
1 0
[ ] 1
1
pp m m m
N I Q p p p m m m
m m mp p p
②计算矩阵
1
1511 12 11 12
21 22 23 25 21 22
31 3231 32 33 34 35
0 1 0
1 0
1
pp p b b
N R p p p p b b
bbp p p p p
③计算,其中 D为基期贷款中最终转为呆帐的数目； G为最终付清的贷款数目。
0001 2 3[ ] [ ]D G N R
⑶分析
①各种状态转为呆帐及付清的概率
11
12
21
22
31
32
b
b
b
b
b
b
— — 逾 期 贷 款 转 为 呆 帐 的 概 率 ；
— — 逾 期 贷 款 付 清 的 概 率 ；
— — 怀 疑 贷 款 转 为 呆 帐 的 概 率 ；
— — 怀 疑 贷 款 付 清 的 概 率 ；
— — 呆 滞 贷 款 转 为 呆 帐 的 概 率 ；
— — 呆 滞 贷 款 付 清 的 概 率 ；
②各种状态转为呆帐及付清的概率
1 1 1 1 2 1 3
2 2 1 2 2 2 3
3 3 1 3 2 3 3
()
()
()
T N m m m
T N m m m
T N m m m
— 逾 期 贷 款 转 化 为 呆 帐 或 付 清 的 平 均 时 间
— 怀 疑 贷 款 转 化 为 呆 帐 或 付 清 的 平 均 时 间
— 呆 滞 贷 款 转 化 为 呆 帐 或 付 清 的 平 均 时 间例 14 某银行当前借出贷款总额为 470万，其中属于 状态
200万，属于 状态 150万,状态 120万。而根据隔月帐面变化情况分析，近似得状态转移矩阵 2N 3N
1N
0,3 0,3 0 0 0,4
0,1 5 0,2 5 0,3 0 0,3
0,1 0,1 0,3 0,3 5 0,1 5
0 0 0 1 0
0 0 0 0 1
P
1N 2N 3N 4N 5N
1N
2N
3N
4N
5N
根据以上信息对贷款状态变化和趋势进行分析。
其中,是呆帐状态,是付清状态。4N 5N
⑴ 计算特征量
0.3 0.3 0
0.1 5 0,25 0.3
0.1 0.1 0.3
Q
0 0,4
0 0,3
0.3 5 0.1 5
R
1
1 1 1 2 1 3
1
2 1 2 2 2 3
3 1 3 2 3 3
0,7 0,3 0
[ ] 0,1 5 0,7 5 0,3
0,1 0,1 0,7
1,6 1 8 0,6 8 6 0,2 9 4
0,4 4 1 1,6 0 1 0,6 8 6
0,2 9 4 0,3 2 7 1,5 2 9
m m m
N m m m I Q
m m m
⑵计算矩阵
11 12
21 22
31 32
1,6 1 8 0,6 8 6 0,2 9 4 0 0,4
0,4 4 1 1,6 0 1 0,6 8 6 0 0,3
0,2 9 4 0,3 2 7 1,5 2 9 0,3 5 0,1 5
0,1 0 2 9 0,8 9 7 1
0,2 4 0 0,7 6 0
0.
bb
N R b b
bb
5 4 9 0,4 5 1
⑶计算 000
1 2 3
[ ] [ ]
0,10 29 0,89 71
[ 200 150 120 ] 0.24 0 0.76 0
0,54 9 0,45 1
[ 122,46 3 47.5 4]
D G NR
现有贷款 470万中，最终可能有 122.46万将成为呆帐。
逾期贷款 200万中，有 10.29％可能转为呆帐； 89.71％可能付清怀疑贷款 150万中，有 24％可能转为呆帐； 76％可能付清呆滞贷款 120万中，有 54.9%可能转为呆帐； 45.1％可能付清
