2012-3-21 东南大学无线电工程系 1
,随机过程, 教程
第 16讲 离散时间 Markov链
东南大学移动通信国家重点实验室
陈 明 制作
chenming@seu.edu.cn
ftp.seu.edu.cn/incoming/document/随机过程
2012-3-21 东南大学无线电工程系 2
内容提要
? 离散时间 Markov链的定义
? 离散时间 Markov链的状态分类
2012-3-21 东南大学无线电工程系 3
Markov链的定义
? Markov链：状态值可数离散的 Markov过程
? 离散时间 Markov链
? 连续时间 Markov链
2012-3-21 东南大学无线电工程系 4
离散时间 Markov链
? 状态概率
? 状态概率矢量
? 转移概率
? 转移概率矩阵
2012-3-21 东南大学无线电工程系 5
C-K方程
2012-3-21 东南大学无线电工程系 6
平稳状态概率的求解
2012-3-21 东南大学无线电工程系 7
状态的互达
? 定义
? 等价类
? 可约
2012-3-21 东南大学无线电工程系 8
常返和瞬过
? 首达概率的定义
? 迟早到达概率
? 常返和瞬过
2012-3-21 东南大学无线电工程系 9
状态空间的分解
2012-3-21 东南大学无线电工程系 10
状态空间分解定理
2012-3-21 东南大学无线电工程系 11
有限状态分解定理
2012-3-21 东南大学无线电工程系 12
（续）
2012-3-21 东南大学无线电工程系 13
状态的周期
2012-3-21 东南大学无线电工程系 14
状态的遍历
2012-3-21 东南大学无线电工程系 15
作业
? 6.1
? 6.5
? 6.7
2012-3-21 东南大学无线电工程系 16
,随机过程,
第 16讲,离散时间 Markov链”终。