ii
龚光鲁,钱敏平著 应用随机过程教程 – 与在算法和智能计算中的应用
清华大学出版社,2003
<应用随机过程 教程 – 及其 在算法和智能计算中的应用 > 前言
作者在 5 年前向读者奉献了一本教科书 <应用随机过程 >,它是由北京大学出版社出版的,那 本书主要是为理科,特别是为 数学与概率统计专业 学生 而设计的,该 书 与当时市面上的应用随机过程教科书相比,其 长处 在于 着重强调随机过程在各科学领域的 新的 应用,提供了不少在应用领域中用随机过程建模的例子,
然而,当作者之一向工科研究生与高年级本科生授课时,发现 该 教材开始所涉 及 的内容,以及后面章节中的个别内容 颇为 艰难,顾及工科,经济类,管理类等领域不同 读者 对象的需要,我们 想到 应该更多地 扩展 与 应用方面 有关 的 内容哦内容,模型与概念,甚至应该介绍 一些常用的算法,即使 有 些算法不全直接出自随机过程,凡此考虑,就成为我们再写一本主要为工科设计的 <应用随机过程 教程 >教材 的动机,
本书是 主要 为广大的工科,理科非数学专业,应用数学的非概率统计方向,医学,心理,
经济金融等诸多领域的本科生,研究生,教师,研究人员,工程师,设计师等 撰写 的,在本书中,我们并不假定读者知道测度论的知识,鉴于选用本书的对象对概率统计的了解程度与时限很不一致,根据读者的建议,我们在本书中 将 与应用随机过程有关的概率统计的基本要点
(但并不完全概括一般概率统计课程所涉的内容 ),略去其证明与概念的解释,写成一个纲要,
作为第 1 章,以 便 使用者能 作,在线的,温习与查阅,但是,我们在第 1 章中所引述的内容,
在个别地方 会 比一般工科概率论的基本课程的要求略为超出一些,这是为一些有余力的 读者准备的,以 便 这一部分读者能得到更深一些的领会,我们建议使用本书的教师,不要把第
1 章放在应用随机过程课程的教学内容中,而只把它作为学习 其他 章节时的参考温习材料,
由于我们希望有较宽的适应性,本书与某 些 针对 个 别 专门方向应用的应用随机过程教科书相比,增加了不少内容,当然我们也舍去了,或改写了某些经典的内容,例如关于平稳过程的遍历论,二阶矩过程 与宽平稳过程的谱理论等等,我们 基本上 并没有展开,而只作了必要的论述,我们冀望使用本书授课的教师和自学的读者,可以根据学生或读者自身的情况与需要,把 本书的 素材分成几个不同的层次,选用其中的一部分或几个部分,即尽量不要把本书当作,套餐,(menu du jour),而努力把它作为,点菜,(a la carte) 的菜单,在使用本书学习时,要学会熟悉本书 的 目录 与符号表,经常浏览并翻阅本书最后所附的名词索引,以便能更好地使用,点菜技术,,需要强调的是,由于作者希望本书包 容 一些常见的应用层面,
以及经过简化后的典型应用例子,并由此安排分析它们的各种工具或算法,这就使本书的某些内容不可能完全按照一维的次序展开,也就不可避免地会出现材料使用上的交叉,特别地,
在后面的几章中就明显地出现了这种交叉,这就使,点菜技术,更有必要,
本书中带 * 的部分和小字的部分,只是用作参考与注释,完全 可以略去,不要因为它们而影响讲授或学习的主线,
本书的撰写原则是,着重与强调想法,背景与思路,为了使读者更便于理解,对于命题与定理,我们只给出简单的证明,或者直观的证明,而不追究其严格性,对于非常重要的内
iii
容,例如 Markov 链的 与初始值无关的 遍历定理,我们不吝冗余,在各种不同的情形反复叙述它的各种形式,以使原来并不熟悉的读者能逐步领会其实质,随着内容的逐步发展,我们也加进了一些 对 数学背景 要求 较多的一些概念与 论述,对此感到不习惯或者并不需要的读者,
完全可以跳过它们,或者代之以 更 直观的理解,
本书的第 1 章是复习材料,第 2 章是通向实际模拟计算的桥梁,第 3 章,第 5 章,第 6
章和第 12 章是基本理论,第 4 章,第 7 章,第 8 章,第 9 章,第 11 章,第 13 章和第 16 章是应用基本理论,第 10 章和第 15 章是应用中的最常见算法,第 14 章是应用,第 １７ 章 则 是拓广性 的 介绍,更具体地,我们把本书的材料组织如下,第 1 章是概率论与数理统计复习,第 2 章讲述典型分布的随机数的生成方法,这是 Monte Carlo 算法 (即随 机模拟算法 )的基础,第 3 章阐述随机过程的一般概念,及 独立增量过程的重要的例子,包括 Poisson 过程,
Brown 运动与离散的随机徘徊,第 4 章介绍更新过程,它是一种在应用中常见的计数随机过程,在本章中,我们以解释概念为主,较少论 及 证明,第 5 章是离散时间的 Markov 链,我们从更新序列返回的周期现象来理解 Markov 链的常返态的周期性,在 本章 中论述 Markov
链的极限性质时,采取了与传统著作中不同的方法,用转移矩阵的平均极限作为支点,避免了细致繁琐的讨论,这一章的侧重点是可逆性和不变分布,用以 求非周期的正常返 的 不可约
Markov 链的平稳分布,由此得到的 Markov 链的遍历性定理是与 Markov 链的初始状态无关的,这 就 满足了统计物理中的,各态历经性,的要求,第 6 章是 连续时间的 Markov 链,它在我国 学术界 有一个特殊的称谓,即所谓 Q 过程,在实际应用中,连续时间的 Markov 链 比离散时间的 Markov 链更为常见,在应用问题中,其转移概率速率矩阵 Q 是常常可以实际测量到的,在相当一般的条件下 (这些条件在实际应用中总是能满足的 ),可逆分布和平稳分布所满足的方程都可以由转移速率阵 Q 表达,这一章的侧重点也是可逆性和不变分布,用以 求时间连续的 Markov 链的平稳分布,并得到与 Markov 链的初始状态无关的遍历性定理,第
7 章介绍排队理论梗概,主要 点 是了解这类问题的提法与关心的问题,第 8 章 阐述 Markov
Monte Carlo 方法,其主要功能是对非常高维数的随机向量作取样,着重介绍了 Gibbs 取样法与 Metropolis 取样法及其理论依据,最后讲述了优化的模拟退火 的基本 思想,第 9 章致力于以图像处理为背景的随机场,在叙述时间离散状态连续的 Markov 链的基础上,简要地介绍了 用随机迭代系统方法处理图像,第 10 章论述近代在语音识别,手写体文字识别,DNA
序列信息采挖等实际问题中广有成效的隐 Markov 模型,分析 了这种模型的优点与它在应用中的潜力,在叙述用它建模的有效算法时,着重指出其 与 EM 算法的联系,第 11 章 在论述
Gauss 系的基础上,从应用的角度阐述了时间序列的各种常用的模型,着重于介绍算法,第
12 章是向基本理论的回归,其内容包括 Markov 过程,鞅论浅介,随机微分方程与扩散过程的要义,这是近年来在应用中极为活跃的建模工具,最后还提供了随机微分方程的数值近似解法,第 13 章论及金融数学中的证券模型与其衍生金融工具的定价,特别介绍了二叉模型与随机利率的期限结构,第 14 章着重介绍保险中的集体风险理论,第 15 章介绍各种算法,
主要包括 EM 算法,人工神经网络,遗传算法,Kohonen 自组织算法,适应最小二乘法,第
16章给离散时间的 Markov决策以一个概括性的陈述,第 １７ 章介绍 Ito随机微积分的推广,
主要 是 Poisson 过程的随机微积分,它对处理电子学,金融经济学中的一些理论问题,是一个很有用的工具,最后还扼要地介绍自激点过程,
为了查阅方便,本书对定理,定义,引理,命题,例 子等,都 采用统一的计数系统,
iv
由于本书篇幅较大,我们建议一些初学的基本内容,例如,第 ３ 章,第 ４ 章的第 １ 节,
第 ３,２ 段,第 ４,１ 段 ； 第 ５ 章 ； 第 ６ 章 ； 第 ７ 章的第 １ 节和第 ２ 节,第 ３,２ 段 ； 第 ９
章的第 ２ 节 ； 第 １０ 章的第 １ 节和第 ２ 节 ； 第 １１ 章的第 ０ 节到第 ４ 节 ； 第 １２ 章的第 １
节至第 ３ 节,第 ４,１ 段,
我们把应用方面的学习内容,留给授课的教师与自学的读者,让他们根据需要选取,
本书主要章节后面的习题是这样配置的,第 1 章后 设置 一些复习题,因为第 3 章至第
6 章,第 11 章和第 12 章是主体,所以安排了较多的习题,第 2 章,第 7 章,第 9 章也附有一些习题,而对 第 ８ 章,第 10 章与第 13 章,则仅有少量习题,此外,第 １７ 章也有一些习题,
本书与我们献给教育界的前一本书一样,同样以强调应用作为宗旨,希望应用随机过程的思想方法,能成为 各界朋友在实践与应用中 帮助 思维 有力的 工具,我们希望各界朋友能提供反馈的意见与不同的观点,以及适合在教学中运用的材料,以便在本书再版时,能够在各界朋友的帮助下,更上一个台阶,
以应用为背景的随机过程,已经经过了近百年的发展,从 各个领域应用中萃取出的典型模型,典型方法,在一本入门的教科书中是难以概括的,况且,哪一些材料,哪一些思想更值得选取,也没有判断标准,作者希望自己的判断尽量与实际接近,对于应用例子,我们也不可能写得很具体,而只指出一些思路,更多的填补与链接,需要读者自己去完成,本书撰写的理念,是 以国际前沿为目标的,在这方面,我们更需要各领域的使用者的合作,
清华大学数学科学系 龚光鲁 glgong@math.tsinghua.edu.cn
北京大学数学科学院 钱敏平 qianmp@math.pku.edu.cn
龚光鲁,钱敏平著 应用随机过程教程 – 与在算法和智能计算中的应用
清华大学出版社,2003
<应用随机过程 教程 – 及其 在算法和智能计算中的应用 > 前言
作者在 5 年前向读者奉献了一本教科书 <应用随机过程 >,它是由北京大学出版社出版的,那 本书主要是为理科,特别是为 数学与概率统计专业 学生 而设计的,该 书 与当时市面上的应用随机过程教科书相比,其 长处 在于 着重强调随机过程在各科学领域的 新的 应用,提供了不少在应用领域中用随机过程建模的例子,
然而,当作者之一向工科研究生与高年级本科生授课时,发现 该 教材开始所涉 及 的内容,以及后面章节中的个别内容 颇为 艰难,顾及工科,经济类,管理类等领域不同 读者 对象的需要,我们 想到 应该更多地 扩展 与 应用方面 有关 的 内容哦内容,模型与概念,甚至应该介绍 一些常用的算法,即使 有 些算法不全直接出自随机过程,凡此考虑,就成为我们再写一本主要为工科设计的 <应用随机过程 教程 >教材 的动机,
本书是 主要 为广大的工科,理科非数学专业,应用数学的非概率统计方向,医学,心理,
经济金融等诸多领域的本科生,研究生,教师,研究人员,工程师,设计师等 撰写 的,在本书中,我们并不假定读者知道测度论的知识,鉴于选用本书的对象对概率统计的了解程度与时限很不一致,根据读者的建议,我们在本书中 将 与应用随机过程有关的概率统计的基本要点
(但并不完全概括一般概率统计课程所涉的内容 ),略去其证明与概念的解释,写成一个纲要,
作为第 1 章,以 便 使用者能 作,在线的,温习与查阅,但是,我们在第 1 章中所引述的内容,
在个别地方 会 比一般工科概率论的基本课程的要求略为超出一些,这是为一些有余力的 读者准备的,以 便 这一部分读者能得到更深一些的领会,我们建议使用本书的教师,不要把第
1 章放在应用随机过程课程的教学内容中,而只把它作为学习 其他 章节时的参考温习材料,
由于我们希望有较宽的适应性,本书与某 些 针对 个 别 专门方向应用的应用随机过程教科书相比,增加了不少内容,当然我们也舍去了,或改写了某些经典的内容,例如关于平稳过程的遍历论,二阶矩过程 与宽平稳过程的谱理论等等,我们 基本上 并没有展开,而只作了必要的论述,我们冀望使用本书授课的教师和自学的读者,可以根据学生或读者自身的情况与需要,把 本书的 素材分成几个不同的层次,选用其中的一部分或几个部分,即尽量不要把本书当作,套餐,(menu du jour),而努力把它作为,点菜,(a la carte) 的菜单,在使用本书学习时,要学会熟悉本书 的 目录 与符号表,经常浏览并翻阅本书最后所附的名词索引,以便能更好地使用,点菜技术,,需要强调的是,由于作者希望本书包 容 一些常见的应用层面,
以及经过简化后的典型应用例子,并由此安排分析它们的各种工具或算法,这就使本书的某些内容不可能完全按照一维的次序展开,也就不可避免地会出现材料使用上的交叉,特别地,
在后面的几章中就明显地出现了这种交叉,这就使,点菜技术,更有必要,
本书中带 * 的部分和小字的部分,只是用作参考与注释,完全 可以略去,不要因为它们而影响讲授或学习的主线,
本书的撰写原则是,着重与强调想法,背景与思路,为了使读者更便于理解,对于命题与定理,我们只给出简单的证明,或者直观的证明,而不追究其严格性,对于非常重要的内
iii
容,例如 Markov 链的 与初始值无关的 遍历定理,我们不吝冗余,在各种不同的情形反复叙述它的各种形式,以使原来并不熟悉的读者能逐步领会其实质,随着内容的逐步发展,我们也加进了一些 对 数学背景 要求 较多的一些概念与 论述,对此感到不习惯或者并不需要的读者,
完全可以跳过它们,或者代之以 更 直观的理解,
本书的第 1 章是复习材料,第 2 章是通向实际模拟计算的桥梁,第 3 章,第 5 章,第 6
章和第 12 章是基本理论,第 4 章,第 7 章,第 8 章,第 9 章,第 11 章,第 13 章和第 16 章是应用基本理论,第 10 章和第 15 章是应用中的最常见算法,第 14 章是应用,第 １７ 章 则 是拓广性 的 介绍,更具体地,我们把本书的材料组织如下,第 1 章是概率论与数理统计复习,第 2 章讲述典型分布的随机数的生成方法,这是 Monte Carlo 算法 (即随 机模拟算法 )的基础,第 3 章阐述随机过程的一般概念,及 独立增量过程的重要的例子,包括 Poisson 过程,
Brown 运动与离散的随机徘徊,第 4 章介绍更新过程,它是一种在应用中常见的计数随机过程,在本章中,我们以解释概念为主,较少论 及 证明,第 5 章是离散时间的 Markov 链,我们从更新序列返回的周期现象来理解 Markov 链的常返态的周期性,在 本章 中论述 Markov
链的极限性质时,采取了与传统著作中不同的方法,用转移矩阵的平均极限作为支点,避免了细致繁琐的讨论,这一章的侧重点是可逆性和不变分布,用以 求非周期的正常返 的 不可约
Markov 链的平稳分布,由此得到的 Markov 链的遍历性定理是与 Markov 链的初始状态无关的,这 就 满足了统计物理中的,各态历经性,的要求,第 6 章是 连续时间的 Markov 链,它在我国 学术界 有一个特殊的称谓,即所谓 Q 过程,在实际应用中,连续时间的 Markov 链 比离散时间的 Markov 链更为常见,在应用问题中,其转移概率速率矩阵 Q 是常常可以实际测量到的,在相当一般的条件下 (这些条件在实际应用中总是能满足的 ),可逆分布和平稳分布所满足的方程都可以由转移速率阵 Q 表达,这一章的侧重点也是可逆性和不变分布,用以 求时间连续的 Markov 链的平稳分布,并得到与 Markov 链的初始状态无关的遍历性定理,第
7 章介绍排队理论梗概,主要 点 是了解这类问题的提法与关心的问题,第 8 章 阐述 Markov
Monte Carlo 方法,其主要功能是对非常高维数的随机向量作取样,着重介绍了 Gibbs 取样法与 Metropolis 取样法及其理论依据,最后讲述了优化的模拟退火 的基本 思想,第 9 章致力于以图像处理为背景的随机场,在叙述时间离散状态连续的 Markov 链的基础上,简要地介绍了 用随机迭代系统方法处理图像,第 10 章论述近代在语音识别,手写体文字识别,DNA
序列信息采挖等实际问题中广有成效的隐 Markov 模型,分析 了这种模型的优点与它在应用中的潜力,在叙述用它建模的有效算法时,着重指出其 与 EM 算法的联系,第 11 章 在论述
Gauss 系的基础上,从应用的角度阐述了时间序列的各种常用的模型,着重于介绍算法,第
12 章是向基本理论的回归,其内容包括 Markov 过程,鞅论浅介,随机微分方程与扩散过程的要义,这是近年来在应用中极为活跃的建模工具,最后还提供了随机微分方程的数值近似解法,第 13 章论及金融数学中的证券模型与其衍生金融工具的定价,特别介绍了二叉模型与随机利率的期限结构,第 14 章着重介绍保险中的集体风险理论,第 15 章介绍各种算法,
主要包括 EM 算法,人工神经网络,遗传算法,Kohonen 自组织算法,适应最小二乘法,第
16章给离散时间的 Markov决策以一个概括性的陈述,第 １７ 章介绍 Ito随机微积分的推广,
主要 是 Poisson 过程的随机微积分,它对处理电子学,金融经济学中的一些理论问题,是一个很有用的工具,最后还扼要地介绍自激点过程,
为了查阅方便,本书对定理,定义,引理,命题,例 子等,都 采用统一的计数系统,
iv
由于本书篇幅较大,我们建议一些初学的基本内容,例如,第 ３ 章,第 ４ 章的第 １ 节,
第 ３,２ 段,第 ４,１ 段 ； 第 ５ 章 ； 第 ６ 章 ； 第 ７ 章的第 １ 节和第 ２ 节,第 ３,２ 段 ； 第 ９
章的第 ２ 节 ； 第 １０ 章的第 １ 节和第 ２ 节 ； 第 １１ 章的第 ０ 节到第 ４ 节 ； 第 １２ 章的第 １
节至第 ３ 节,第 ４,１ 段,
我们把应用方面的学习内容,留给授课的教师与自学的读者,让他们根据需要选取,
本书主要章节后面的习题是这样配置的,第 1 章后 设置 一些复习题,因为第 3 章至第
6 章,第 11 章和第 12 章是主体,所以安排了较多的习题,第 2 章,第 7 章,第 9 章也附有一些习题,而对 第 ８ 章,第 10 章与第 13 章,则仅有少量习题,此外,第 １７ 章也有一些习题,
本书与我们献给教育界的前一本书一样,同样以强调应用作为宗旨,希望应用随机过程的思想方法,能成为 各界朋友在实践与应用中 帮助 思维 有力的 工具,我们希望各界朋友能提供反馈的意见与不同的观点,以及适合在教学中运用的材料,以便在本书再版时,能够在各界朋友的帮助下,更上一个台阶,
以应用为背景的随机过程,已经经过了近百年的发展,从 各个领域应用中萃取出的典型模型,典型方法,在一本入门的教科书中是难以概括的,况且,哪一些材料,哪一些思想更值得选取,也没有判断标准,作者希望自己的判断尽量与实际接近,对于应用例子,我们也不可能写得很具体,而只指出一些思路,更多的填补与链接,需要读者自己去完成,本书撰写的理念,是 以国际前沿为目标的,在这方面,我们更需要各领域的使用者的合作,
清华大学数学科学系 龚光鲁 glgong@math.tsinghua.edu.cn
北京大学数学科学院 钱敏平 qianmp@math.pku.edu.cn
