随机过程及其分类
在概率论中，我们研究了随机变量，维随机向量。在极限定理中我们研究了无穷多个随机变量，但局限在它们相互独立的情形。将上述情形加以推广，即研究一族无穷多个、相互有关的随机变量，这就是随机过程。
随机过程的概念
定义：设是一概率空间，对每一个参数，是一定义在概率空间上的随机变量，则称随机变量族为该概率空间上的一随机过程。其中是一实数集，称为指标集或参数集。
随机过程的两种描述方法：
用映射表示，
即是一定义在上的二元单值函数，固定，是一定义在样本空间上的函数，即为一随机变量；对于固定的，是一个关于参数的函数，通常称为样本函数，或称随机过程的一次实现。记号有时记为或简记为。
参数一般表示时间或空间。参数常用的一般有：（1）；（2）；（3），其中可以取或，可以取。当参数取可列集时，一般称随机过程为随机序列。
随机过程可能取值的全体所构成的集合称为此随机过程的状态空间，记作。中的元素称为状态。状态空间可以由复数、实数或更一般的抽象空间构成。
例1：抛掷一枚硬币，样本空间为，现借此定义：
其中，则是一随机过程。试考察其样本函数和状态空间。
例2：设
其中和是正常数，。试考察其样本函数和状态空间。
例3：质点在直线上的随机游动，令为质点在时刻时所处的位置，试考察其样本函数和状态空间。
例4：考察某“服务站”在上到达的“顾客”数，记为，则是一随机过程，试考察其样本函数和状态空间。若记为第个“顾客”到达的时刻，则为一随机序列，我们自然要关心的情况以及它与的关系，这时要将两个随机过程作为一个整体来研究其概率特性。
例5：布朗运动。
随机过程的分类
随机过程的分类一般有两种方法：（1）以参数集和状态空间的特征来分类；（2）以统计特征或概率特征来分类。我们分述如下：
以参数集和状态空间的特性分类：
以参数集的性质，随机过程可分为两大类：（1）可列；（2）不可列。
以状态空间的性质，即所取的值的特征，随机过程也可以分为两大类：（1）离散状态，即所取的值是离散的；（2）连续状态，即所取的值是连续的。
由此可将随机过程分为以下四类：
离散参数离散型随机过程；
连续参数离散型随机过程；
连续参数连续型随机过程；
离散参数连续型随机过程。
以随机过程的统计特征或概率特征分类：
以随机过程的统计特征或概率特征的分类，一般有以下一些：
独立增量过程；
Markov过程；
二阶矩过程；
平稳过程；
鞅；
更新过程；
Poission过程；
维纳过程。
以上对随机过程的分类并不是独立的，比如，我们以后要讨论的Markov过程，就有参数离散状态空间离散的Markov过程，即Markov链，也要讨论参数连续状态离散的Markov过程，即纯不连续的Markov过程。下面几章我们将研究几种重要的、应用非常广泛的随机过程。
随机过程的数字特征
（一）单个随机过程的情形
设是一随机过程，为了刻画它的统计特征，通常要用到随机过程的数字特征，即随机过程的均值函数、方差函数、协方差函数和相关函数。下面我们给出它们的定义。
均值函数：随机过程的均值函数定义为：（假设是存在的）
方差函数：随机过程的方差函数定义为：（假设是存在的）
（自）协方差函数：随机过程的（自）协方差函数定义为：
（自）相关函数：随机过程的（自）相关函数定义为：
特征函数：记：
称为随机过程的有限维特征函数族。
数字特征之间的关系：
例6：考察上面的例1，（1）写出的一维分布列；（2）写出的二维分布列；（3）求该过程的均值函数和相关函数。
例7：求例2中随机过程的均值函数和相关函数。
两个随机过程的情形
设、是两个随机过程，它们具有相同的参数集，对于它们的数字特征，除了有它们自己的数字特征外，我们还有：
互协方差函数：随机过程和的互协方差函数定义为：
互相关函数：随机过程和的互相关函数定义为：
互协方差函数和互相关函数有以下的关系：
如果两个随机过程和，对于任意的两个参数，有
或
则称随机过程和是统计不相关的或不相关的。
有限维分布族
设是一随机过程，对于，，记
其全体
称为随机过程的有限维分布族。它具有以下的性质：
对称性：对的任意排列，则有：
相容性：对于，有：
注1：随机过程的统计特性完全由它的有限维分布族决定。
注2：有限维分布族与有限维特征函数族相互唯一确定。
问题：一个随机过程的有限维分布族，是否描述了该过程的全部概率特性？
定理：（Kolmogorov存在性定理）
设分布函数族满足以上提到的对称性和相容性，则必有一随机过程，使恰好是的有限维分布族，即：
定理说明的有限维分布族包含了的所有概率信息。
（四）两个随机过程的独立性
设、是两个随机过程，它们具有相同的参数集，任取，以及，，则称维随机向量的联合分布函数：
为随机过程和的维联合分布函数。
如果对于任取的，以及任意的，，随机过程和的联合分布函数满足：
则称随机过程和是独立的。
注：随机过程和独立可以得到随机过程和统计不相关，反之不对。但对于正态过程来说是一样的，我们以后将看到。
4．－函数及离散型随机变量分布列的－函数表示
（1）－函数的定义及性质
定义：对于任意的无穷次可微的函数，如果满足：
其中：
则称的弱极限为－函数，记为。
显然，对于任意的，有：
即
注1：在点的取值为，在点的取值为，并且满足。
注2：在工程上－函数也称为单位脉冲函数或单位冲激函数。
－函数的筛选性质：
若为无穷次可微的函数，则有：
其中是包含点的任意区间。特殊地，有：
更一般地，我们有：
（2）离散型随机变量分布列的－函数表示
设离散型随机变量的分布列为：，则由－函数的筛选性质，我们可以定义随机变量的分布密度（离散型分布密度）为：
因此，由－函数的筛选性质，随机变量的分布函数为：
注：离散型随机变量分布列的－函数表示法在工程上是常用的，它将离散分布列表示成了分布密度的形式，因此可以和连续型随机变量的概率分布密度函数一样，可以进行统一处理。下面的例子中我们将看到它的利用。
习题：
1、设随机向量的两个分量相互独立，且均服从标准正态分布。
（a）分别写出随机变量和的分布密度
（b）试问：与是否独立？说明理由。
2、设和为独立的随机变量，期望和方差分别为和。
（a）试求和的相关系数；
（b）与能否不相关？能否有严格线性函数关系？若能，试分别写出条件。
3、设是一个实的均值为零，二阶矩存在的随机过程，其相关函数为，且是一个周期为的函数，即，试求方差函数。
4、考察两个谐波随机信号和，其中：
式中和为正的常数；是内均匀分布的随机变量，是标准正态分布的随机变量。
（a）求的均值、方差和相关函数；
（b）若与独立，求与的互相关函数。
教材：
陆大金，《随机过程及其应用》，清华大学出版社，1986。
主要参考书：
林元烈，《应用随机过程》，清华大学出版社，2002。
龚光鲁、钱敏平，《应用随机过程教程及在算法和智能计算中的随机模型》，清华大学出版社，2004。
