第一章 概率论基础知识
1. 事件、概率和概率空间
1.1 随机事件的运算和概率
1.2 σ 代数(域)和 Borel 集
设 全集 为 ， 为一些 的子集构成的 集类 ，若 满足 ? F ? F
1) F∈?
2) 对任意 F∈A ， F∈A
3) 对任意有限或至多可数的 { } F?
n
A ， F∈
n
n
AU
则称 为一个F σ 代数(域)
给定一个集合 ?，就可以构造一个包含它的一个 σ 代数。
推广： 给定一个集类 ， 可以构造一个 的一个C FC ? σ 代数 。包 含 C 的最
小的
F
σ 代数，称为 由 C 生成的 σ 代数 ，记作 ( )Cσ 。例如设 R=? ，
{}RbaabbaRAA ∈∞?∞== ,),,(),(),[: 任意或或或C
为 R 上的一个集类， ()Cσ 中的集合称为 Borel 集 ， ( )Cσ 称为直线上的 Borel
域 ，记为 。 )(RB
1.3 Kolmogorov 概率公理化定义
给定全集 和其子集构成的一个? σ 代数 ，若定义在 上的函数 满足 F F )(?P
1) 任意 ，F∈A 1)(0 ≤≤ AP ；
2) ； 1)( =?P
3) 对任意两两不交的至多可数集 { } F?
n
A ，
∑
=?
?
?
?
?
?
n
nn
n
APAP )(U
称 为 上的 概率测度 ，)(?P F ),,( PF? 称为 概率空间 。
1
1.4 随机变量的概念
定义：设 为一概率空间，(P,,F? ) )(wXX = 为 ?上的一个实值函数，若对
任意实数 x， ，则 称()F∈?∞
?
),(
1
xX X 为 ( )P,,F? 上的一个 （实） 随机变量 。
称 ( ) ( )( )),()),(()(
1
xXPxXPxXPxF ?∞=?∞∈=<=
?
为随机变量 X 的 分布
函数 。
随机变量实质上是 到()F,? ( ))(, RR B 上的一个可测映射 ( 函数 ) 。记
{ } FB ?∈=
?
)()()(
1
RBBXXσ ，称 )(Xσ 为 随机变量 X 所生成的 σ 域 。
推广到多维情形， 随机向量 是
T
n
XXXX ),,(
21
L= ( )F,? 到 ( ))(,
nn
RR B 上的
一个可测映射。由可测映射在 ( ))(,
nn
RR B 上诱导出一个概率测度 ：
X
P
( ))()(),(
1
BXPBPRB
X
n ?
=∈? B
1.5 全概率公式和 Bayes 公式
设 { 为 的一个分割 ，即}
k
B ? { }
k
B 两两不交且 。 ?=
U
k
k
B
全概率公式 ：
∑
?=
k
kk
BPBAPAP )()()(
Bayes 公式 ：
∑
?
?
=
i
ii
kk
k
BPBAP
BPBAP
ABP
)()(
)()(
)
2. 特征函数和母函数
2.1 特征函数
设 X 为 维实随机向量，称 为n
Xjw
T
Eew =)(φ X 的 特征函数 (characteristic
function )。性质：
1) 1)0( =? ；
2) (有界 )
n
Rww ∈?≤ ,1)(?
3) (共轭对称 ) ；
_______
)()( ww ?=??
4) (非负定 )对任意给定正整数 m ，任意 和任意复数
n
m
Rttt ∈L
21
,
2
m
ααα L
21
, ， 0)(
11
≥?
∑∑
==
m
l
m
k
klkl
tt αα? ；
5) )(w? 为
n
R 上的连续函数。
6) 有限多个独立随机变量和的特征函数等于各自特征函数的乘积；
7) 设 为 维随机向量，特征函数为(
T
n
X ξξ L,
1
= )n ),(
1 n
ww L? ,则
n
n
n
n
ss
tn
s
n
s
ss
s
n
s
j
ww
ww
E
++
=
++
??
?
=
L
L
L
L
L
1
1
1
1
01
1
1
),,(?
ξξ ，若 ∞<
n
s
n
s
E ξξ L
1
1
；
8) 随机变量的分布函数由其特征函数唯一决定。
Bocher 定理：
n
R 上的函数 )(t? 是某个随机变量的特征函数当且仅当 )(t? 连
续非负定且 1)0( =? 。
例如：
设 X 服从二项分布 ， ， ),( pnB 1;,1,0,)( =+=
?
?
?
?
?
?
?
?
==
?
qpnkqp
k
n
kXP
knk
L
其特征函数
njw
peqw )()( +=φ
设 X 服从参数为 λ的 Poisson 分布，其特征函数 [ ])1(exp)( ?=
jw
ew λφ
设 X 服从正态分布 ，其特征函数),(
2
σμN )
2
1
exp()(
22
wjww σμφ ?=
2.1 母函数(概率生成函数)
在研究 只取非负的整数值 的随机变量时，以 母函数 来代替 特征函数
比较方便。假设随机变量
L,2,1,0
X 的分布为 L,2,1,0),( === kkXPp
k
，其中
称 ,1
0
=
∑
∞
=k
k
p
1,)(
0
≤==
∑
∞
=
sspEss
k
k
k
X
?
为随机变量 X 的 母函数(概率生成函数) (probability generating function)。
性质：
1) )(,1)1( s?? = 在 1≤s 绝对且一致收敛；
2) )(s? 唯一决定随机变量 X 的分布；
3
3) 若随机变量 X 的 阶矩存在， 则可以用母函数在l 1=s 的导数值来表示，
特别有 )1()1(),1(
2
??? ′+′′=′= EXEX
3. 收敛性和极限定理
3.1 各种收敛的定义
设 为一随机变量序列， LL ,,,
21 n
XXX
1) 若对任意 0>ε ， ( ) 0lim =≥?
∞→
εXXP
n
n
，则 称 依概率收
敛 到随机变量
LL ,,,
21 n
XXX
X ；
2) 若
p
n
XE 存在， 且 0lim =?
∞→
p
n
n
XXE ，则 称 LL ,,,
21 n
XXX p 阶收敛 到
随机变量 X ，特别当 2=p ，称为 均方收敛 。
3) 若 ( ) 1lim ==
∞→
XXP
n
n
，称 几乎必然收敛 到随机变量LL ,,,
21 n
XXX X 。
4) 若其分布函数序列 满足)(xF
n
)()(lim xFxF
n
n
=
∞→
在每一个 连续点处
成立， 这里 为
)(xF
)(xF X 的分布函数， 则称 依分布收敛 到LL ,,,
21 n
XXX X
的分布。
3.2 大数定律和中心极限定理
4. 条件期望
定义 1：设 ),,( PF? 为概率空间， B 为 的一个子F σ -代数， ξ 为 上
的随机变量且
),,( PF?
ξE 存在，设 η为 B 可测的随机变量且满足
B∈?=
∫∫
BdPdP
BB
,ξη
称随机变量 η为 ξ 在给定 B 下 (关于 P )的 条件期望 ，记为 ( )BξE 。
条件期望有如下的基本性质： (假设以下的式子有意义 )
1) () BB ∈?=
∫∫
BdPdPE
BB
,ξξ ；
2) ()[]ξξ EEE =B ；
3) 若 或FB = ξ 为 B 可测的随机变量，则 ( ) .., saE ξξ =B ；
4
4) 若 .., sac=ξ ，则 () .., sacE =Bξ ；
5) (线性可加性 ) ()( ) ( ) .., sabEaEbaE BBB ηξηξ +=+ ；
6) 若 ..,0 sa≥ξ ，则 () ..,0 saE ≥Bξ ；
7) 若 .., saηξ ≤ ，则 () ( ) .., saEE BB ηξ ≤ ，特别 ( ) ( )BB ξξ EE ≤ 。
5
