第一章 概率论基础知识
1,事件、概率和概率空间
1.1 随机事件的运算和概率
1.2 σ 代数(域)和 Borel 集
设 全集 为,为一些 的子集构成的 集类,若 满足? F? F
1) F∈?
2) 对任意 F∈A,F∈A
3) 对任意有限或至多可数的 { } F?
n
A,F∈
n
n
AU
则称 为一个F σ 代数(域)
给定一个集合?，就可以构造一个包含它的一个 σ 代数。
推广,给定一个集类,可以构造一个 的一个C FC? σ 代数 。包 含 C 的最小的
F
σ 代数，称为 由 C 生成的 σ 代数,记作 ( )Cσ 。例如设 R=?,
{}RbaabbaRAA ∈∞?∞==,),,(),(),[,任意或或或C
为 R 上的一个集类,()Cσ 中的集合称为 Borel 集,( )Cσ 称为直线上的 Borel
域,记为 。 )(RB
1.3 Kolmogorov 概率公理化定义
给定全集 和其子集构成的一个? σ 代数,若定义在 上的函数 满足 F F )(?P
1) 任意,F∈A 1)(0 ≤≤ AP ；
2) ； 1)( =?P
3) 对任意两两不交的至多可数集 { } F?
n
A,
∑
=?
n
nn
n
APAP )(U
称 为 上的 概率测度,)(?P F ),,( PF? 称为 概率空间 。
1
1.4 随机变量的概念
定义：设 为一概率空间，(P,,F? ) )(wXX = 为?上的一个实值函数，若对任意实数 x，,则 称()F∈?∞
),(
1
xX X 为 ( )P,,F? 上的一个 （实） 随机变量 。
称 ( ) ( )( )),()),(()(
1
xXPxXPxXPxF?∞=?∞∈=<=
为随机变量 X 的 分布函数 。
随机变量实质上是 到()F,? ( ))(,RR B 上的一个可测映射 ( 函数 ) 。记
{ } FB?∈=
)()()(
1
RBBXXσ,称 )(Xσ 为 随机变量 X 所生成的 σ 域 。
推广到多维情形,随机向量 是
T
n
XXXX ),,(
21
L= ( )F,? 到 ( ))(,
nn
RR B 上的一个可测映射。由可测映射在 ( ))(,
nn
RR B 上诱导出一个概率测度,
X
P
( ))()(),(
1
BXPBPRB
X
n?
=∈? B
1.5 全概率公式和 Bayes 公式
设 { 为 的一个分割,即}
k
B? { }
k
B 两两不交且 。=
U
k
k
B
全概率公式,
∑
=
k
kk
BPBAPAP )()()(
Bayes 公式,
∑
=
i
ii
kk
k
BPBAP
BPBAP
ABP
)()(
)()(
)
2,特征函数和母函数
2.1 特征函数
设 X 为 维实随机向量，称 为n
Xjw
T
Eew =)(φ X 的 特征函数 (characteristic
function )。性质,
1) 1)0( =? ；
2) (有界 )
n
Rww ∈?≤,1)(?
3) (共轭对称 ) ；
_______
)()( ww?=
4) (非负定 )对任意给定正整数 m,任意 和任意复数
n
m
Rttt ∈L
21
,
2
m
ααα L
21
,,0)(
11
≥?
∑∑
==
m
l
m
k
klkl
tt αα? ；
5) )(w? 为
n
R 上的连续函数。
6) 有限多个独立随机变量和的特征函数等于各自特征函数的乘积；
7) 设 为 维随机向量，特征函数为(
T
n
X ξξ L,
1
= )n ),(
1 n
ww L?,则
n
n
n
n
ss
tn
s
n
s
ss
s
n
s
j
ww
ww
E
++
=
++
=
L
L
L
L
L
1
1
1
1
01
1
1
),,(?
ξξ,若 ∞<
n
s
n
s
E ξξ L
1
1；
8) 随机变量的分布函数由其特征函数唯一决定。
Bocher 定理：
n
R 上的函数 )(t? 是某个随机变量的特征函数当且仅当 )(t? 连续非负定且 1)0( =? 。
例如,
设 X 服从二项分布,,),( pnB 1;,1,0,)( =+=
==
qpnkqp
k
n
kXP
knk
L
其特征函数
njw
peqw )()( +=φ
设 X 服从参数为 λ的 Poisson 分布，其特征函数 [ ])1(exp)(?=
jw
ew λφ
设 X 服从正态分布,其特征函数),(
2
σμN )
2
1
exp()(
22
wjww σμφ?=
2.1 母函数(概率生成函数)
在研究 只取非负的整数值 的随机变量时，以 母函数 来代替 特征函数比较方便。假设随机变量
L,2,1,0
X 的分布为 L,2,1,0),( === kkXPp
k
，其中称,1
0
=
∑
∞
=k
k
p
1,)(
0
≤==
∑
∞
=
sspEss
k
k
k
X
为随机变量 X 的 母函数(概率生成函数) (probability generating function)。
性质,
1) )(,1)1( s = 在 1≤s 绝对且一致收敛；
2) )(s? 唯一决定随机变量 X 的分布；
3
3) 若随机变量 X 的 阶矩存在,则可以用母函数在l 1=s 的导数值来表示，
特别有 )1()1(),1(
2
′+′′=′= EXEX
3,收敛性和极限定理
3.1 各种收敛的定义
设 为一随机变量序列,LL,,,
21 n
XXX
1) 若对任意 0>ε,( ) 0lim =≥?
∞→
εXXP
n
n
，则 称 依概率收敛 到随机变量
LL,,,
21 n
XXX
X ；
2) 若
p
n
XE 存在,且 0lim =?
∞→
p
n
n
XXE,则 称 LL,,,
21 n
XXX p 阶收敛 到随机变量 X,特别当 2=p,称为 均方收敛 。
3) 若 ( ) 1lim ==
∞→
XXP
n
n
，称 几乎必然收敛 到随机变量LL,,,
21 n
XXX X 。
4) 若其分布函数序列 满足)(xF
n
)()(lim xFxF
n
n
=
∞→
在每一个 连续点处成立,这里 为
)(xF
)(xF X 的分布函数,则称 依分布收敛 到LL,,,
21 n
XXX X
的分布。
3.2 大数定律和中心极限定理
4,条件期望
定义 1：设 ),,( PF? 为概率空间,B 为 的一个子F σ -代数,ξ 为 上的随机变量且
),,( PF?
ξE 存在，设 η为 B 可测的随机变量且满足
B∈?=
∫∫
BdPdP
BB
,ξη
称随机变量 η为 ξ 在给定 B 下 (关于 P )的 条件期望,记为 ( )BξE 。
条件期望有如下的基本性质,(假设以下的式子有意义 )
1) () BB ∈?=
∫∫
BdPdPE
BB
,ξξ ；
2) ()[]ξξ EEE =B ；
3) 若 或FB = ξ 为 B 可测的随机变量，则 ( ),.,saE ξξ =B ；
4
4) 若,.,sac=ξ,则 (),.,sacE =Bξ ；
5) (线性可加性 ) ()( ) ( ),.,sabEaEbaE BBB ηξηξ +=+ ；
6) 若,.,0 sa≥ξ,则 (),.,0 saE ≥Bξ ；
7) 若,.,saηξ ≤,则 () ( ),.,saEE BB ηξ ≤,特别 ( ) ( )BB ξξ EE ≤ 。
5
1,事件、概率和概率空间
1.1 随机事件的运算和概率
1.2 σ 代数(域)和 Borel 集
设 全集 为,为一些 的子集构成的 集类,若 满足? F? F
1) F∈?
2) 对任意 F∈A,F∈A
3) 对任意有限或至多可数的 { } F?
n
A,F∈
n
n
AU
则称 为一个F σ 代数(域)
给定一个集合?，就可以构造一个包含它的一个 σ 代数。
推广,给定一个集类,可以构造一个 的一个C FC? σ 代数 。包 含 C 的最小的
F
σ 代数，称为 由 C 生成的 σ 代数,记作 ( )Cσ 。例如设 R=?,
{}RbaabbaRAA ∈∞?∞==,),,(),(),[,任意或或或C
为 R 上的一个集类,()Cσ 中的集合称为 Borel 集,( )Cσ 称为直线上的 Borel
域,记为 。 )(RB
1.3 Kolmogorov 概率公理化定义
给定全集 和其子集构成的一个? σ 代数,若定义在 上的函数 满足 F F )(?P
1) 任意,F∈A 1)(0 ≤≤ AP ；
2) ； 1)( =?P
3) 对任意两两不交的至多可数集 { } F?
n
A,
∑
=?
n
nn
n
APAP )(U
称 为 上的 概率测度,)(?P F ),,( PF? 称为 概率空间 。
1
1.4 随机变量的概念
定义：设 为一概率空间，(P,,F? ) )(wXX = 为?上的一个实值函数，若对任意实数 x，,则 称()F∈?∞
),(
1
xX X 为 ( )P,,F? 上的一个 （实） 随机变量 。
称 ( ) ( )( )),()),(()(
1
xXPxXPxXPxF?∞=?∞∈=<=
为随机变量 X 的 分布函数 。
随机变量实质上是 到()F,? ( ))(,RR B 上的一个可测映射 ( 函数 ) 。记
{ } FB?∈=
)()()(
1
RBBXXσ,称 )(Xσ 为 随机变量 X 所生成的 σ 域 。
推广到多维情形,随机向量 是
T
n
XXXX ),,(
21
L= ( )F,? 到 ( ))(,
nn
RR B 上的一个可测映射。由可测映射在 ( ))(,
nn
RR B 上诱导出一个概率测度,
X
P
( ))()(),(
1
BXPBPRB
X
n?
=∈? B
1.5 全概率公式和 Bayes 公式
设 { 为 的一个分割,即}
k
B? { }
k
B 两两不交且 。=
U
k
k
B
全概率公式,
∑
=
k
kk
BPBAPAP )()()(
Bayes 公式,
∑
=
i
ii
kk
k
BPBAP
BPBAP
ABP
)()(
)()(
)
2,特征函数和母函数
2.1 特征函数
设 X 为 维实随机向量，称 为n
Xjw
T
Eew =)(φ X 的 特征函数 (characteristic
function )。性质,
1) 1)0( =? ；
2) (有界 )
n
Rww ∈?≤,1)(?
3) (共轭对称 ) ；
_______
)()( ww?=
4) (非负定 )对任意给定正整数 m,任意 和任意复数
n
m
Rttt ∈L
21
,
2
m
ααα L
21
,,0)(
11
≥?
∑∑
==
m
l
m
k
klkl
tt αα? ；
5) )(w? 为
n
R 上的连续函数。
6) 有限多个独立随机变量和的特征函数等于各自特征函数的乘积；
7) 设 为 维随机向量，特征函数为(
T
n
X ξξ L,
1
= )n ),(
1 n
ww L?,则
n
n
n
n
ss
tn
s
n
s
ss
s
n
s
j
ww
ww
E
++
=
++
=
L
L
L
L
L
1
1
1
1
01
1
1
),,(?
ξξ,若 ∞<
n
s
n
s
E ξξ L
1
1；
8) 随机变量的分布函数由其特征函数唯一决定。
Bocher 定理：
n
R 上的函数 )(t? 是某个随机变量的特征函数当且仅当 )(t? 连续非负定且 1)0( =? 。
例如,
设 X 服从二项分布,,),( pnB 1;,1,0,)( =+=
==
qpnkqp
k
n
kXP
knk
L
其特征函数
njw
peqw )()( +=φ
设 X 服从参数为 λ的 Poisson 分布，其特征函数 [ ])1(exp)(?=
jw
ew λφ
设 X 服从正态分布,其特征函数),(
2
σμN )
2
1
exp()(
22
wjww σμφ?=
2.1 母函数(概率生成函数)
在研究 只取非负的整数值 的随机变量时，以 母函数 来代替 特征函数比较方便。假设随机变量
L,2,1,0
X 的分布为 L,2,1,0),( === kkXPp
k
，其中称,1
0
=
∑
∞
=k
k
p
1,)(
0
≤==
∑
∞
=
sspEss
k
k
k
X
为随机变量 X 的 母函数(概率生成函数) (probability generating function)。
性质,
1) )(,1)1( s = 在 1≤s 绝对且一致收敛；
2) )(s? 唯一决定随机变量 X 的分布；
3
3) 若随机变量 X 的 阶矩存在,则可以用母函数在l 1=s 的导数值来表示，
特别有 )1()1(),1(
2
′+′′=′= EXEX
3,收敛性和极限定理
3.1 各种收敛的定义
设 为一随机变量序列,LL,,,
21 n
XXX
1) 若对任意 0>ε,( ) 0lim =≥?
∞→
εXXP
n
n
，则 称 依概率收敛 到随机变量
LL,,,
21 n
XXX
X ；
2) 若
p
n
XE 存在,且 0lim =?
∞→
p
n
n
XXE,则 称 LL,,,
21 n
XXX p 阶收敛 到随机变量 X,特别当 2=p,称为 均方收敛 。
3) 若 ( ) 1lim ==
∞→
XXP
n
n
，称 几乎必然收敛 到随机变量LL,,,
21 n
XXX X 。
4) 若其分布函数序列 满足)(xF
n
)()(lim xFxF
n
n
=
∞→
在每一个 连续点处成立,这里 为
)(xF
)(xF X 的分布函数,则称 依分布收敛 到LL,,,
21 n
XXX X
的分布。
3.2 大数定律和中心极限定理
4,条件期望
定义 1：设 ),,( PF? 为概率空间,B 为 的一个子F σ -代数,ξ 为 上的随机变量且
),,( PF?
ξE 存在，设 η为 B 可测的随机变量且满足
B∈?=
∫∫
BdPdP
BB
,ξη
称随机变量 η为 ξ 在给定 B 下 (关于 P )的 条件期望,记为 ( )BξE 。
条件期望有如下的基本性质,(假设以下的式子有意义 )
1) () BB ∈?=
∫∫
BdPdPE
BB
,ξξ ；
2) ()[]ξξ EEE =B ；
3) 若 或FB = ξ 为 B 可测的随机变量，则 ( ),.,saE ξξ =B ；
4
4) 若,.,sac=ξ,则 (),.,sacE =Bξ ；
5) (线性可加性 ) ()( ) ( ),.,sabEaEbaE BBB ηξηξ +=+ ；
6) 若,.,0 sa≥ξ,则 (),.,0 saE ≥Bξ ；
7) 若,.,saηξ ≤,则 () ( ),.,saEE BB ηξ ≤,特别 ( ) ( )BB ξξ EE ≤ 。
5
