应用随机过程清华大学数学科学系林元烈 主讲教材：,应用随机过程,（第三次印刷）
林元烈，清华大学出版社
2004-12-11
应用随机过程讲义 第一讲
2
学习要求
不仅是掌握知识，更重要的是掌握思想
学会把抽象的概率和实际模型结合起来
2004-12-11
应用随机过程讲义 第一讲
3
学习重点
1,用随机变量表示事件及其分解 ——基本理论
2,全概率公式 ——基本技巧
3,数学期望和条件数学期望 ——基本概念
2004-12-11
应用随机过程讲义 第一讲
4
第一讲
2004-12-11
应用随机过程讲义 第一讲
5
第一章作业
3,5,8,15,19,20,25,35
2004-12-11
应用随机过程讲义 第一讲
6
随机事件与概率随机试验
2004-12-11
应用随机过程讲义 第一讲
7
要点：
在相同条件下，试验可重复进行；
试验的一切结果是预先可以明确的，但每次试验前无法预先断言究竟会出现哪个结果。
2004-12-11
应用随机过程讲义 第一讲
8
样本点对于随机试验 E，以ω表示它的一个可能出现的试验结果，称ω为 E的一个样本点。
样本空间样本点的全体称为样本空间，用Ω表示。
Ω＝ {ω }
2004-12-11
应用随机过程讲义 第一讲
9
随机事件粗略地说，样本空间Ω的子集就是随机事件，
用大写英文字母 A,B,C等来表示。
事件的关系与运算不发生。发生，但事件：事件中至少有一事件发生。：事件同时发生。：事件
BABA
BABA
BABA
\
,
,
∪
∩
2004-12-11
应用随机过程讲义 第一讲
10
n
n
n
n
nn
n
n
n
n
nn
AA
AA
AA
AA
nA
∞→
∞
=
+
∞→
∞
=
+
=∩
=∪
≥
lim
,
lim
,
}1,{
1
1
1
1
称之为单调不增序列。若称之为单调不减序列。若
null
事件序列
2004-12-11
应用随机过程讲义 第一讲
11
.lim
limlim
limlim
inflimlim)(
suplimlim)(
1
1
n
n
n
n
n
n
n
n
n
n
n
n
n
n
k
nkn
n
n
n
n
k
nkn
AAA
AA
AAA
AAA
∞→
∞→
∞→
∞→
∞→
∞→
∞
=
∞
=
∞→
∞
=
∞
=
==
=
==∩∪
==∪∩
则定义
，如果
2004-12-11
应用随机过程讲义 第一讲
12
示性函数是最简单的随机变量用随机变量来表示事件
AI
AI
A
A
I
A
A
A
==
==
∈
=
}0)(:{
}1)(:{
,0
,1
)(
ωω
ωω
ω
ω
ω
事件事件
2004-12-11
应用随机过程讲义 第一讲
13
用示性函数的关系及运算来表示相关事件的关系及运算
∈?=?=
≤
=?
∧=
∨=
∨=
∧=
∩
∪
ωωω
ωω
ωωω
ωωω
ωωω
，
－则若取上端取下端
－
)()(
)()(
)()()(,
)()()(
)()()(
,),max(
,),min(
BA
BA
BABA
BABA
BABA
IIBA
IIBA
IIIBA
III
III
baba
baba
2004-12-11
应用随机过程讲义 第一讲
14
公理化定义集类是最简单的集类。
称为集类。
的集合的子集作为元素构成的粗略地说，由
},{?Φ
2004-12-11
应用随机过程讲义 第一讲
15
2004-12-11
应用随机过程讲义 第一讲
16
概率
2004-12-11
应用随机过程讲义 第一讲
17
：事件的概率的元素，事件：
概率：完全可加的集函数，
代数：集类，
：集合，样本空间
)(
),,(
AP
A
P
P
null
null
null
σ
概率空间
2004-12-11
应用随机过程讲义 第一讲
18
隐含了等可能条件点集的面积点集的面积几何概型隐含了等可能条件中的样本点数目中的样本点数目古典概型
=
=
=
A
AP
AA
AP
A
)(
.2
)(
)(
)(
.1
μ
μ
2004-12-11
应用随机过程讲义 第一讲
19
概率是满足
1) 非负性；
2) 归一性；
3) 可列可加性；
的集函数。
可测集粗略地说，可以定义长度（面积、体积）的点集即为可测集；反之称为不可测集。
2004-12-11
应用随机过程讲义 第一讲
20
概率的性质
1.
2,
3,有限可加性
0)( =ΦP
)(1)( APAP?=
∑
==
=
≠∈
n
k
k
n
k
k
n
APAP
jiAAAAA
11
21
)()(
),(,,,
Υ
Κ则＝且若Φ
nullnull
null
由概率非负性即得
，＝显然有,)()(
1
∑
=
=∪∪
n
k
PP ΦΦΦΦΦ Λ
即得及完全（可列）可加性由0)( =ΦP
2004-12-11
应用随机过程讲义 第一讲
21
)()()(
)()()\(
,
BPAPBAP
AB
ABPAPBAP
BA
=?
=
∈?
若
null
)()()()( ABPBPAPBAP?+=∪
4.
5,
6,)()(,BPAPBA ≤?则若
2004-12-11
应用随机过程讲义 第一讲
22
7.
8,可列次可加性
9,概率连续性
)()1(
)()()()(
,2,1,
21
1
1111
n
n
nji
kji
nji
ji
n
k
k
n
k
k
k
AAAP
AAAPAAPAPAP
nnkA
ΛΚ
Υ
≤<≤≤<≤==
++
+?=
≥≤≤∈?
∑∑∑
null
∑
∞
=
∞
=
≤
11
)()(
k
k
k
k
APAP
Υ
)(lim)lim(
}1,{
n
n
n
n
n
APAP
nA
∞→∞→
=
≥为单调事件序列，则若
2004-12-11
应用随机过程讲义 第一讲
23
这部分的详细讨论可以参见
《随机数学引论》
林元烈，清华大学出版社
2004-12-11
应用随机过程讲义 第一讲
24
Buffon试验：最早用随机试验的方法求某个未知的数。
测度：满足非负性、可列可加性的集函数。
2004-12-11
应用随机过程讲义 第一讲
25
.
.
)(
},,],,{[
可测集为一维，称代数一维称为代数生成的则由设集类
Borel
Borel
baRbaba
nullnullnull
nullnullnull
null
∈?
=
≤∈=
σ
σσ
2004-12-11
应用随机过程讲义 第一讲
26
实际上，设集类以上集类生和 null成相同的σ -代数,都是上面提到的一维 Borelσ -代数，即
}:{
},,),,{(},,,),,{(
},,,],,{(},,,),,{[
5
21213
21
中开集为＝
为有理数＝＝
＝＝
RGG
rrrrbaRbaba
baRbababaRbaba
null
nullnull
nullnull
null
≤∈
≤∈≤∈
)51(),()( ≤≤== k
k
nullnullnull σσ
2004-12-11
应用随机过程讲义 第一讲
27
直观地说,中 包含一切开区间，闭区间，半开半闭区间，半闭半开区间，单个实数，
以及由它们经可列次并交运算而得出的集合。
)(nullnull σ=
2004-12-11
应用随机过程讲义 第一讲
28
2004-12-11
应用随机过程讲义 第一讲
29
2004-12-11
应用随机过程讲义 第一讲
30
)|()()|()()(
.
)()|(
)(
)(
)|(
,,
ABPAPBAPBPABP
APAP
BP
ABP
BAP
BA
==
=?=
∈
件概率相同条件概率的性质与无条事件
null
条件概率
2004-12-11
应用随机过程讲义 第一讲
31
∑
∑
=
≠=
≤=
k
kk
k
klk
k
k
kk
CBAPCBPCAP
BAlkBB
kBBAPBPAP
)|()|()|(
,
}1,{)|()()(
Υ
,
Φ
全概率公式
2004-12-11
应用随机过程讲义 第一讲
32
事件的独立性独立独立
BA
APBAPBAP
BPAPABP
BA
,
)()|()|(
)()()(
,
==?
=?
2004-12-11
应用随机过程讲义 第一讲
33
几个事件的独立性
=
=
=
=
)()()()(
)()()(
)()()(
)()()(
,,
CPBPAPABCP
CPBPBCP
CPAPACP
BPAPABP
CBA等式：相互独立，要满足四个三个事件
2004-12-11
应用随机过程讲义 第一讲
34
.\,
.,
,,),(),,(
.,,;,,;,,;,,;,,;,,;,,;,,
21
221121
独立均与和例如，
独立则任取记独立独立独立独立独立独立独立独立下列命题等价：
CBABAAB
AA
AACBA
CBACBACBACBA
CBACBACBACBA
∪
∈∈== nullnullnullnull σσ
2004-12-11
应用随机过程讲义 第一讲
35
独立。和则设独立，若
21
11211
21
21
),,(),,,(
)()()()(
,1
,,
2121
BB
AABAAAB
APAPAPAAAP
niii
AAA
nmm
iiiiii
k
n
kk
∈∈?
=
≤<<<≤
+
ΚΚ
ΚΚ
Κ
Κ
σσ
2004-12-11
应用随机过程讲义 第一讲
36
).()(
,
0)|(,05.0)|(,6.0)(
,98.0)|(,8.0)|(,6.0)(
)31(
1
321321
213121
213121
BPAP
BBBBAAAA
BBBPBBPBP
AAAPAAPAP
kk
BA
kk
和求：
，令
。已知次试验成功，甲乙两人第为，验，记：甲乙两人各做三次试例
∪∪=∪∪=
===
===
≤≤
2004-12-11
应用随机过程讲义 第一讲
37
62.0005.04.06.0)(
9984.098.02.04.08.04.06.0
)|()(
)|()()()(
21321
1211
321211
=+×+=
=××+×+=
+
+=
++=
BP
AAAPAAP
AAPAPAPAP
AAAAAAA
（互不相容）解：
比较甲乙两人的结果，从以上结果可以得到什么结论
？
2004-12-11
应用随机过程讲义 第一讲
38
机遇偏爱有心人！
2004-12-11
应用随机过程讲义 第一讲
39
功的概率。
，求至少有一次成，若概率为次成功次独立重复试验，设每：进行例
40002.0
2
=n
n
.9997.0)98.0(1)(
400
=?=AP
一次成功的概率只有 2％，是典型的小概率事件；
但重复次数足够多，如 n=400，
至少一次成功就是大概率事件！
2004-12-11
应用随机过程讲义 第一讲
40
只要功夫深，铁杵磨成针！
2004-12-11
应用随机过程讲义 第一讲
41
随机变量定义解释
.
})(:{,
),(),(:)(
可测性要求保证了概率定义的是可测映射；
null
nullnull
∈≤∈?
→?
aXRa
RX
ωω
ω
2004-12-11
应用随机过程讲义 第一讲
42
离散型随机变量的示性函数表示法这说明对于任一 d.v.r.，总可以分解为互不交的事件的示性函数的迭加。
∈=
==
∈=?
∑
∞
=
ωωω
ω
,)()(
),:(
,),(,...
1k
Bk
kk
k
k
IxX
XxXB
NkxXPXvrd
可以表示为则设事件若其分布律为：
2004-12-11
应用随机过程讲义 第一讲
43
随机变量等价定义分布函数
2004-12-11
应用随机过程讲义 第一讲
44
连续型随机变量的概率密度函数微元法求概率密度函数
2004-12-11
应用随机过程讲义 第一讲
45
二维随机变量的分布函数
二维 Borel-σ代数
由平面上矩形的全体生成的σ－代数
}2,1,:],[],{[
2211
=≤×= ibababa
ii
σ
null
null
2004-12-11
应用随机过程讲义 第一讲
46
2004-12-11
应用随机过程讲义 第一讲
47
联合密度函数亦可用微元法求
2004-12-11
应用随机过程讲义 第一讲
48
对于二维随机变量 (X,Y)，其分量 X(或 Y) 的密度函数称为边缘密度函数.
∫
∫
∞+
∞?
+∞
∞?
=
=
dxyxfxf
dyyxfxf
Y
X
),()(
),()(
2004-12-11
应用随机过程讲义 第一讲
49
2004-12-11
应用随机过程讲义 第一讲
50
常用随机变量的分布两点分布 正态分布二项分布 指数分布
Poisson分布 均匀分布几何分布二维正态分布
2004-12-11
应用随机过程讲义 第一讲
51
两点分布若 r.v.X只取 1和 0两个值，且则称 r.v.X服从参数为 p的两点分布。
简记为,X~B(1,p).即
∈
==∈?
null
A
A
IXA
A
ω
ω
ωω
0
1
)()(,
)10(,1)0(,)1( ≤≤?==== ppXPpXP
EX=p,DX=p(1-p)
2004-12-11
应用随机过程讲义 第一讲
52
EX=np,DX=np(1-p)
EX=1/p,DX=(1-p)/p
2
2004-12-11
应用随机过程讲义 第一讲
53
EX=λ,DX=λ
EX=(a+b)/2,DX=(b-a)
2
/12
2004-12-11
应用随机过程讲义 第一讲
54
EX=1/λ,DX=1/λ
2
EX=μ,DX=σ
2
2004-12-11
应用随机过程讲义 第一讲
55
二维正态分布的优良性质
X,Y相互独立 X,Y不相关
随机变量的数字特征及条件数学期望
2004-12-11
应用随机过程讲义 第一讲
57
数学期望（复习）
“加权平均”
为了引出一般随机变量的定义，我们先介绍 R-S积分的概念。
=
=
∫
∑
∞+
∞?
dxxxf
xXPx
EX
X
kk
)(
)(
∑
∞<
k
kk
Px
∞<
∫
+∞
∞?
dxxfx
X
)(||
2004-12-11
应用随机过程讲义 第一讲
58
黎曼－斯蒂尔吉斯积分
2004-12-11
应用随机过程讲义 第一讲
59
任分任取求和取极限
2004-12-11
应用随机过程讲义 第一讲
60
2004-12-11
应用随机过程讲义 第一讲
61
∫∫
+∞
∞?
+∞
∞?
==
′
dxxfxgxdFxgxfxF )()()()(),()(则若在定义了 R-S积分之后，我们可以将所有随机变量的数学期望形式进行统一。
∫
+∞
∞?
≤= )( xXxdPEX
2004-12-11
应用随机过程讲义 第一讲
62
2004-12-11
应用随机过程讲义 第一讲
63
数学期望的性质（E|X
i
|<∞）
2004-12-11
应用随机过程讲义 第一讲
64
不独立反之，
独立
YXYEXEXYE
YEXEXYEYX
,)()()(
)()()(,
≠
=?
∑
∑∑∑
∞
=
∞
==
∞
=
≥=
====
1
110
)(
)()1()(
k
k
k
ik
kXP
kXPkXkPEX
X取值非负整数交换求和顺序
2004-12-11
应用随机过程讲义 第一讲
65
同理，对连续型随机变量有相似的结论成立
∫
∫∫∫
∞
∞∞
>=
≤=≤=
≥
0
000
)(
)()()(
0
dxxXP
xXdPdyxXxdPEX
X
x
若
2004-12-11
应用随机过程讲义 第一讲
66
2004-12-11
应用随机过程讲义 第一讲
67
2004-12-11
应用随机过程讲义 第一讲
68
2004-12-11
应用随机过程讲义 第一讲
69
2004-12-11
应用随机过程讲义 第一讲
70
Chebyshev不等式
)1(
||
)|(|
)|(|
,0
2
≥
≤≥?
≤≥?
>?
p
EXXE
EXXP
DX
EXXP
p
p
ε
ε
ε
ε
ε
2004-12-11
应用随机过程讲义 第一讲
71
条件数学期望知识准备
X和条件 Y均为 d.r.v.时 X关于 Y的条件分布律
)( Ni∈
2004-12-11
应用随机过程讲义 第一讲
72
关于事件的条件概率分布函数
.}{
)(
),(
)|(
,0)(,
的条件概率分布函数关于事件BYX
BYP
BYxXP
BYxXP
RxBYPB
∈
∈
∈≤
=∈≤
∈?>∈∈
为称设null
2004-12-11
应用随机过程讲义 第一讲
73
P(Y=y)=0时关于 Y=y的条件概率分布函数
.
}{)|(
)|(
)|(lim
,
,0)(,0,0)(
0
条件概率分布函数的关于yYXyYxXP
yYxXPhyYhyxXP
Rx
hyYhyPhyYP
h
==≤
=≤=+<≤?≤
∈?
>+<≤?>?==
→
为存在，则称若对而设
2004-12-11
应用随机过程讲义 第一讲
74
条件数学期望条件为 d.r.v.的情形
（ 1） X和条件 Y均为 d.r.v.,若 P(Y=y
j
)>0，则
2004-12-11
应用随机过程讲义 第一讲
75
2004-12-11
应用随机过程讲义 第一讲
76
用示性函数的线性组合表示离散型随机变量
（见前面,随机变量,部分 ）
2004-12-11
应用随机过程讲义 第一讲
77
.}{
)|()|(
,0)(,
的条件数学期望关于事件为称类似可以定义：
BYX
BYxXPxBYXE
BYPB
i
ii
∈
∈==∈
>∈∈?
∑
null
2004-12-11
应用随机过程讲义 第一讲
78
例,
)()|()()|(
)0|()1|()|(
)|()1|0(0)1|1(1
)1|(
)()0(0)1(1)(
,,,
)0()1(
ωω
B
B
IBAIBABA
BABA
BA
AAA
BA
IBAPIBAP
IIIEIIIEIIE
BAPIIPIIP
IIE
APIPIPIE
BAIYIX
BB
+=
=+==
===×+==×
==
==×+=×=
∈==
==
，随机变量null
将概率运算纳入求期望运算的范畴
2004-12-11
应用随机过程讲义 第一讲
79
理解
E(X|Y)是ω的函数，也是 Y(ω )的函数，即 Y(ω )
取值不同,E(X|Y)也取相应的值；
当 Y是离散型随机变量时,E(X|Y)也是离散型随机变量。
2004-12-11
应用随机过程讲义 第一讲
80
条件为 d.r.v.的情形
（ 2）条件 Y为 d.r.v.,X为一般的 r.v.
.}{
)|()|(
的条件数学期望事件关于为称
i
ii
yY
XyYxXxdPyYXE
=
=≤==
∫
+∞
∞?
.
)|()|(
)(
的条件数学期望关于为称
YX
IyYXEYXE
i
yYi
i
∑ =
==
2004-12-11
应用随机过程讲义 第一讲
81
条件为 d.r.v.的情形
（ 3）条件 (Y,Z)为 d.r.v.,X为一般的 r.v.
.},{
),|(
),|(
,,0),(
的条件数学期望关于为称设
kj
kj
kj
kj
zZyYX
zZyYxXxdP
zZyYXE
NkjzZyYP
==
==≤=
==
∈>==
∫
∞+
∞?
.),(
),|(),|(
,
),(
的条件数学期望关于为称
ZYX
IzZyYXEZYXE
kj
zZyYkj
kj
∑ ==
===
2004-12-11
应用随机过程讲义 第一讲
82
条件为一般 r.v.的情形
.}{
)|()|(
的条件数学期望关于为称
yYX
yYxXxdPyYXE
=
=≤==
∫
+∞
∞?
它是 y的函数，记作 E(X|Y=y)=g(y).
以随机变量 Y代替 y得到的 g(Y)
即为 X关于 Y的条件数学期望,
2004-12-11
应用随机过程讲义 第一讲
83
.)|(
)|()|(
),|(..
|
|
|
的条件概率密度函数为则称
，有，使
，若存在非负函数定义：对于二维
yYyxf
dxyxfyYBXP
BRy
yxfvr
YX
Bx
YX
YX
=
==∈
∈?∈?
∫
∈
null
2004-12-11
应用随机过程讲义 第一讲
84
2004-12-11
应用随机过程讲义 第一讲
85
将 x替换成 X
2004-12-11
应用随机过程讲义 第一讲
86
求条件数学期望的一般步骤
先写出固定条件 (如 Y=y)的情况下 X的条件分布律或条件密度函数；
根据条件数学期望的定义，通过求和或积分得到条件下的数学期望；
若 Y为连续型随机变量，则将 y替换成随机变量 Y
2004-12-11
应用随机过程讲义 第一讲
87
条件数学期望的性质设 E(Y),E(X
i
|Y),E(h(Y)),E{g(X)h(Y)}存在，则
(重要 !) 全期望公式
2004-12-11
应用随机过程讲义 第一讲
88
2004-12-11
应用随机过程讲义 第一讲
89
∑
∑∑
=
====
==
===
==
j
jj
j
yYjA
j
yYjA
AA
jjA
BPBAP
IEyYIEIyYIEE
YIEEIE
AP
yYBvrdYIX
jj
)()|(
)()|(])|([
)]|([)(
)(
})(:{.,..,ωω事件为令将全概率公式纳入全期望公式的范畴
2004-12-11
应用随机过程讲义 第一讲
90
重要结论,E(X|Y)=E(E(X|Y,Z)|Y)=E[E(X|Y)|Y,Z]
以示性函数为例，验证上面的结论
CB
CBA
CB
CBA
CB
CBABCCBA
CBA
IIIIEIIIIE
IIIIEIIIIE
IIIE
)0,1|()0,0|(
)1,0|()1,1|(
),|(
==+==+
==+===
CBCB
CB
BC
ICBAPICBAP
ICBAPIBCAP
)|()|(
)|()|(
++
+=
2004-12-11
应用随机过程讲义 第一讲
91
B
B
IBCAPBACP
IBCAPBACP
)]|()|([
)]|()|([
++
+=
B
B
BCBA
IBCBPCBAPBCBPCBAP
IBCBPCBAPBBCPBCAP
IIIIEE
)]|()|()|()|([
)]|()|()|()|([
]|),|([
++
+=
∴
)|(
)|()|(
BA
B
B
IIE
IBAPIBAP
=
+=
同理可验证另一个等号
2004-12-11
应用随机过程讲义 第一讲
92
例,
).,|(),|(
),0|()|(
.,0,0
1,0)1(,0)1(
...}1,{
211002100
2323
1
000
YYXEXXE
XXEXXE
YXXXY
qpqYPpYP
diinY
n
k
kn
nn
n
≥
+===
=+≥=?=≥==
≥
∑
=
的示性函数表示式及求令随机变量序列
2004-12-11
应用随机过程讲义 第一讲
93
)2(
2
)
=
=
=
=
X
Iqp
)0()2(
232
232232
23
22
2()()2(
)(
)|()|(
)|(
=?=
++?+?+?
+=+
+=+
XX
IqpIqp
qpXEYX
XYEXXYXE
XXE
由 X
2
和 Y
3
独立用示性函数表示 X
2
2004-12-11
应用随机过程讲义 第一讲
94
)(98),|(
)(98)|()|(
2121100
22
100
3
22100
qpYYYYXE
qpXXYXEXXE
K
k
++=
+=+=
∑
=
)(
2
2
)0|2(2)0|0(0
)0|()0|(
)0|(
2
2
32222
322232
23
qp
pqp
p
EYXXPXXP
EYXXEXYXE
XXE
+
+
=
+≥=+≥=?=
+≥=≥+=
≥
2004-12-11
应用随机过程讲义 第一讲
95
课件制作：刘颖
yingliu03@mails.tsinghua.edu.cn
林元烈，清华大学出版社
2004-12-11
应用随机过程讲义 第一讲
2
学习要求
不仅是掌握知识，更重要的是掌握思想
学会把抽象的概率和实际模型结合起来
2004-12-11
应用随机过程讲义 第一讲
3
学习重点
1,用随机变量表示事件及其分解 ——基本理论
2,全概率公式 ——基本技巧
3,数学期望和条件数学期望 ——基本概念
2004-12-11
应用随机过程讲义 第一讲
4
第一讲
2004-12-11
应用随机过程讲义 第一讲
5
第一章作业
3,5,8,15,19,20,25,35
2004-12-11
应用随机过程讲义 第一讲
6
随机事件与概率随机试验
2004-12-11
应用随机过程讲义 第一讲
7
要点：
在相同条件下，试验可重复进行；
试验的一切结果是预先可以明确的，但每次试验前无法预先断言究竟会出现哪个结果。
2004-12-11
应用随机过程讲义 第一讲
8
样本点对于随机试验 E，以ω表示它的一个可能出现的试验结果，称ω为 E的一个样本点。
样本空间样本点的全体称为样本空间，用Ω表示。
Ω＝ {ω }
2004-12-11
应用随机过程讲义 第一讲
9
随机事件粗略地说，样本空间Ω的子集就是随机事件，
用大写英文字母 A,B,C等来表示。
事件的关系与运算不发生。发生，但事件：事件中至少有一事件发生。：事件同时发生。：事件
BABA
BABA
BABA
\
,
,
∪
∩
2004-12-11
应用随机过程讲义 第一讲
10
n
n
n
n
nn
n
n
n
n
nn
AA
AA
AA
AA
nA
∞→
∞
=
+
∞→
∞
=
+
=∩
=∪
≥
lim
,
lim
,
}1,{
1
1
1
1
称之为单调不增序列。若称之为单调不减序列。若
null
事件序列
2004-12-11
应用随机过程讲义 第一讲
11
.lim
limlim
limlim
inflimlim)(
suplimlim)(
1
1
n
n
n
n
n
n
n
n
n
n
n
n
n
n
k
nkn
n
n
n
n
k
nkn
AAA
AA
AAA
AAA
∞→
∞→
∞→
∞→
∞→
∞→
∞
=
∞
=
∞→
∞
=
∞
=
==
=
==∩∪
==∪∩
则定义
，如果
2004-12-11
应用随机过程讲义 第一讲
12
示性函数是最简单的随机变量用随机变量来表示事件
AI
AI
A
A
I
A
A
A
==
==
∈
=
}0)(:{
}1)(:{
,0
,1
)(
ωω
ωω
ω
ω
ω
事件事件
2004-12-11
应用随机过程讲义 第一讲
13
用示性函数的关系及运算来表示相关事件的关系及运算
∈?=?=
≤
=?
∧=
∨=
∨=
∧=
∩
∪
ωωω
ωω
ωωω
ωωω
ωωω
，
－则若取上端取下端
－
)()(
)()(
)()()(,
)()()(
)()()(
,),max(
,),min(
BA
BA
BABA
BABA
BABA
IIBA
IIBA
IIIBA
III
III
baba
baba
2004-12-11
应用随机过程讲义 第一讲
14
公理化定义集类是最简单的集类。
称为集类。
的集合的子集作为元素构成的粗略地说，由
},{?Φ
2004-12-11
应用随机过程讲义 第一讲
15
2004-12-11
应用随机过程讲义 第一讲
16
概率
2004-12-11
应用随机过程讲义 第一讲
17
：事件的概率的元素，事件：
概率：完全可加的集函数，
代数：集类，
：集合，样本空间
)(
),,(
AP
A
P
P
null
null
null
σ
概率空间
2004-12-11
应用随机过程讲义 第一讲
18
隐含了等可能条件点集的面积点集的面积几何概型隐含了等可能条件中的样本点数目中的样本点数目古典概型
=
=
=
A
AP
AA
AP
A
)(
.2
)(
)(
)(
.1
μ
μ
2004-12-11
应用随机过程讲义 第一讲
19
概率是满足
1) 非负性；
2) 归一性；
3) 可列可加性；
的集函数。
可测集粗略地说，可以定义长度（面积、体积）的点集即为可测集；反之称为不可测集。
2004-12-11
应用随机过程讲义 第一讲
20
概率的性质
1.
2,
3,有限可加性
0)( =ΦP
)(1)( APAP?=
∑
==
=
≠∈
n
k
k
n
k
k
n
APAP
jiAAAAA
11
21
)()(
),(,,,
Υ
Κ则＝且若Φ
nullnull
null
由概率非负性即得
，＝显然有,)()(
1
∑
=
=∪∪
n
k
PP ΦΦΦΦΦ Λ
即得及完全（可列）可加性由0)( =ΦP
2004-12-11
应用随机过程讲义 第一讲
21
)()()(
)()()\(
,
BPAPBAP
AB
ABPAPBAP
BA
=?
=
∈?
若
null
)()()()( ABPBPAPBAP?+=∪
4.
5,
6,)()(,BPAPBA ≤?则若
2004-12-11
应用随机过程讲义 第一讲
22
7.
8,可列次可加性
9,概率连续性
)()1(
)()()()(
,2,1,
21
1
1111
n
n
nji
kji
nji
ji
n
k
k
n
k
k
k
AAAP
AAAPAAPAPAP
nnkA
ΛΚ
Υ
≤<≤≤<≤==
++
+?=
≥≤≤∈?
∑∑∑
null
∑
∞
=
∞
=
≤
11
)()(
k
k
k
k
APAP
Υ
)(lim)lim(
}1,{
n
n
n
n
n
APAP
nA
∞→∞→
=
≥为单调事件序列，则若
2004-12-11
应用随机过程讲义 第一讲
23
这部分的详细讨论可以参见
《随机数学引论》
林元烈，清华大学出版社
2004-12-11
应用随机过程讲义 第一讲
24
Buffon试验：最早用随机试验的方法求某个未知的数。
测度：满足非负性、可列可加性的集函数。
2004-12-11
应用随机过程讲义 第一讲
25
.
.
)(
},,],,{[
可测集为一维，称代数一维称为代数生成的则由设集类
Borel
Borel
baRbaba
nullnullnull
nullnullnull
null
∈?
=
≤∈=
σ
σσ
2004-12-11
应用随机过程讲义 第一讲
26
实际上，设集类以上集类生和 null成相同的σ -代数,都是上面提到的一维 Borelσ -代数，即
}:{
},,),,{(},,,),,{(
},,,],,{(},,,),,{[
5
21213
21
中开集为＝
为有理数＝＝
＝＝
RGG
rrrrbaRbaba
baRbababaRbaba
null
nullnull
nullnull
null
≤∈
≤∈≤∈
)51(),()( ≤≤== k
k
nullnullnull σσ
2004-12-11
应用随机过程讲义 第一讲
27
直观地说,中 包含一切开区间，闭区间，半开半闭区间，半闭半开区间，单个实数，
以及由它们经可列次并交运算而得出的集合。
)(nullnull σ=
2004-12-11
应用随机过程讲义 第一讲
28
2004-12-11
应用随机过程讲义 第一讲
29
2004-12-11
应用随机过程讲义 第一讲
30
)|()()|()()(
.
)()|(
)(
)(
)|(
,,
ABPAPBAPBPABP
APAP
BP
ABP
BAP
BA
==
=?=
∈
件概率相同条件概率的性质与无条事件
null
条件概率
2004-12-11
应用随机过程讲义 第一讲
31
∑
∑
=
≠=
≤=
k
kk
k
klk
k
k
kk
CBAPCBPCAP
BAlkBB
kBBAPBPAP
)|()|()|(
,
}1,{)|()()(
Υ
,
Φ
全概率公式
2004-12-11
应用随机过程讲义 第一讲
32
事件的独立性独立独立
BA
APBAPBAP
BPAPABP
BA
,
)()|()|(
)()()(
,
==?
=?
2004-12-11
应用随机过程讲义 第一讲
33
几个事件的独立性
=
=
=
=
)()()()(
)()()(
)()()(
)()()(
,,
CPBPAPABCP
CPBPBCP
CPAPACP
BPAPABP
CBA等式：相互独立，要满足四个三个事件
2004-12-11
应用随机过程讲义 第一讲
34
.\,
.,
,,),(),,(
.,,;,,;,,;,,;,,;,,;,,;,,
21
221121
独立均与和例如，
独立则任取记独立独立独立独立独立独立独立独立下列命题等价：
CBABAAB
AA
AACBA
CBACBACBACBA
CBACBACBACBA
∪
∈∈== nullnullnullnull σσ
2004-12-11
应用随机过程讲义 第一讲
35
独立。和则设独立，若
21
11211
21
21
),,(),,,(
)()()()(
,1
,,
2121
BB
AABAAAB
APAPAPAAAP
niii
AAA
nmm
iiiiii
k
n
kk
∈∈?
=
≤<<<≤
+
ΚΚ
ΚΚ
Κ
Κ
σσ
2004-12-11
应用随机过程讲义 第一讲
36
).()(
,
0)|(,05.0)|(,6.0)(
,98.0)|(,8.0)|(,6.0)(
)31(
1
321321
213121
213121
BPAP
BBBBAAAA
BBBPBBPBP
AAAPAAPAP
kk
BA
kk
和求：
，令
。已知次试验成功，甲乙两人第为，验，记：甲乙两人各做三次试例
∪∪=∪∪=
===
===
≤≤
2004-12-11
应用随机过程讲义 第一讲
37
62.0005.04.06.0)(
9984.098.02.04.08.04.06.0
)|()(
)|()()()(
21321
1211
321211
=+×+=
=××+×+=
+
+=
++=
BP
AAAPAAP
AAPAPAPAP
AAAAAAA
（互不相容）解：
比较甲乙两人的结果，从以上结果可以得到什么结论
？
2004-12-11
应用随机过程讲义 第一讲
38
机遇偏爱有心人！
2004-12-11
应用随机过程讲义 第一讲
39
功的概率。
，求至少有一次成，若概率为次成功次独立重复试验，设每：进行例
40002.0
2
=n
n
.9997.0)98.0(1)(
400
=?=AP
一次成功的概率只有 2％，是典型的小概率事件；
但重复次数足够多，如 n=400，
至少一次成功就是大概率事件！
2004-12-11
应用随机过程讲义 第一讲
40
只要功夫深，铁杵磨成针！
2004-12-11
应用随机过程讲义 第一讲
41
随机变量定义解释
.
})(:{,
),(),(:)(
可测性要求保证了概率定义的是可测映射；
null
nullnull
∈≤∈?
→?
aXRa
RX
ωω
ω
2004-12-11
应用随机过程讲义 第一讲
42
离散型随机变量的示性函数表示法这说明对于任一 d.v.r.，总可以分解为互不交的事件的示性函数的迭加。
∈=
==
∈=?
∑
∞
=
ωωω
ω
,)()(
),:(
,),(,...
1k
Bk
kk
k
k
IxX
XxXB
NkxXPXvrd
可以表示为则设事件若其分布律为：
2004-12-11
应用随机过程讲义 第一讲
43
随机变量等价定义分布函数
2004-12-11
应用随机过程讲义 第一讲
44
连续型随机变量的概率密度函数微元法求概率密度函数
2004-12-11
应用随机过程讲义 第一讲
45
二维随机变量的分布函数
二维 Borel-σ代数
由平面上矩形的全体生成的σ－代数
}2,1,:],[],{[
2211
=≤×= ibababa
ii
σ
null
null
2004-12-11
应用随机过程讲义 第一讲
46
2004-12-11
应用随机过程讲义 第一讲
47
联合密度函数亦可用微元法求
2004-12-11
应用随机过程讲义 第一讲
48
对于二维随机变量 (X,Y)，其分量 X(或 Y) 的密度函数称为边缘密度函数.
∫
∫
∞+
∞?
+∞
∞?
=
=
dxyxfxf
dyyxfxf
Y
X
),()(
),()(
2004-12-11
应用随机过程讲义 第一讲
49
2004-12-11
应用随机过程讲义 第一讲
50
常用随机变量的分布两点分布 正态分布二项分布 指数分布
Poisson分布 均匀分布几何分布二维正态分布
2004-12-11
应用随机过程讲义 第一讲
51
两点分布若 r.v.X只取 1和 0两个值，且则称 r.v.X服从参数为 p的两点分布。
简记为,X~B(1,p).即
∈
==∈?
null
A
A
IXA
A
ω
ω
ωω
0
1
)()(,
)10(,1)0(,)1( ≤≤?==== ppXPpXP
EX=p,DX=p(1-p)
2004-12-11
应用随机过程讲义 第一讲
52
EX=np,DX=np(1-p)
EX=1/p,DX=(1-p)/p
2
2004-12-11
应用随机过程讲义 第一讲
53
EX=λ,DX=λ
EX=(a+b)/2,DX=(b-a)
2
/12
2004-12-11
应用随机过程讲义 第一讲
54
EX=1/λ,DX=1/λ
2
EX=μ,DX=σ
2
2004-12-11
应用随机过程讲义 第一讲
55
二维正态分布的优良性质
X,Y相互独立 X,Y不相关
随机变量的数字特征及条件数学期望
2004-12-11
应用随机过程讲义 第一讲
57
数学期望（复习）
“加权平均”
为了引出一般随机变量的定义，我们先介绍 R-S积分的概念。
=
=
∫
∑
∞+
∞?
dxxxf
xXPx
EX
X
kk
)(
)(
∑
∞<
k
kk
Px
∞<
∫
+∞
∞?
dxxfx
X
)(||
2004-12-11
应用随机过程讲义 第一讲
58
黎曼－斯蒂尔吉斯积分
2004-12-11
应用随机过程讲义 第一讲
59
任分任取求和取极限
2004-12-11
应用随机过程讲义 第一讲
60
2004-12-11
应用随机过程讲义 第一讲
61
∫∫
+∞
∞?
+∞
∞?
==
′
dxxfxgxdFxgxfxF )()()()(),()(则若在定义了 R-S积分之后，我们可以将所有随机变量的数学期望形式进行统一。
∫
+∞
∞?
≤= )( xXxdPEX
2004-12-11
应用随机过程讲义 第一讲
62
2004-12-11
应用随机过程讲义 第一讲
63
数学期望的性质（E|X
i
|<∞）
2004-12-11
应用随机过程讲义 第一讲
64
不独立反之，
独立
YXYEXEXYE
YEXEXYEYX
,)()()(
)()()(,
≠
=?
∑
∑∑∑
∞
=
∞
==
∞
=
≥=
====
1
110
)(
)()1()(
k
k
k
ik
kXP
kXPkXkPEX
X取值非负整数交换求和顺序
2004-12-11
应用随机过程讲义 第一讲
65
同理，对连续型随机变量有相似的结论成立
∫
∫∫∫
∞
∞∞
>=
≤=≤=
≥
0
000
)(
)()()(
0
dxxXP
xXdPdyxXxdPEX
X
x
若
2004-12-11
应用随机过程讲义 第一讲
66
2004-12-11
应用随机过程讲义 第一讲
67
2004-12-11
应用随机过程讲义 第一讲
68
2004-12-11
应用随机过程讲义 第一讲
69
2004-12-11
应用随机过程讲义 第一讲
70
Chebyshev不等式
)1(
||
)|(|
)|(|
,0
2
≥
≤≥?
≤≥?
>?
p
EXXE
EXXP
DX
EXXP
p
p
ε
ε
ε
ε
ε
2004-12-11
应用随机过程讲义 第一讲
71
条件数学期望知识准备
X和条件 Y均为 d.r.v.时 X关于 Y的条件分布律
)( Ni∈
2004-12-11
应用随机过程讲义 第一讲
72
关于事件的条件概率分布函数
.}{
)(
),(
)|(
,0)(,
的条件概率分布函数关于事件BYX
BYP
BYxXP
BYxXP
RxBYPB
∈
∈
∈≤
=∈≤
∈?>∈∈
为称设null
2004-12-11
应用随机过程讲义 第一讲
73
P(Y=y)=0时关于 Y=y的条件概率分布函数
.
}{)|(
)|(
)|(lim
,
,0)(,0,0)(
0
条件概率分布函数的关于yYXyYxXP
yYxXPhyYhyxXP
Rx
hyYhyPhyYP
h
==≤
=≤=+<≤?≤
∈?
>+<≤?>?==
→
为存在，则称若对而设
2004-12-11
应用随机过程讲义 第一讲
74
条件数学期望条件为 d.r.v.的情形
（ 1） X和条件 Y均为 d.r.v.,若 P(Y=y
j
)>0，则
2004-12-11
应用随机过程讲义 第一讲
75
2004-12-11
应用随机过程讲义 第一讲
76
用示性函数的线性组合表示离散型随机变量
（见前面,随机变量,部分 ）
2004-12-11
应用随机过程讲义 第一讲
77
.}{
)|()|(
,0)(,
的条件数学期望关于事件为称类似可以定义：
BYX
BYxXPxBYXE
BYPB
i
ii
∈
∈==∈
>∈∈?
∑
null
2004-12-11
应用随机过程讲义 第一讲
78
例,
)()|()()|(
)0|()1|()|(
)|()1|0(0)1|1(1
)1|(
)()0(0)1(1)(
,,,
)0()1(
ωω
B
B
IBAIBABA
BABA
BA
AAA
BA
IBAPIBAP
IIIEIIIEIIE
BAPIIPIIP
IIE
APIPIPIE
BAIYIX
BB
+=
=+==
===×+==×
==
==×+=×=
∈==
==
，随机变量null
将概率运算纳入求期望运算的范畴
2004-12-11
应用随机过程讲义 第一讲
79
理解
E(X|Y)是ω的函数，也是 Y(ω )的函数，即 Y(ω )
取值不同,E(X|Y)也取相应的值；
当 Y是离散型随机变量时,E(X|Y)也是离散型随机变量。
2004-12-11
应用随机过程讲义 第一讲
80
条件为 d.r.v.的情形
（ 2）条件 Y为 d.r.v.,X为一般的 r.v.
.}{
)|()|(
的条件数学期望事件关于为称
i
ii
yY
XyYxXxdPyYXE
=
=≤==
∫
+∞
∞?
.
)|()|(
)(
的条件数学期望关于为称
YX
IyYXEYXE
i
yYi
i
∑ =
==
2004-12-11
应用随机过程讲义 第一讲
81
条件为 d.r.v.的情形
（ 3）条件 (Y,Z)为 d.r.v.,X为一般的 r.v.
.},{
),|(
),|(
,,0),(
的条件数学期望关于为称设
kj
kj
kj
kj
zZyYX
zZyYxXxdP
zZyYXE
NkjzZyYP
==
==≤=
==
∈>==
∫
∞+
∞?
.),(
),|(),|(
,
),(
的条件数学期望关于为称
ZYX
IzZyYXEZYXE
kj
zZyYkj
kj
∑ ==
===
2004-12-11
应用随机过程讲义 第一讲
82
条件为一般 r.v.的情形
.}{
)|()|(
的条件数学期望关于为称
yYX
yYxXxdPyYXE
=
=≤==
∫
+∞
∞?
它是 y的函数，记作 E(X|Y=y)=g(y).
以随机变量 Y代替 y得到的 g(Y)
即为 X关于 Y的条件数学期望,
2004-12-11
应用随机过程讲义 第一讲
83
.)|(
)|()|(
),|(..
|
|
|
的条件概率密度函数为则称
，有，使
，若存在非负函数定义：对于二维
yYyxf
dxyxfyYBXP
BRy
yxfvr
YX
Bx
YX
YX
=
==∈
∈?∈?
∫
∈
null
2004-12-11
应用随机过程讲义 第一讲
84
2004-12-11
应用随机过程讲义 第一讲
85
将 x替换成 X
2004-12-11
应用随机过程讲义 第一讲
86
求条件数学期望的一般步骤
先写出固定条件 (如 Y=y)的情况下 X的条件分布律或条件密度函数；
根据条件数学期望的定义，通过求和或积分得到条件下的数学期望；
若 Y为连续型随机变量，则将 y替换成随机变量 Y
2004-12-11
应用随机过程讲义 第一讲
87
条件数学期望的性质设 E(Y),E(X
i
|Y),E(h(Y)),E{g(X)h(Y)}存在，则
(重要 !) 全期望公式
2004-12-11
应用随机过程讲义 第一讲
88
2004-12-11
应用随机过程讲义 第一讲
89
∑
∑∑
=
====
==
===
==
j
jj
j
yYjA
j
yYjA
AA
jjA
BPBAP
IEyYIEIyYIEE
YIEEIE
AP
yYBvrdYIX
jj
)()|(
)()|(])|([
)]|([)(
)(
})(:{.,..,ωω事件为令将全概率公式纳入全期望公式的范畴
2004-12-11
应用随机过程讲义 第一讲
90
重要结论,E(X|Y)=E(E(X|Y,Z)|Y)=E[E(X|Y)|Y,Z]
以示性函数为例，验证上面的结论
CB
CBA
CB
CBA
CB
CBABCCBA
CBA
IIIIEIIIIE
IIIIEIIIIE
IIIE
)0,1|()0,0|(
)1,0|()1,1|(
),|(
==+==+
==+===
CBCB
CB
BC
ICBAPICBAP
ICBAPIBCAP
)|()|(
)|()|(
++
+=
2004-12-11
应用随机过程讲义 第一讲
91
B
B
IBCAPBACP
IBCAPBACP
)]|()|([
)]|()|([
++
+=
B
B
BCBA
IBCBPCBAPBCBPCBAP
IBCBPCBAPBBCPBCAP
IIIIEE
)]|()|()|()|([
)]|()|()|()|([
]|),|([
++
+=
∴
)|(
)|()|(
BA
B
B
IIE
IBAPIBAP
=
+=
同理可验证另一个等号
2004-12-11
应用随机过程讲义 第一讲
92
例,
).,|(),|(
),0|()|(
.,0,0
1,0)1(,0)1(
...}1,{
211002100
2323
1
000
YYXEXXE
XXEXXE
YXXXY
qpqYPpYP
diinY
n
k
kn
nn
n
≥
+===
=+≥=?=≥==
≥
∑
=
的示性函数表示式及求令随机变量序列
2004-12-11
应用随机过程讲义 第一讲
93
)2(
2
)
=
=
=
=
X
Iqp
)0()2(
232
232232
23
22
2()()2(
)(
)|()|(
)|(
=?=
++?+?+?
+=+
+=+
XX
IqpIqp
qpXEYX
XYEXXYXE
XXE
由 X
2
和 Y
3
独立用示性函数表示 X
2
2004-12-11
应用随机过程讲义 第一讲
94
)(98),|(
)(98)|()|(
2121100
22
100
3
22100
qpYYYYXE
qpXXYXEXXE
K
k
++=
+=+=
∑
=
)(
2
2
)0|2(2)0|0(0
)0|()0|(
)0|(
2
2
32222
322232
23
qp
pqp
p
EYXXPXXP
EYXXEXYXE
XXE
+
+
=
+≥=+≥=?=
+≥=≥+=
≥
2004-12-11
应用随机过程讲义 第一讲
95
课件制作：刘颖
yingliu03@mails.tsinghua.edu.cn
