1
龚光鲁,钱敏平著 应用随机过程教程及其在 算法与智能计算中的应用
清 华大学出版社,2003
第 １ 章 概率论精要回顾与补充
1 基本框架与典型分布
1.1 概率
定义 １,１ 记 }:{ 机试验的一个可能结果为一个基本事件,即随ww=?,它称为 样本空间,设 F 是? 的某些集合 (称为 事件 )组成的类,它如果满足
由 ∈nAA,F )1( ≥n 能推出 IU
∞
=
∞
=
∈?=
11
,,
n
n
n
n AAAA W
D
F,(1,1)
就称为一个 事件体 ( σ 代数 ),如果 在 F 上定义了一个非负函数 ∈?AAP ),( F,满足,
1)( =?P,而且对于任意 ∈iA F,)1( ≥i,只要?≠∩ ii AA )( ji ≠,就有
U∞
=
∞
=
∑=
1 1
)()(
i i
ii APAP,则称 )( AP 为事件 A的概率,
1,2 随机变量
定义 １,２ 一个随机地取实数值的量称为 随机变量,定义随机变量 x 的 分布函数 为
)()( xPxF ≤= x,我们 用 hx d= 表示 x 与 h 同分布,
１,随机变量 x 的数值函数 )(xg 的 数学期望 (均值 )
定义 １,3 离散随机变量 x 的 概率函数 （ 概率分布 ） 定义为
,)(,...),,()()( 21 ii pxpxxxxPxp ====? x (1,2)
其分布函数为 ∑
≤
=
xx
i
i
pxF,)( 而数值函数 )(xg 的数学期望为
∑=
,
)()( ii pxgEg x,
如果 x 只取非负整数值 npnP == )(x,则有另一个计算公式,
∑ >=
n
nPE )(xx,∑
≥
>=
0,
2 ),(
mn
mnPE xx,(1,3)
(证明,左 = ∑
≥
<<
0,
}{}{ )(
mn
mn IIE xx = ∑
≥
<<
0,
}{}{ )(
mn
mn IIE xx =右 ),
2
连续型随机变量 x 的分布密度为 )( xp,分布函数为 ∫
∞?
= x dttpxF )()(,数值函数 )(xg
的期望为
∫+∞∞?= dxxpxgEg )()()(x,
如果 x 只取非负值,则有另一个计算公式
∫∞ >= 0 )( dxxPE xx,
设 x 是以 )10( << aa 的概率取一个分布函数为 ∑
≤
=
xx
id
i
pxF )( 的一个离散随机变量,而以 a?1 的概率取另一个分布函数为 ∫
∞?
= xc dttpxF )()( 的一个连续型随机变量,那么 x 的分布函数就应该为 )()1()()( xFxFxF cd aa?+=,而其数值函数 )(xg 的数学期望为
∫∑ +∞∞+= dxxpxgpxgEg ii )()()1()()(
,
aax,
对一般情形的随机变量 x,设其分布函数为 )( xF,则 x 的函数 )(xg 的数学期望可粗略地定义为
Stieltjes 积分
)],(()()[(lim)( )()(1)(
0)(max )()(1
n
i
i
n
i
n
i
tt
n tFtFtgEg
n
i
n
ii
= ∑ +
→?
∞→
+
x
此极限记为 ∫
+∞
∞?
)()( xdFxg,这里 }{ )(nit 是 [-n,n]的一个划分,这种积分的运算规律及近似计算与普通积分类似,
我们有
如果 )0(,≥∞<∑ k
k
k xx,则有 ∑ ∑=
k k
kk EE xx )(,
这 个等式说明了求无穷和与取期望可以交换次序的条件,鉴于此公式很直观,且很有用,所以我们引述于此,而它的证明需要用到测度论的知识,故而从略,
2,方差与矩母函数
定义 １,４ 随机变量 x 的 方差 定义为
222 )()( xxxxx EEEEVar?=?=,
矩母函数 为
xzEezM =)(,
如果它有限,它不仅包含了一切阶矩,{ kEx （ k 阶矩 ） } 的信息,而且此时 x 的分布也可由矩母函数唯一地确定,(如果矩母函数不是有限,则人们用,纯虚的矩母函数,,即 特征函数
xj itEet =)(
3
来代替它 ),
1,３ d-维随机向量
d 维随机向量 x 的分布函数为 )()( xPxF ≤= x,这里
=
dx
x
x M
1
,x≤x 是指
dd xx ≤≤ xx,...,11,而数学期望和 方差阵 分别为
xE
=
dE
E
x
x
M
1
,djijiCov ≤=Σ,),(( xxx,
),( hx 的 协方差 为 hxxhhx EEECov?= )(),(,相关系数 为 hx hxrxh var),(VarCov=,
x 的 矩母函数定义为
xTzEezM =)(,(1,4)
其中 ),...,( 1 dT zzz =,而 T)( 表示转置,
x 的 特征函数定义为
xF TtiEet =)(,(1,5)
其中 ),...,( 1 dT ttt =
离散随机向量 x 的概率函数 (概率分布 )为
,...),(),()( 21 xxxxPxp ==ξ=?,
设连续型随机向量 x 的密度为 ),(xp 则其分布函数为 ∫
∞?
= x tdtpxF )()( 。 同样有
∫= xdxpxgEg )()()(x,
1,４ 独立性
定义 １,５ 随机变量组 },...,{ 1 nxx 称为 独立,如果
)()(),,.( 1111 nnnn xPxPxxP ≤≤=≤≤ xxxx LL,
随机变量组 },...{ 1 nxx 独立 )()()( 11 nn zMzMzM L=? （ 其中 )( ii zM 是 ix 的矩母函数
)()()( 11 nn λ?λ?=λ L （ 其中 )( ii λ? 是 ix 的特征函数 ）,
4
随机变量组 },...{ 1 Lnxx 称为独立,如果对任意 n,},...,{ 1 nxx 都是独立的,
两个随机向量 hx,称为独立,如果 BABA ∈∈ hx 与,都独立,这等价于
)()()]()([,hxhx EgEfgfEgf =,(1,6)
设随机变量 hx,独立且分别具有密度 )(),( xgxf,则其和 hx + 具有密度 (称为 gf,的
卷积 )
∫?=?= ))(()()())(( xfgduuguxfxgf,(1,7)
特别地,如果在 0<x 时 0)()( == xgxf,则上面的 gf? （ 或 fg? 的积分表示化为
∫?= x duuguxfxgf
0
)()())((,(1,8)
1,５ Chebyshev 不等式
设 x 为随机变量,xVar 为其方差,则有 Chebyshev 不等式 2)|(| d xdxx VarEP ≤≥?,
C hebyshev 不等式给出了用方差来估计随机变量与它的数学期望的偏差超过某个值的概率的上界,它的 优点是不依赖随机变量的分布,但是正因为如此,它就很粗糙,例如,如果已知 x 服从正态分布,即 ),(~ 2smx N,那么下面的上界估计就更为精确,
))(1(2)|(| 2sddxx Φ?=≥? EP,
其中 ∫
∞?
=Φ x z dzex 221
2
1)(
p 是 标准正态分布 )1,0(N 的分布函数,
1,６ 基本极限与基本极限定理 (大数 定 律与中心极限定理 )
定义 １,６ 如果随机变量序列 nx 与随机变量 x 间满足
0)|(|0 →?≥>? ∞→nnP exxe,(1,9)
则称随机变量序列 nx 依概率收敛 到随机变量 x,记为 xx?→?pn,此定义的含义为,如果忽略一个小的概率 ε,那么 nx 可以近似 x,
又若 对于任意的分量 di ≤ 都有 ipni xx?→?)(,则称为 xx?→?p
n)(
（ 其中
),,( )()(1
)( n
d
nn xxx L=,),,(
1 dxxx L=,
对于连续函数 )(xf,我们有
)()( )()( xxxx ff pnpn?→→?,(1,10)
5
概率论中最重要的定理之一,就是 大数定律,它断定,若 nx 为独立同分布的随机变量
序列,且 mx =nE ),2,1( L=n,则 mxx?→?++ pnnL1,
注 若 nx 为 非负的独 立同分布的随机变量序列,而 ),2,1( L=+∞= nE nx,则
+∞?→?++ pnn xx L1,意即
0)(0 →?≤ξ?>? ∞→nn CPC,
此结论可视为大数定律的推广,
定义 １,７ 如果随机变量序列 nx 与随机变量 x 之间满足
0|| 2 →? xx nE,(1,11)
则称随机变量序列 nx 均方收敛 到随机变量 x,记为 xx?→? 2Ln,
由 Chebyshev 不等式立刻可以得到均方收敛一定能推出依概率收敛,
定义 １,８ 如果随机变量序列 nh 与随机变量 h 之间满足 1)( = →? ∞→ hh nnP,即
,hh →n,是一个概率为 1 的事件,则称随机变量序列 nh 概率为 １ 收敛到随机变量 h,记为 hh?→?,.ean,这里 a.e,是 almost everywhere 的缩写,
概率为 1 收敛一定可以推出概率收敛
(这个事实的证明需要用到一点测度论或实变函数的知识,其证明如下,事件 }{ hh →n 就是,任给 01 >m,必存在 0n 只要 0nn ≥,就有 mn 1|| <?hh,,把它写成式子,就是
}1|{|
00 1 m
n
nnm n
<→
∞
=
∞
=
hhIIU,故由 1)( = →? ∞→ hh nnP 推出
})1|{|(
00 1 m
P n
nnn
<→
∞
=
∞
=
hhIU 1})1|{|(
00 1
=<→≥
∞
=
∞
= m
P n
nnm n
hhIIU,
由此即能推出 1)1|(|lim =<?∞→ mP nn hh ),
若随机变量序列 nx 独立同分布且期望有限,则 )(1
..1
∞→→++ nEn
ean
xxx L,此结论称为 强大数定律,,
这个定理在非数学专业的概率论课程中,一般较少论及,主要因为,随机变量列的收
6
敛,是一个什么事件不易说清楚 。 再则,其证明也较为复杂,然而这个定理的概率直观内容是非常清楚的,因此我们在此特别列出,
注 我们同样有,若随机变量序列 nx 为 非负的,并且 独立同分布,而 +∞=nEx,则
+∞?→?++,.1 eann xx L,
定义 １,８ 设 x 为 连续型 随机变量,其分布函数为 F(x),如果随机变脸序列 nx 的分布函数收敛到 F(x),则称 nx 依分布收敛 到 x,记为 xx?→?dn,
依分布收敛可以广到一般的非连续型的随机变量 x 。 即,如 果在随机变量 ξ 的分布函数 )( xF 的所有的连续点 x 上有,随机变量序列 nx 的分布函数收敛到 F(x),则也称为 nx 依分布收敛 到 x,仍记为 xx?→?dn (例如,x 遵从 Poisson 分布 (参见后面的典型分布 ― 1,７
段 ) 就是一种常见的情形 ),
依分布收敛也称为 弱收敛,也记为 xx?→?wn,在概率论的理论中已经证明了,
lxlxxx iid
n EeEe
n →→?
)()( xx EfEf n →? （ f 为任意有界连续函数 ）,(1,12)
从概率收敛一定能推出依分布收敛,(证明,记 xx,n 的分布函数为 FFn,.固定 x,对于 xx <' 有
}',{}{}'{ xxxx nn ≤>+≤?≤ xxxx,于是,由上式和 xx?→?pn 推出
()()'( PxFxF n +≤ )',xxn ≤> xx ()( PxFn +≤ )'|| xxn?≥?xx,因此
)(inflim)'( xFxF nmnm ≥≤,对称地利用 xx >",可以证明 )(suplim)"( xFxF nmnm ≥≥,连起来成为 )(inflim)'( xFxF nmnm ≥≤ )"()(suplim xFxFnmnm ≤≤ ≥,如果 F 在 x 连续,那么令
xxx →",',便得 )(inflim)( xFxF nmnm ≥≤ )()(suplim xFxFnmnm ≤≤ ≥,这就是
)()( xFxFn → ),
反之,从依分布收敛却不能推出概率收敛,除非极限随机变量为一个常数,
一般地,我们有
hxhxhhxx +?→?+→→? dnndnpn,,(1,1３ )
但是从 η?→?ηξ?→?ξ dndn,并不能推出 η+ξ?→?η+ξ dnn,
7
依分布收敛也可以用于近似计算概率,
对于随机向量,类似地也有依分布收敛及收敛的充要条件,于是有
∑∑
==
→→?
d
i
ii
d
d
i
n
iidd
dn
d
n ssss
11
)(
11
)()(
1 ),,,(),,(),,( xxxxxx LLL,(1,14)
概率论中另一个最重要的定理是 中心极限定理,其 叙述如下
若随机变量序列 nx 为独立同分布,mx =nE 且 ),2,1(2 L== nVar n sx,则
)1,0(1 Nn n dn?→++ s mxx L,
中心极限定理对 d 维随机变量也是成立的,
定理 １,９ （ P olya 定理 ） 设随机变量序列 nx 和随机变量 x 满足 xx dn →,且 x 的分布函数 )( xFx 是连续函数,则 nx 的分布函数 )( xF
nx
一致收敛到 x 的分布函数 )( xFx,
此结论称为 Polya 定理,其证明是数学分析的一个习题,
推论 １,１０ 若随机变量序列 nx 为独立同分布,mx =nE 且 ),2,1(2 L== nVar n sx,
则
0|21)(| 2
2
2
)(
1
∞→
∞?
σ
μ
∞<<∞? →?piσ?≤ξ++ξ ∫
nx
n
nu
nx duenxPSup L,
这可以理解为 nxx ++L1 有近似分布 )) (),(( n11 xxxx ++++ LL VarEN n,
可以用特征函数或矩母函数来表示依分布收敛,具体结论如下
若随机变量序列 nx 的特性函数 )(),()( ljljlj 且 →? ∞→nn 在 0=l 点连续,则
)(λ? 必是某个随机变量 x 的特征函数,而且 xx?→?dn,
注 1 以上结论比 (1.12)式要好用,因为在 (1.12)式中需要事先知道极限函数确实是特征函数,而此需要正是在应用时难以判别的,而此断言正好给出了判断一个函数为特征函数的充分条件,所以这是非常有用的,
注 2 此结论在内容上易于理解,在应用上也简单方便,但是其证明则需要用到超出本书范围的 Fourier-Stielt jes 分析这个数学工具,而在一般初等概率论中也并不给出此结论的推导,有兴趣的读者可以选阅较高一些水平的概率论教科书,例如,严士健等人编写的,概率论,,
注 3 对于 d 维情形,相应的结论仍然正确,
１,７ 典型分布
离散随机变量的典型分布有
[Bernoulli( 二项 ) 分布 ),( pNB ] 概率函数为
xNx pp
x
Nxp
= )1()( ),...,1,0,10( Nxp =<<,数学期望为 Np,
8
方差为 )1( pNp?,矩母函数为 Nz ppezM ))1(()(?+=,
[Poisson 分布 lPoisson ] 概率函数为,...)2,1,0,0(!)( =>=? xxexp
x
lll,
数学期望为 l,方差为 l,矩母函数为 )1()(?= zeezM l,
[几何分布 ] 概率函数为,...)2,1()1()( 1 =?=? xppxp x,
数学期望为 pp?1,方差为 21 p p?,矩母函数为 z
z
ep
pezM
)1(1)(=,
[负二项分布 (Pascal 分布 ) ] r 个具有独立同几何分布的随机变量的和的分布称为 负二项分布,概率函数为,...)1,()1()( 1 +=?= rrxppCxp rxrxrr,
数学期望为 p pr )1(?,方差为 2 )1( p pr?,矩母函数为 rz
z
ep
pezM )
)1(1()(=,
[多项分布 ] 概率函数为 kk nknnnn ppCxp LL 11 1,,)( = )),,,(( 11 nnnnnx kk =++= LL,
)1,0,,( 11 =++> kk pppp LL,其中 !! !
1
,,1
k
nn
n nn
nC k
L
L =,
连续型随机变量的典型分布
[正态分布 ),( 2smN ] 分布密度为 )0(21)( 2
2
2
)(
>=
ssp s
mx
exp,
数学期望为 m,方差 为 2s,矩母函数为
22
2
1
)( zzezM sm +=,特征函数为
22
2
1
)( ttiet smj?=,
[指数分布 lExp ] 分布密度为 )0()()( ),0[ >= ∞? ll l xIexp x,
数学期望为 l1,方差为 21l,矩母函数为 zzM?λλ=)(
指数分布是唯一的一个取值于 ),0[ ∞ 的 无记忆分布,即满足,对于任意 0,>ts,恒有
)()|( sPttsP >=>+> xxx,
[均匀分布 ],[ baU ] 分布密度为 )(1)( ],[ xIabxp ba?=,
数学期望为 2 ba +,方差为 12 )(
2ab?
,矩母函数为 zab eezM
azbz
)()(?
=,
9
［ Gamma 分布 （ ),( laΓ 分布 ） ］ 分布密度为 )()()( ),0[1 xIexxp x ∞λα
α
αΓ
λ= )0,( >la,
数学期望为 la,方差为 2la,)( )( alax Γ+Γ= kk kE,矩母函数为 α?λλ= )()( zzM,
( 注,∫
∞
=Γ
0
1)( dtet taa,)()1( xxx Γ=+Γ,!)1( nn =+Γ ),
[ 逆 Gamma 分布 ),(( laGI 分布 ] 设 ),(~ laGx,则 xh 1= 的分布称为逆 Gamma 分布,
（ 逆 Gamma 分布常常在方差的 Bayes 统计中,用作方差的先验分布 ）
[Erlang 分布 (记为 λ,nErlang )] 它是 n 个独立的 lExp 随机变量的和的分布,它就是
),ln（Γ 分布,
［ )(2 nc 分布 ］ 它是 n 个独立的 )1,0(N 随机变量的平方和的分布,分布密度为
)0()(
)2(2
1)(
),0[
212
2
>
Γ
= ∞ lxIexnxp
xn
n,数学期望为 n,方差为 n2,
[Beta 分布 ( ),( baB 分布 ) ]
分布密度为 )()1()( )()()( ]1,0[11 xIxxxp+Γ ΓΓ= baba ba )0,( >ba,数学期望为 ba a+,
方差为 )1()( 2 +++ baba ab,k 阶矩为 )1()1)(( )1()1(?+++++?++= kkE k bababa aaax LL,
[指数族分布 ] (是包含上述多种分布的概括与推广 ) 分布密度为
)()(
1)()()(
xTk
m
k
kexhCxp ∑?=
=
,
[Weibull 分布 ),( laW ] 分布密度为 )0,)(()( ),0[1 >= ∞ ll l atIetatp ata,
数学期望为 )11(
1
a
a +Γ?l,方差为 ]))11(()21([ 2
2
aa
a +Γ?+Γ?l,
（ 若 lx exp~,则 ),(~
1
lxh aWa= ）,
[广义 Gamma 分布 ] 分布密度为 )()()( ),0[)(1 tIettp
t
∞
Γ=
bsbkbks
k
b,
10
[截尾正态分布 ] 分布函数为 )()21)(()( ),0[ tItCtF ∞?Φ=,其中 )(xΦ 为 )1,0(N 的分布函数,
C 为规格化常数,
[Pareto 分布 ] 分布密度为 )(1)( ),[1 xIxraxp arr ∞+=,
数学期望为 )1(,1 >? rrra,方差为 )2(,)2)(1(
2
> rrr ra,
另外,分布密度为 )()()( ]0,(1 xIxxp λ?+α
α
+λ
αλ= 的分 布也称为 Pareto 分布,它出现在经济学中,例如,
在成熟的市场经济社会中,财富的占有人数的分配比例 近似地 呈现为 Pareto分布,若 ),(~ arParetox,
则 lxlh Expar ~log=,
[极值分布 ),( baE,也称为 ),( baGumble 分布 ]
分布函数为 )()1()( ),0[
)exp(
xIexF
x
∞
= b
a
,数学期望为 ba C+ (C 为 Euler 常数 ),方差为 6
22bp
,特征函数为 )1()( tiet ti= bGj a,
（ 若 1~ Expx,则 ),(~log baxba Gumble? ）,
[L ogistic ),( ba 分布 ] 分布函数为
b
a
+
= x
e
xF
1
1)(,
数学期望为 a,方差为 3
22bp
,特征函数为 ( ) )sin( ti tiet ti= bp bpj a,
［ 逆 Gauss 分布 ］ 分布密度为 )0,)((2)( ),0[2
)(
3
2
2
>?= ∞
axIexxp xa
ax
lpl
l
,
数学期望为 a,方差为 l
3a
,
[复合 Poisson 分布 ] 设,...,21 xx 为独立同分布,其分布函数均为 )( xF,为简单起见,我们假定它具有密度函数 )(xf,N是一个与,...},{ 21 xx 独立的随机变量,且遵从 lPoisson,
则 N21 xxxh +++= L 的分布称为复合 Poisson 分布,其分布密度函数为
)(!)( *
0
xfkexf k
k
k∑∞
=
= ll
h,其中 )(
* xf k 为 )(xf 的 k 次卷积 (参见 (1,7)式 ),
11
复合 Poisson 分布的数学期望为 1ξ?λ=η EE,方差为 21)( ξ?λ=η EVar,矩母函数为
)1)(()(?= zfezM l,其中 )(zf 为
1x 的矩母函数 (其证明则需要用后面 2,4段的 Wald 等式 ),
[对数正态分布 ] (即 ),(~ln 2smx N )] 分布密度为 2
2
2
)(log
2
1)( s m
sp
=
x
exxp,
数学期望
2
2
1sm+
e,方差为 )1( 222?+ ssm ee,
[Cauchy 分布 ] 分布密度为 ])[()( 22 cx cxp +?= gp,
数学期望不存在,特征函数为 ||)( tctiet?= gj,
典型的多维分布
[d - 维正态分布 ),( ΣmN ] 分布密度为 )()(2
1
2
1
2
1
||)2(
1)( mm
p
Σ
Σ
= xxd
T
exp,
其中 ( ) djiij ≤=Σ,s 为对称正定矩阵,
矩母 函数为 zzz
TT
ezM Σ+μ= 2
1
)(,特征函数为 λΣλ+λμ=λ?
TT
e 2
1
)(,
[多维 Beta 分布 ( Dirichlet ),,( 1 kaa L 分布 ) ]
分布密度为 ),()( )()()( 1}0,,,1{111
1
1
11
1
kxxxxk
k
k xxIxxxp
kk
k LL
L
L
LL ≥=++
++Γ
ΓΓ= aa
aa
aa,
[d - 维对数正态分布 （ xln 的分布,其中 ),(~ Σmx N ） ]
分布密度为 )(ln)(ln2
1
1
2
1
2
1
||)2(
1)( mm
p
Σ
Σ
= xx
d
d
T
e
xx
xp,
( ) djiij ≤=Σ,s 为对称正定矩阵,Tdxxx )ln,...,(lnln 1=,相关系数为
)1)(1(
1
=
jjii
ij
ee
e
ij ss
s
r,
[d - 维 Gauss 分布 ] 它是 d-维正态分布的推广,包含 d-维正态分布与,退化的 d-维正态分布,两类,后者没有密度且不易写出它的分布函数,因此对这种随机向量 x 的分布用它的特征函数描述更为方便,它的特征函数在形式上与正态分布的特征函数是一样的,仍为
λΣλ+λμ=λ? TTe 21)(,所不同的是,这里的 Σ 为对称非负定矩阵,即可以退化 (由于这
12
里的 )(λ? 是 d-维正态分布特征函数 λ+Σλ+λμ
=? )1(
2
1
)( Inn
TT
ez 的极限,而第 1,６ 段用特征函数表示依分布收敛的结论正说明了它确是特征函数 ),此时随机向量可以只分布在较低维的空间上,甚至可以为常数 ),这个分布仍记为 ),( ΣmN,
注 １ 由 Gauss 分布的定义可以看出,
),(~),(~ TAAbANbAN Σ++?Σ mxmx,
注 ２ 随机向量 x 遵从 Gauss 分布等价于,对于任意 d 维的向量 ξTaa,都遵从
Gauss 分布 （ 即一维正态分布或常数 ）,
Gauss 分布有一个重要的特性,就是关于依分布收敛的封闭性,即,若
xxsmx?→?dnnnn N 且),,(~ 2,则 ),(~,,,,2222 smxssmmsm Nnn 且使 →→?,
(这一性质的证明需要用一点复变函数论知识,在此略去 ),
[多 维指数族分布 ] 若二维随向 量 ),( hx 满足,
)}(exp{),( 321 stststP ∨=>> lllhx,
则称为服从二维 Poisson 分布,
[ d 维 Cauchy 分布 ] 分布密度为
2
1
22 )]|(|[
)2 1()( +
+?
+Γ=
d
cx
cdxp
gp
,
特征函数为 ||)( tcti
T
et?= gj,
1,8 次序随机变量的分布
设 )(,),(11 ωξ=ξωξ=ξ nnL 为独立同分布的随机变量,且具有分布密度 )( xp,当 ω固
定时 （ 即取定一个基本事件 ω时 ） )(,),(1 ωξωξ nL 按次序重新排列记为
)()( **1 ωξ≤≤ωξ nL,
称为次序统计量,那么 ),,( **1 nξξ L 的联合分布密度为
nxxnn
Ixpxpnxxg <<= LLL
`1
)()(!),,( 11,
即
<<=
.0
,),()(!),,( 11
1 其他情形
nn
n
xxxpxpnxxg LLL,
2 条件概率,条件分布,条件 (数学 )期望,
2,1 条件概率
13
设 A是具有正概率的事件,对于任意事件 B,称 )( )()|( AP BAPABP ∩= 为在已知事件 A
发生的条件下,事件 B 发生的条件概率,简称事件 B 对于事件 A的条件概率,
全概率公式 若正概率事件序列 1}{ ≥nnA 是样本空间? 的一个划分,即,
∈? nA F,)1( ≥n,)(,
1
mnAAA
n
mnn ≠?≠∩?=
≥
U
那么,对任意 ∈B F,有
∑
≥
=
1
)()|()(
n
nn APABPBP (1,15)
Bayes 公式
)(
)()|()|(
BP
APABPBAP ii
i =,
Bayes 公式是常与全概率公式结合起来使用的,
2,2 条件分布
设二维随机向量 ),( hx 能取的值为 ),2,1,)(,( L=jiyx ji,在离散随机变量 h 取值 y 的条件下,离散随机变量 x 的条件分布是指下面的分布表
== LL
LL
)|( yxP
x
i
i
hx,
其中
≠
======
),,,(0
)()|()|(
1 LL j
jji
i yyy
yyyxPyxP hxhx
,
连续型随机变量的条件分布密 度
定义 １,１１ 设随机向量 ),(~),( yxp密度hx,则在 y=h 的条件下,随机变量 x 的条件密度,记为 )|( yxp =hx 或 )|(| yxp hx,可以通过下式定义
)|(lim')|'( 0 ehexh ex +<<?≤== →?
∞?
∫ yyxPdxyxp
x
,
即
)|()|(| yxpyxp ==
hxhx )( ),( yp yxp
h
=,
其中 ∫= dxyxpyp ),()(h 是 h 的 (边缘 )分布,
14
推论 １,１２ （ 积分形式的全概率公式 ）
设随机向量 ),(~),( yxp密度hx,L 为实数集合,则
dydxypyxpP )()|()( hx
L
hLx ==∈ ∫∫,
事实上,我们有更为一般的全概率公式,即对于任意随机事件 A有
∫ == dyypyAPAP )()|()( hh,
它是后面将叙述的全期望公式的特殊情形,
推论 １,１ ３ （ 积分形式的 Bayes 公式 ）
设随机向量 ),(~),( yxp密度hx,则
dzzpzxp
ypyxpxyp
)()|(
)()|()|(
hx
hx
h h
hx
=
===
∫,
多维随机变量的情形条件分布
设随机向量 ),(~),,( yxp密度hx,则定义 )|()|( yxpyxp ==
hxx
)(
),(
yp
yxp
h
=,其中
∫= xdyxpyp ),()(h 是 h的 (边缘 )分布,
例 １,１４
ΣΣ
ΣΣ
2221
1211
2
1,~
m
m
h
x N 且
ΣΣ
ΣΣ
2221
1211,
22Σ 都可逆,则
( )2112212112122121 ),()|( ΣΣΣ?Σ?ΣΣ+= mmx yNyxp,
混合型的随机变量的条件分布的例子,
例 １,１５ 设随机向量 ),( hx 的分布函数为
∫ ∫ ∑
∞? ∞? ≤≤
<<?+=
x y
yy
xx
ij
j
i
pdudvvupyxF )10()1(),(),( aaa,
其中 ),( yxp 是一个分布密度,而 }{ ijp 是一个分布 律,那么
≥?
=
=
+<<?≤==≤
∫
∫
∑
∑
∞?
≤
→
})1:{(
),(
),(
)(
)|(lim)|( 0
jyy
duyup
duyup
yyp
p
yyxPyxP
j
x
j
i
ij
ij
xxi
ehexhx e
例 １,１６ 设 h 为取值于 }1,{ ≥jy j 的离散型随机变量,而随机向量 ),( hx 的联合分
15
布可以表达为 ∫
∞?
==≤ x jj duufyxP )(),( hx,则 x 为连续型随机变量,而且有
)|(lim)|( 0 ehexhx e +<<?≤==≤ →? yyxPyxP
)()(
)(
}{ yIduuf
duuf
jy
j
x
j
j ∫
∫∑ ∞?=,
2,3 条件 ( 数学 ) 期望
在 ),( hx 为连续型的或离散型的随机变量的情形时 x 关于 h 的条件期望的含义
对于连续型与离散型的二维随机变量这两种简单的情形,在 y=h 条件下,x 的条件期望,自然就应是,在 y=h 条件下 x 的条件分布的数学期望,即
(1) 若 ),( hx 为离散型的随机向量,则
∑ ====
x
yxxPyE }|()|( hxhx ；
(2) 若 ),( hx 为连续型的随机向量,则
∫ ∫∫=== dxyxp dxyxxpdyyxxpyE ),( ),()|()|( xhx,
从这两个例子我们可以看出,在条件 y=h 下的条件期望 )|( yE =hx 是 y 的一个函数,
如果我们把它记为 )( yj,那么在条件 z=h 下的条件期望 )|( zE =hx 就是 )( zj,这样我们就可以 用随机变量 )(hj,来表达在 h 取不同 z 值时的条件期望,对任意 z,当 z=h 时,
)|( zE =hx = )( zj,可见,)(hj 作为随机变量 h 的函数,表达了 x 关于 h 取不同值下的条件期望,于是我们可以合理地把它记成为 )|( hxE,也就是令 )()|( hjhx?=E,
这样定义的 )|( hxE 是一个随机变量,而且它是 h 的函数,当 y=h 时它的值为
)|( yE =hx,这个 )|( hxE 就称为 x 关于 h 的条件期望,这就比,在 y=h 条件下,x
的条件 期望,在概念上大大的深入了,
需要特别强调的是,)|( hxE 是随机变量,只有当已知 h 取定值的条件下,它才有一个确定的数值,这是与普通的数学期望根本不同之处,
例 1,１５ （ 续 ） 在 例 １,１５ 中,我们有
16
)(),(
),(
)()|( }{\}{ 1 ηη
η
+η=ηξ ∫∫∑
∑
η
η
U
i
ii yRy
i
i
i
ii
Idxxp
dxxxp
Ip
px
E,
例 １,１６ （ 续 ） 在例 １,１６ 中,我们有
)()(
)(
)|( }{ η=ηξ ∫∫∑
jy
j
j
j
Iduuf
duuuf
E,
例 １,１４ （ 续 ） 设
ΣΣ
ΣΣ
2221
1211
2
1,~
m
m
h
x N,而且
ΣΣ
ΣΣ
2221
1211 与
22Σ 都可逆,
则 )|( yE =hx 为分布 ( )2112212112122121 ),()|( ΣΣΣ?Σ?ΣΣ+= mmx yNyxp 的期望,
即
)|( yE =hx = )( 2122121 mm?ΣΣ+? y,
此时 )|( hxE 是 h的线性函数,
)()|( 2122121 mhmhx?ΣΣ+=?E (1.16)
在随机向量 ),( hx 为连续型或离散型的情形时 x 关于 h 的条件期望的性质,
在以上各种情形中所定义的随机变量 x 关于随机变量 h 的条件期望 )|( hxE 都满足以下的基本性质,
(E.1) 随机变量 x 关于随机变量 h 的条件期望 )|( hxE 是 h 的函数,
(E.2) 对任意实数集合 Λ,有 ))(()]|()([ hxhxh ΛΛ?= IEEIE,(1,17)
( 我们在随机向量 ),(~),( yxp密度hx 的情形验证性质 (E.1)与 (E.2)如下,按前面的定义我们有 ∫∫= dxxp
dxxxp
E ),(
),(
)|( h
h
hx,它显然满足 (E.1),而 (E.2)的左边就是
∫
∫ ∫ ∫∫∫
==
==
Λ
ΛΛ
右边)2.(),()(
)),((
),(
),()(),()|()(
EdxdyyxxpyI
dydxyxp
dxyxp
dxyxxpyIdyyxpyEyI
hhx,
读者可自行验证,在 ),( hx 为离散随机向量或以上的混合情形时,(E.1)和 (E.2)也都正确 ),
可以证明由 (E.1)及 (E.2)确定的随机变量,在不计零概率事件的差别下,是唯一的,
上面讨论的是在 ),( hx 为连续型的或离散型的情形时的性质,对于最一般的任意随机变
17
量 ),( hx,在理论概率论中,人们证明了,只要随机变量 x 的数学期望存在,那么就一定存在随机变量 h 的一个函数 ( )hy 满足,对任意的实数集合 Λ,恒有
))(())()(( hxhyh ΛΛ?= IEIE,
定义 １,１７ 以上的 ( )hy 就定义为随机变量 x 关于 随机变量 h 的条件期望 )|( hxE,
显见,条件期望 )|( hxE 是一个随机变量,其直观含义为,把随机变量 h 看成固定时,
在顾及随机变量 x 与随机变量 h 间的联系时 x 的数学期望,这样定义的条件期望 )|( hxE 当然满足 (E.1)及 (E.2),其中 (E.1)与 (E.2)的含义为,)|( hxE 是这样一个随机量,它在 h 取值已知时是完全确定的,而且 在有关 h 的任意一个随机事件 }{ Λ∈h 上看,它的平均与 x 的平均是相等的,
例 １,１８ 如果随机向量 ),( hx 的联合分 布函数 ),( yxF 没有密度,但是随机变量 h 的边缘分布函数 ),( yF ∞ 有密度 )(2 yf,而且对任意固定的 x 而言,y yxF ),( 对 y 分段连续,那么,随机变量 x
关于随机变量 h 的条件分布函数 （ 理解为条件期望 )|)(( ],( hxxIE?∞ ） 为
)(
),(
)|(
2 h
h
hx f y
xF
xP?
=≤,
（ 证明,对于任意实数集合 Λ,我们有
=?
Λ )]()(
),(
[
2
hh
h
If y
xF
E dyyfyf y
yxF
)()(
),(
2
2
∫Λ ∫=
Λ
dyy yxF ),(
),()()(],( dyduFyIuI x∫∫ Λ?∞= )]()([ ],( hx Λ?∞= IIE x ）,?
在 (E.1) 中取 ),( ∞?∞=Λ 就得到
(E.3) ξ=ηξ EEE ))|((,(1,18)
这个公式通常称为 全期望公式,最常见的情形是,随机变量 h 具有密度函数 )( yg 的情形,
此时
∫ === dyygyEEEE )()|()))|((( hxhxx,(1.18)’
18
它是全概率公式的推广,因为对于 任意随机事件 A,若取随机变量 )(wx AI= 时 （ 即
=
发生若随机事件未发生了若随机事件
A
A
0
1x ）,它就是全概率公式的如下的推广形式,
∫ === dyygyAPIEEAP A )()|()))|(()(( hh,(1.18)’’
无论在理论上或者在实用中,公式 (1,18)’ 与 (1,18)’’ 都是十分有用的,
用理论概率论的逼近方法还可得到,对于任意实函数 )(xh 恒有
(E.4) ))(())|()(( xhhxh hEEhE =,(1,19)
(而 (E.2)是它的特殊情形,即 )()( yIyh Λ= 的情形 ),此外,在直观上还可以看出,)(hh
相对于 h 来说,等于是,常数,,所以我们还应该有
(E.5) )|()())|)(( hxhhxh EhhE =,(1.20)
另外,还容易由 定义验证
(E.6) 若随机变量 x 与随机变量 h 独立,则条件期望 xhx EE =)|(,
对于多维随机变量的情形,我们仍然有,随机变量 x 关于随机向量 h的条件期望
)|( hxE 是一个随机变量,它是 h的函数 (即 (E.1)),而 且满足 (E.2),
))(())|()(( xhhxhLh LL IEEIE =?∈?,(1,17)’
类似的结论还有,由 (E.1)与 (E.2) 所确定的条件期望 )|( hxE 还满足,
(E.3) xhx EEE =)]([ ｜,(1,18)’
(E.4) ))(())|()(( xhhxh gEEgE =,(1,19)’
(E.5) )|()())|()(( hxhhxh EgEgE =,(1,20)’
(E.6) 若随机向量 x 与随机向量 h独立,则 )()|)(( xhx EffE =,
直观地我们还可以接受如下的 关系,
(E.7) hhxhhx == yyfEfE )]|),(([)|),((,(1.21)
（ 当 )()(),( yhxgyxf = 时,（ E.7） 显然成立,这个性质的一般情形的证明,需要用理论概率论中的典型逼近法,我们略去证明 ）,
（ 作为特殊情形,当随机向量 x 与随机向量 h独立时,有 η=ξ=ηηξ yyEffE )],([)|),((,）
19
(E.8) 线性 )|()|()|)(( hVbhxahbVax EEE +=+,(1,22)
(E.9) 平滑性,=),|)|(( VhhxEE )|( hxE
)|),|(( hVhxEE )|( hxE= (1,23)
最后,由于关于 h的条件期望就是在 h确定时的预期,它应该具有某些 最佳近似性质,即,
(E.10) 若 ∞<2)(xEf,则
2
""
2 )]()([min)]|)(()([ hxhxx gfEfEfE
g
=?
实函数好的一切
,(1,24)
( [注 ] 证明,
2
22
22
2
)]|)(()([
)]()|)(([)]|)(()([
)])()|)(()][|)(()(([2)]()|)(([)]|)(()([
)]()([
hxx
hhxhxx
hhxhxxhhxhxx
hx
fEfE
gfEEfEfE
gfEfEfEgfEEfEfE
gfE
≥
+?=
+?+?=
在以上的推导中我们用到了,对于任意实函数 g 有
))]()|)(()(|)(([))]()|)(()(([
)])()|)(()][|)(()(([
hhxhxhhxx
hhxhxx
gfEfEEgfEfE
gfEfEfE
=
)]|)()]()|)((([[))]()|)(()(([ hxhhxhhxx fgfEEEgfEfE=
0)]|)]())(([[)|)]()|)((([))]()([)]|)(()(([ == hhxhxhxhxhxx gfEEffEEgfEfEfE )
定义 １,１９ （ 定义 １,１７ 的推广 ） 若 ),,(,1)(2 nnE hhhx L=∞<,则定义
)|(lim)(),2,1:|( )(2 nnk ELkE hxhx ∞→== L,(1,25)
2,4 期望与方差的 Wald 等式
本段将给出求和项数为随机变量的独立随机变量和的期望与方差 。 我们先给出求和的
项数随机变量与求和的项相互独立的情形的 Wald 等式
定理 １,２０ （ 独立情形的 Wald 等式 ） 若 },,,{ 1 LL nxx 为独立同分布,且 它们与另一个正整值随机变量 h 独立,则
hxxx h EEE 11 )( =++L,(1,26)
2
111 )()( xhxhxx h EVarVarEVar +=++L,(1,27)
证明,利用 },...{ 1 Lnxx 与 h 的独立性,由全期望公式我们有
1111 ][])|)[(()( xhxhhxxxx hh EEEEEEE ==++=++ LL,
20
]))(1([])|)[(()( 21212121 xhhxhhxxxx hh EEEEEE?+=++=++ LL
2
1
22
1 ))(( xhhxh EEEEE?+=,
从而有
2
111 )()( xhxhxx h EVarVarEVar +=++L,
下面再给出一般情形下的 Wald 等式
定理 １,２１ （ 一般情形的 Wald 等式 ） 若 },,,{ 1 LL nxx 为独立同分布,而另一个正整值随机变量 h 虽然并不与它们独立,但是满足如下的 Wald 条件,
对于任意 n,事件 }{ n=h 与随机变量序列 },{,21 L++ nn xx 独立
( 其含义为,为了确定 }{ n=h 这个事件发生与否,并不需要时刻 n 以后的观测
},,{ 21 L++ nn xx,这种性质又称为 停时性质,或称 h 为 )( nx 停时 ),那么 (1,26),(1,27) 仍然成立,
证明,由 Wald 条件立即推出 }{ n<h 与 },,{ 1 L+nn xx 独立,故 }{ n<h 的对立事件
}{ n≥h 也与 },,{ 1 L+nn xx 独立,于是
∑ ∑∑
=
≥
∞
=
∞
=
≤ ==
h
hh xxx
1
}{
11
}{ )()()(
n
nn
nn
nnn IEIEE ∑∞
=
≥=
1
}{
n
nn EIE hx
∑
∞
=
=≥=
1
11 )(
n
EEnPE hxhx,
∑ ∑∑
=
∞
≠
=
≤
∞
=
≤ +=
h
hh xxxx
1 1,
}.{
1
}{
22 )()()(
n
mn
mn
mnmn
n
nnn IEIEE
∑
∞
≠
=
≥+=
mn
mn
mnPEEE
1,
2
1
2
1 ),()( hxhx
再注意到
∑ ∑∑ ∞
=
∞
=
≤≤
∞
≠
=
=?≥=≥
1,1,
}{}{
1,
),(),(
mn mn
mn
mn
mn
EIIEEmnPmnP hhhh hh
hh EE?= 2,
由此可知 Wald 等式成立,
3 统计简要
3,1 用样本作矩估计
21
定义 １,２２ 独立同分布的随机变量 nxx,,1 L (或随机向量 ) 称为 大小为 n 的一组随机
样本,样本 nxx,,1 L 的平均 n nxxx ++=
L1
可用来估计 1xE,样本 nxx,,1 L 的修正方差
1
)(
1
2
2
=
∑
=?
ns
n
i
i xx
可用来估计 1xVar,一般地,n
k
n
k
k xxx ++=? L1 称为 kE
1x 的 矩估计,
矩估计并不依赖于分布,故有很好的稳健性与普适性,这是它的长处,当然,如果知道了 1x 的分布的信息,则可以更多地利用它们去构造更有效的估计方法,例如,可以用最大似然估计法,最小二乘法,或 Bayes 估计法,
矩估计都是 无偏的,即,121,xxx VarEsEE ==,而且也是相合的,即,当
∞→n 时有 121,xxx VarsE pp?→→?,
用相合估计作为参数的估值的含义在于,以可以忍受的小概率失败的风险来换取能以大概率得到成功的效果,
3,2 最大似然估计
定义 １,２３ 令 ),( qxp 为 nxx,,1 L 们的概率函数 (离散型情形 ),或概率分布密度 (连续型情形 ),其中 q 是未知参数,它与 x 也都可以是向量,记
),()(
1
qxq i
n
i
pL ∏
=
=,
称为样本 nxx,,1 L 的 似然函数,
若 x 为连续型随机变量,而 h 为离散型随机变量 ( 为了使记号更简便,我们不妨假定它的取值为 L,2,1=j ),设随机向量 ),( hx 的联合分布依赖于参数 q,于是 此联合 分布 可表示 为,
∫ ∞?==≤ x j duupjxP ),(),( qhx,
此时 x 具有 分布 密度 ∑=
j
j xpxp ),(),( qq,而 ∫
∞
∞?
== duupjP j ),()( qh,
对于随机向量 ( )hx,的 n 个 随机 ( 独立同分布的 ) 样本 )(),,( niii ≤hx,其 似然函数为
),()( hxq fL =,
其中
22
)(),(),(
11
i
n
i
y
n
i
ii
i
xpyxPdxdyxf i∏∏
==
==η≤ξ=,
而 iy 是 L,2,1 中的一个数,
定义 １,２４ 如果样本 nxx,,1 L 的一个函数
^
Mq =
^
Mq ),,( 1 nxx L 满足,
)(sup)( ^ qq q LL M =,则称
^
Mq 为 q 的 最大似然估计,
最大似然估计是 似然函数整体最大值的位置,通常用局部极大值的位置作为其粗略的近似,要减少估计的随机误差 （ 方差 ）,就需要进行整体优化,为此要借助于数值方法或随机模拟,
3,3 线性模型的最小二乘估计及其推广
设
eq
e
e
q
q
x
x
x +
+
=
= =
A
aa
aa
kknkn
k
n
记为
MM
L
MMM
L
M
11
1
1111
,
其中 kn ≥,A为已知的满秩矩阵 （ 即秩为 k ）,q 为未知的待估参数,需要通过随机向量 x
的观测值来给出 q 的估计
^q
,
(1) 简单情形 设 kee,,1 L 为独立同分布,它们的数学期望为零,方差为
2s,
取 q 的估计为 xq TT AAA 1^ )(?=,那么,它满足
22^ ||inf|| qxqx
q AEAE?=?,
其中 ),,(,|| 1
1
22
n
n
i
i xxxxx L== ∑
=
,
定义 １,２５
^q
称为 矛盾方程 xq =A 的最小二乘 解,在应用中则称为参数?
的 最小二乘估计,显见它是? 的无偏估计,
(2) 推广情形 设随机向量 ),,( 1 kee L 服从数学期望为零的正态分布,其方差矩阵为正定矩阵 Σ,
定义 １,２６ 取 q 的估计为 xq 111^ )( ΣΣ= TT AAA,它称为? 的 广义最小二乘估计,显见它也是? 的无偏估计,
23
(3) 加权最小二乘估计 例如,可以用 )10(
1
1
1
)( <<
=
a
x
ax
xa
x a
n
n
n
M 代替 x,这时,矛盾方程 )(axq =A 的最小二乘解
^
)(aq,就称为矛盾方程 xq =A 的 a 加权最小二乘解,使用 它的考虑是,对历史较早的资料,相对地重要性要小一些,所以在利用时取较小的权重,
习题 1 概率论复习题
1,(1) 判断下式是否成立 （ 填 ＋ 或 －）,)|()|( ABPAABP = （ ）,
(2) (填空 ) 若 BA,互不相容,则 )|()()|()()|( BCPACPBACP +=∪,
(3) (填空 ) =? ))(|( BABP ＿＿＿,=? ))(|( BAAP ＿＿＿,
(4) 设随机事件 BA,的示性函数为 BA II,,求 ),( BA II 的联合分布,),cov(),( BAA IIID 及 AI
与的 BI 相关系数,
(5) (填空 ) X 为随机变量,A为随机事件,kB 们两两不相交,且
=k
k
BU 必然事件?,则 =∑
k
kk ABXEABP )|()|( ( ),
2,证明,（ 1 ） 41|)()()(| ≤? BPAPABP ； （ 2 ） )(1|)()(| ACPBCPABP?≤? ；
（ 3 ） ∑
=
≥
n
k
kn APAAP
1
1 ))(1(1)( L ；
（ 4 ） 若 pBPpAP?== 1)(,)(,则 )()( ABPBAP cc = ；
（ 5 ） 若 0)()( >cBPBP,)B|A(P)B|A(P c=,则 BA,独立
3,（ 1 ） 由 )()|( APBAP > 推出 )()|( BPABP >,解释其含义 ；
（ 2 ） 设第 i 个元件的可靠性为 ip,且元件间相互独立,分别求以下系统的可靠度,
24
（ 3 ） 化简 )|( BAABP ∪,)|( CBAABP ∪∪,),( 2 dcXbaXCov ++
4,设 X 为取非负整数值的随机变量,证明,
( 1 ) ∑
∞
=
≥=
1
)(
n
nXPEX
( 2 ) )1()(2
1
+?≥= ∑
∞
=
EXEXnXnPDX
n
5,设随机变量 X 与 Y 独立,且方差有限,则
(1) DXEYDYEXDXDYXYD 22 )()()( ++=
(2) DXDYXYD ≥)( 。
25
6,设 )(,,21 mnmn >+xxx L 相互独立同分布且具有有限方差,试求 ∑
=
=
n
k
kX
1
x 与 ∑
=
+=
n
k
kmY
1
x 的相关系数 。
7,nXX,,1 L 独立同分布,其分布为
pq
10
,nn XXS ++= L1,问
)|1( 1 jSXP n == )|0( 2 jSXP n == 与 )|0,1( 21 jSXXP n ===
那个大？ 其直观的含义是什么？
8,nXX,,1 L 独立同分布,其分布为
pq
11
,nn XXS ++= L1,00 =S,试求,)|( 23 SSE
的分布列,并证明 )()|( 1 qpSSSE nnn?+=+ 。
9,设随机变量 X 服从参数为 l 的 Poisson 分布,求 || l?XE 。
10,设 X 与 Y 分别服从参数为 1l 和 2l 的 Poisson 分布,且 X 与 Y 独立,证明在给定 X+Y 下,X 的条件分布是二项分布 。
11,设独立试验的次数 X 服从参数为 l 的 Poisson 分布,其中每次试验成功的概率为 p,不成功的概率为
p?1,求试验成功次数的概率分布 。
12,设随机变量 X 服从参数为 l 的 Poisson 分布,且 l 也是一随机变量,服从两点分布,
pPpP?==== 1)(,)( 21 llll,求 X 的分布列 。
1 3,设随机变量 X 具对称的密度函数,即 )()( xfxf =?,证明对任意的 0>a,有
(1) ∫?=?=?
a
dxxfaFaF
0
)(21)(1)( ;
(2) 1)(2)|(|?=< aFaXP ;
(3),))(1(2)|(| aFaXP?=>
1 4,设随机变量 k 服从 （ 0,5 ） 上的均匀分布 。 求方程
0244 2 =+++ kkxx
有实根的概率 。
1 5,设随机变量 X 服从正态分布 ),( 2smN,求 || m?XE,
16,零件强度 X～ )2,48( 2N,若 32.46≥X 为合格品,否则为次品,检验方案为,第一次任取 3 个,若
3 个都合格,则接收该批零 件 ； 若至少有 2 个次品,则拒收该批 ； 否则再抽第二次,也是 3 个 。 重复上述
26
步骤,至作出接收或拒绝决定为止 。
(1) 求由第一次取样而接收该批零件的概率 ；
(2) 求该批产品被接收的概率 ；
(3) 记 N 为在作出决定时的抽取次数,求 N 的分布,
17,如果随机变量 x 有分布密度 )(
2
1)(
),0[
)(21
3
22
xIe
x
exp xx ∞+?
= a
b
ab
p
b,则称为逆 Gauss 分布,记为 ),(~ abx IG 。 假定 21,xx 独立,),(~ abx ii IG 。 证明 ),(~ 2121 abbxx ++ IG,
18,设 ),(~ 2smNX,求实数 a 使 44 )(min)( bXEaXE b?=?
19,设随机变量 X 的概率密度函数为 )(xf,令 ||)( aXEah?=,试证明,当 a 满足
21)( =≤ aXP 时 （ 此时称 a 为 X 的中位数 ）,)(ah 达到最小 。
2 0,设 lt Exp~,求 t∧t 的分布函数,
2 1,设 hxhx ll,,~,~ ExpExp 独立,求 )( hx >P 并求 hx ∧ 及 +? )( hx 的分布,
再记 }{|,|,YXIZYX ≤=?=∧= hxhx,问 YX,是否独立? ZY,是否独立?
2 2,设 VhxVhx,，,),1,0(~,N 独立,求 )(),( hxhx ∨∧ EE 并求 hx ∧ 及 hx ∨ 的分布 及
)2( Vhx >+P,)( 032P >Vhxhx ＋＋－＋
23,设 )( xF 为分布 函数,)(1)( xFxF?=,证明 )( xF 是指数分布的充要条件为
)()()( tFsFstF =+
2 4,设随机向量 ),( YX 服从椭圆 )0,0(12
2
2
2
>>≤+ babyax 上的均匀分布,求其相关系数,问 X
与 Y 什么时候 独立?
2 5,设随机变量 X 的概率密度为
)(,21)( || ∞<<?∞=? xexf x ( 称为 Laplace 分布 ),
( 1 ),求 X 的数学期望 EX 和方差 DX ；
( 2 ),求 X 与 | X | 的协方差,又 X 与 | X | 是否不相关？ 是否相互独立？ 为什么？
2 6,设随机变量 X 服从 )1,0(N 分布,求 X 与 nX （ n 为正整数 ） 的协方差与相关系数 。
78,设 lx exp~,给定 0>c,求在 c>x )条件下,x 的条件分布密度 。
2 8,设随机变量 ],0[~ aUh,],[~ aUX h,证明随机变量 ],2[~)|( aaUXE h 。
27
29,假设 EXYXE =)|(,证明 X 与 Y 不相关,举例说明其逆命题不成立 。
30,求 Pareto 分布 ( 密度 )()()( ]0,(1 xIxxf la
a
l
al
++= ) 的期望,方差,矩,失效率函数
3 1,若随机变量 X 与 Y 相互独立,且 分别服从参数为 l 与 m 的指数分布,定义随机变量
>
≤=
YX
YXZ
当当
0
1
(1) 求条件概率密度 )|(| yxf YX ；
(2) 求 Z 的分布列和数学期望,
3 2,设 nXX,,1 L 为 n 个具有密度 )(xf ( 分布函数记为 )( xF ) 的独立同分布随机变量,令 )1(X 为它
们中最小的值,即 knk XX ≤= min)1(,)2(X 为它们中第二个小的值,…,)(nX 为它们中最大的值,
(1),证明 )(kX 具有密度 knkkn xFxFxfkC ))(1()()( 1,
(2),若独立同分布的 nXX,,1 L ]1,0[~ U,求 )(,)()( kk XVarEX 及相关系数
),( )()1( nXXr,又问 )(,),( )()1( nXVarXVar L 中那个最小,那个最大？
（ ３ ） 证明当 ∞→n 时,)(nX 按概率收敛到 １,且 )1( )(nXn? 的分布收敛到 1Exp,
33,(1),证明 )|()( XYVarYVar ≥,其中 ]|))|([()|( 2 YXYEYEXYVar?= 称为 Y 关
于 X 的条件方差,
(2) 在 ),( YX 服从二维正态分布时,求证 )()|( 2 YVarXYVar r=,其中 r 是 X 与 Y 的相关系
数,
(3),作为 (1)的推广,证明 ),|()|( ZXYVarXYVar ≥,
(4) ))|(),|((])|),[((),( XZEXYECovXZYCovEZYCov +=,
其中 )|()|(]|)[()|),(( 2 XZEXYEXYZEXZYCov?= 是随机变量 Y 和随机变量 Z 关于随
机变量 X 的条件协方差,作为特殊情形,我们有 )|(()]|([)( XYEVarXYVarEYVar +=,
34,独立地重复扔一个正面出现的概率为 p 的有偏钱币 n 次,令 Y 为其中出现正面的次数,)( nkX k <
为第 k 次出现正面时的抛扔次数,求证
28
),(,1)|,,( 111 mm
n
mm iinmCmYiXiXP <<<==== LL,
35,YX,相互独立,lsm PoissonYNX ~),,(~ 2,求 1+YX 的分布,
3 6,设 ),0[ ∞ 上分布函数 )(tF 具有密度 )(tf,定义 )(1 )()( tFtft=l,称为 失效率函数,证明
)()()|( hohtthttP +=>+<< lxx,
∫?=?
t
dss
etF 0
)(
1)(
l
,
再分别求指数分布,Weibull 分布和 Logis tic 分布的失效函数,
3 7,求 )|( bXaxXP ≤<≤ 和它的失效率 （ 截尾失效率 ）,落实到 ),(~ 2smNX 情形 。
38,设一批零件的长度 X～ N )1,50( 2,当 250 ≤?X 为合格品,否则为次品 。 求将产品中不合格元件
全部剔除后,剩下的零件的长度的分布,
39,若系统由两种独立工作的设备串联而成,它们的寿命分别为参数 ml,的指数分布,又它 们各有备件
1?n 件与 1?m 件,求在这些备件的支持下,系统的平均寿命,
40,设 h ～ ]1,0[U ],记
}2 12{
12
0 2
nn
n
kkk nn I
k
+<≤
=∑= hh,
(1) 求 nh 的分布 ；
(2) 给定 2/11 =h 下,2h 的条件分布律,
41,设 BA,为随机事件,已知 )(),(),( ABPBPAP,求 )|( AB IIE,)|( ABA IIE U 及
)|( ABA IIE I,并分别求它们的分布,
42,若 ∞<=? tXEet)(y,证明以下的 Chernoff 不等式,t?
))(()( tateaXP y≤>,
再由此推出
))((sup)( tatteaXP y≤>,
43,设 nXXX,,,21 L 独立同分布,其密度函数为
<<=
其它0
102)( xxxf
29
记 )],,max(1[ 1 nn XXnZ L?= 的分布函数为 )(xGn,证明,
xn
n
exG 21)(lim?
∞→
=,
44,设 }{ nX 为独立同分布的随机变量序列,服从 Poisson l,证明可用积分 ∫
∞?
a t dte 2
2
2
1
p 来近似计算
∑
≤≤
uk
nk
k
en
0 !
)( ll (其中
l
l
n
nua?= ),
45,
)1(22 2cos qqqq ieiee
是否是随机变量的特征函数？ 若回答 ＂ 是 ＂,则问这个随机变量是什么,
46,下列等式可以用来简化某些矩 （ 例如从低中心矩求高一阶的原点矩 ） 的计算
（ １ ） 设 ),(~ 2smNX,∞<|)('| XgE,用分部 积分证明 Stein 引理,
)('()])(([ 2 XgEXXgE sm =?,
再用 2)( xxg = 证明 233 3 smm?+=EX,
（ ２ ） 设 lPoissonX ~,)( XEg 有限,证明 Hwuang 引理,
)]1([)]([?=? XXgEXgE l,
再用 2)( xxg = 证明 lll ++= 233 3EX,
（ ３ ） 设 ~X 参 数为 ),( pr 的负二项分布,证明
+=? )1(1)]()1[( XgXr
XEXgpE,
（ ４ ） 设 ),(~ laGX,证明 )]('[1]1)(([ XXgEXXgE ll =?,
（ ５ ） 设 ),(~ baBetaX,证明 )](')1[(]1)1()(([ XgXEXXXgE?= ab,
47,设随机变量服从指数型分布,其密度为
)()(
1)()()(
xTk
m
k
kexhCxp ∑?=
=
,证明
j
i
j
i
m
i
CxTE
J
J
J
Jj
=
∑
=
)(log))()((
1
,
（ 这个等式的意义在于把左 边的积分计算简化为右边的微分运算 ）,
48,设 m=EX,)(xg 非降,证明 0))((( ≥? mXXgE,并解释其含义,
49,若 )(),( xhxg 都是非增函数,或都是非降函数,证明 )()()]()([ XEhXEgXhXgE ≥,并解
30
释其含义,又若它们一个非增,另一个非降,则结果如何？
50,设随机变量 X 服从 ]1,0[ 均匀分布,而在随机变量 xX = 条件下,随机变量 Y 的条件分布为
),( 2xxN,（ １ ） 求 ),(),(,YXCovYVarEY,（ ２ ） 证明随机变量 XY 与 X 独立,
51,设随机变量 X 服从 ]1,0[ 均匀分布,而在随机变量 xX = 条件下,随机变量 Y 的条件分布为二项分布 ),( xnB,（ １ ） 求 )(,YVarEY,（ ２ ） 求随机变量 Y 的分布,
52,设随机变量 X 服从 ),( laG 分布,而在随机变量 xX = 条件下,随机变 量 Y 的条件分布为
xPoisson,（ １ ） 求 )(,YVarEY,（ ２ ） 求随机变量 Y 的分布,
53,设随机变量 X 服从 ),( laG 分布,而在随机变量 xX = 条件下,随机变量 N 的条件分布为
xPoisson,又在随机变量 nN = 的条件下,随机变量 Y 的条件分布为二项分布 ),( pnB 。
（ １ ） 证明 )()( XVarEXYVar +=,（ ２ ） 求随机变量 Y 的分布,
54,设随机变量 X 服从 ),( baBeta,而在随机变量 xX = 条件下,随机变量 Y 的条件分布为二项分布
),( xnB,证明 )()1()1()( XVarnnEXnEXYVar?+?=,（ Y 的分布称为?Beta 二项分布 ）,
55,设随机变量 X 服从 ),( baBeta 分布,而在随机变量 xX = 条件下,随机变量 Y 的条件分布为
),( xrPascal,求 )(,YVarEY,（ Y 的分布称为 PascalBeta? 分布 ）,
56,设随机向量 ),,( 1 mxx L 服从参数为 ),,( 1 mpp L 的多项分布,求协方差 ),( jiCov xx,相关系数
ji
r xx,以及在 ii kX = 条件下,jX 的条件分布,
57,假定 2121,,,ggff 为 4 个分布密度,它们的数学期望分别为 2121,,,nnmm,今有随机向量 ),( YX,
其联合分布密度为 )10()()()1()()( 2211 <<?+? lll ygxfygxf,求 ),( YXCov,
又问 YX,何时相互独立？
58,求证 n 个独立 ]1,0[U 随机变量的乘积的分布密度是 )(!)(ln ]1,0[ xInx
n
59 设
2
1
2
1
10
～x,]1,0[U～h,且相互独立 。 分别求 hx +,xh的分布
60。 设 YX,独立同分布 。 求证 22 )()())( bXPaXPbYXaP >?>=≤∧<
31
61,设随机变量 ntt,,1 L 相互独立,且 )(~ nkExp
kk
≤lt,证明
n
k
knkjP ll
ltt
++== ≤ L1)max(,
62,设随机变量 )(],,[~
1
kXCosSUX
n
k
n ∑
=
=? pp 。 证明 )(0 ∞→?→? nnS pn,
( 用 Chebyshev 不等式 ),
63,设 WZYX,,,是独立同分布的标准正态随机变量 。 证明
22
2
2222(
ba
bWZbYXaP
+=+>+
64,分别 对于随机变量 ]1,1[~,~),,(~ 2?UXPoissonXNX lsm,求
))(()),( XCosVarXCosE pp （ 利用特征函数 ）,
65,将出现在空间区域 Λ 中的随机的粒子的数目记为随机变量 ΛX 。 假设 ||~ ΛΛ aPoissonX,其中
a 是正常数,|| Λ 表示空间区域 Λ 的 体积,取定其中一个粒子后,与它最近的粒子对于它的距离记
为 h,求证随机变量 h 服从 Weibull 分布,即它的分布函数为
3
3
4
1)( xaexF ph= （ 注,如果
随机粒子出现的空间不是三维空间,而是 d 维空间,则相应地有
d
d
xda
exF )12(
2
1)( +Γ
=
p
h ）,
66,随机变量 YX,独立,具有相同的分布 ),N( 2sm 。 求 Y)E(X ∧
67,设随机变量 Y,X 满足,r===== )Y,X(Cov,)Y(Var)X(Var,EYEX 10 。
（ 1 ） 求 2)YX(E ± ； （ 2 ） 证明如下的 Chebyshev 不等式,
2222222 11
2
1 r?+≤?++=∨ |)YX|YX(E)YX(E 。
68,利用 67 题的结论,证明二维 Chebyshev 不等式,
2
211
e
ree?+≤≥?≥? ))Y(Var|EYY|),X(Var|EXX(|P
。
你能否把这想法推广到三 维情形？
69．,设 )(),( yGxF 是两个分布函数,记
))(),(min(),(,)1)()(((),( 21 yGxFyxFyGxFyxF =?+= +,
32
其中记号 )(),0[ zzIz ∞+ =,证明 ),(),,( 21 yxFyxF 都是二元分布函数,且满足
（ １ ） ),(),( 21 ∞=∞ xFxF )( xF=,),(),( 21 yFyF ∞=∞ )( yG= ；
（ ２ ） 若另有二元分布函数 ),( yxF,也满足 ),( ∞xF )( xF=,),( yF ∞ )( yG=,则
),(),(),( 21 yxFyxFyxF ≤≤,
龚光鲁,钱敏平著 应用随机过程教程及其在 算法与智能计算中的应用
清 华大学出版社,2003
第 １ 章 概率论精要回顾与补充
1 基本框架与典型分布
1.1 概率
定义 １,１ 记 }:{ 机试验的一个可能结果为一个基本事件,即随ww=?,它称为 样本空间,设 F 是? 的某些集合 (称为 事件 )组成的类,它如果满足
由 ∈nAA,F )1( ≥n 能推出 IU
∞
=
∞
=
∈?=
11
,,
n
n
n
n AAAA W
D
F,(1,1)
就称为一个 事件体 ( σ 代数 ),如果 在 F 上定义了一个非负函数 ∈?AAP ),( F,满足,
1)( =?P,而且对于任意 ∈iA F,)1( ≥i,只要?≠∩ ii AA )( ji ≠,就有
U∞
=
∞
=
∑=
1 1
)()(
i i
ii APAP,则称 )( AP 为事件 A的概率,
1,2 随机变量
定义 １,２ 一个随机地取实数值的量称为 随机变量,定义随机变量 x 的 分布函数 为
)()( xPxF ≤= x,我们 用 hx d= 表示 x 与 h 同分布,
１,随机变量 x 的数值函数 )(xg 的 数学期望 (均值 )
定义 １,3 离散随机变量 x 的 概率函数 （ 概率分布 ） 定义为
,)(,...),,()()( 21 ii pxpxxxxPxp ====? x (1,2)
其分布函数为 ∑
≤
=
xx
i
i
pxF,)( 而数值函数 )(xg 的数学期望为
∑=
,
)()( ii pxgEg x,
如果 x 只取非负整数值 npnP == )(x,则有另一个计算公式,
∑ >=
n
nPE )(xx,∑
≥
>=
0,
2 ),(
mn
mnPE xx,(1,3)
(证明,左 = ∑
≥
<<
0,
}{}{ )(
mn
mn IIE xx = ∑
≥
<<
0,
}{}{ )(
mn
mn IIE xx =右 ),
2
连续型随机变量 x 的分布密度为 )( xp,分布函数为 ∫
∞?
= x dttpxF )()(,数值函数 )(xg
的期望为
∫+∞∞?= dxxpxgEg )()()(x,
如果 x 只取非负值,则有另一个计算公式
∫∞ >= 0 )( dxxPE xx,
设 x 是以 )10( << aa 的概率取一个分布函数为 ∑
≤
=
xx
id
i
pxF )( 的一个离散随机变量,而以 a?1 的概率取另一个分布函数为 ∫
∞?
= xc dttpxF )()( 的一个连续型随机变量,那么 x 的分布函数就应该为 )()1()()( xFxFxF cd aa?+=,而其数值函数 )(xg 的数学期望为
∫∑ +∞∞+= dxxpxgpxgEg ii )()()1()()(
,
aax,
对一般情形的随机变量 x,设其分布函数为 )( xF,则 x 的函数 )(xg 的数学期望可粗略地定义为
Stieltjes 积分
)],(()()[(lim)( )()(1)(
0)(max )()(1
n
i
i
n
i
n
i
tt
n tFtFtgEg
n
i
n
ii
= ∑ +
→?
∞→
+
x
此极限记为 ∫
+∞
∞?
)()( xdFxg,这里 }{ )(nit 是 [-n,n]的一个划分,这种积分的运算规律及近似计算与普通积分类似,
我们有
如果 )0(,≥∞<∑ k
k
k xx,则有 ∑ ∑=
k k
kk EE xx )(,
这 个等式说明了求无穷和与取期望可以交换次序的条件,鉴于此公式很直观,且很有用,所以我们引述于此,而它的证明需要用到测度论的知识,故而从略,
2,方差与矩母函数
定义 １,４ 随机变量 x 的 方差 定义为
222 )()( xxxxx EEEEVar?=?=,
矩母函数 为
xzEezM =)(,
如果它有限,它不仅包含了一切阶矩,{ kEx （ k 阶矩 ） } 的信息,而且此时 x 的分布也可由矩母函数唯一地确定,(如果矩母函数不是有限,则人们用,纯虚的矩母函数,,即 特征函数
xj itEet =)(
3
来代替它 ),
1,３ d-维随机向量
d 维随机向量 x 的分布函数为 )()( xPxF ≤= x,这里
=
dx
x
x M
1
,x≤x 是指
dd xx ≤≤ xx,...,11,而数学期望和 方差阵 分别为
xE
=
dE
E
x
x
M
1
,djijiCov ≤=Σ,),(( xxx,
),( hx 的 协方差 为 hxxhhx EEECov?= )(),(,相关系数 为 hx hxrxh var),(VarCov=,
x 的 矩母函数定义为
xTzEezM =)(,(1,4)
其中 ),...,( 1 dT zzz =,而 T)( 表示转置,
x 的 特征函数定义为
xF TtiEet =)(,(1,5)
其中 ),...,( 1 dT ttt =
离散随机向量 x 的概率函数 (概率分布 )为
,...),(),()( 21 xxxxPxp ==ξ=?,
设连续型随机向量 x 的密度为 ),(xp 则其分布函数为 ∫
∞?
= x tdtpxF )()( 。 同样有
∫= xdxpxgEg )()()(x,
1,４ 独立性
定义 １,５ 随机变量组 },...,{ 1 nxx 称为 独立,如果
)()(),,.( 1111 nnnn xPxPxxP ≤≤=≤≤ xxxx LL,
随机变量组 },...{ 1 nxx 独立 )()()( 11 nn zMzMzM L=? （ 其中 )( ii zM 是 ix 的矩母函数
)()()( 11 nn λ?λ?=λ L （ 其中 )( ii λ? 是 ix 的特征函数 ）,
4
随机变量组 },...{ 1 Lnxx 称为独立,如果对任意 n,},...,{ 1 nxx 都是独立的,
两个随机向量 hx,称为独立,如果 BABA ∈∈ hx 与,都独立,这等价于
)()()]()([,hxhx EgEfgfEgf =,(1,6)
设随机变量 hx,独立且分别具有密度 )(),( xgxf,则其和 hx + 具有密度 (称为 gf,的
卷积 )
∫?=?= ))(()()())(( xfgduuguxfxgf,(1,7)
特别地,如果在 0<x 时 0)()( == xgxf,则上面的 gf? （ 或 fg? 的积分表示化为
∫?= x duuguxfxgf
0
)()())((,(1,8)
1,５ Chebyshev 不等式
设 x 为随机变量,xVar 为其方差,则有 Chebyshev 不等式 2)|(| d xdxx VarEP ≤≥?,
C hebyshev 不等式给出了用方差来估计随机变量与它的数学期望的偏差超过某个值的概率的上界,它的 优点是不依赖随机变量的分布,但是正因为如此,它就很粗糙,例如,如果已知 x 服从正态分布,即 ),(~ 2smx N,那么下面的上界估计就更为精确,
))(1(2)|(| 2sddxx Φ?=≥? EP,
其中 ∫
∞?
=Φ x z dzex 221
2
1)(
p 是 标准正态分布 )1,0(N 的分布函数,
1,６ 基本极限与基本极限定理 (大数 定 律与中心极限定理 )
定义 １,６ 如果随机变量序列 nx 与随机变量 x 间满足
0)|(|0 →?≥>? ∞→nnP exxe,(1,9)
则称随机变量序列 nx 依概率收敛 到随机变量 x,记为 xx?→?pn,此定义的含义为,如果忽略一个小的概率 ε,那么 nx 可以近似 x,
又若 对于任意的分量 di ≤ 都有 ipni xx?→?)(,则称为 xx?→?p
n)(
（ 其中
),,( )()(1
)( n
d
nn xxx L=,),,(
1 dxxx L=,
对于连续函数 )(xf,我们有
)()( )()( xxxx ff pnpn?→→?,(1,10)
5
概率论中最重要的定理之一,就是 大数定律,它断定,若 nx 为独立同分布的随机变量
序列,且 mx =nE ),2,1( L=n,则 mxx?→?++ pnnL1,
注 若 nx 为 非负的独 立同分布的随机变量序列,而 ),2,1( L=+∞= nE nx,则
+∞?→?++ pnn xx L1,意即
0)(0 →?≤ξ?>? ∞→nn CPC,
此结论可视为大数定律的推广,
定义 １,７ 如果随机变量序列 nx 与随机变量 x 之间满足
0|| 2 →? xx nE,(1,11)
则称随机变量序列 nx 均方收敛 到随机变量 x,记为 xx?→? 2Ln,
由 Chebyshev 不等式立刻可以得到均方收敛一定能推出依概率收敛,
定义 １,８ 如果随机变量序列 nh 与随机变量 h 之间满足 1)( = →? ∞→ hh nnP,即
,hh →n,是一个概率为 1 的事件,则称随机变量序列 nh 概率为 １ 收敛到随机变量 h,记为 hh?→?,.ean,这里 a.e,是 almost everywhere 的缩写,
概率为 1 收敛一定可以推出概率收敛
(这个事实的证明需要用到一点测度论或实变函数的知识,其证明如下,事件 }{ hh →n 就是,任给 01 >m,必存在 0n 只要 0nn ≥,就有 mn 1|| <?hh,,把它写成式子,就是
}1|{|
00 1 m
n
nnm n
<→
∞
=
∞
=
hhIIU,故由 1)( = →? ∞→ hh nnP 推出
})1|{|(
00 1 m
P n
nnn
<→
∞
=
∞
=
hhIU 1})1|{|(
00 1
=<→≥
∞
=
∞
= m
P n
nnm n
hhIIU,
由此即能推出 1)1|(|lim =<?∞→ mP nn hh ),
若随机变量序列 nx 独立同分布且期望有限,则 )(1
..1
∞→→++ nEn
ean
xxx L,此结论称为 强大数定律,,
这个定理在非数学专业的概率论课程中,一般较少论及,主要因为,随机变量列的收
6
敛,是一个什么事件不易说清楚 。 再则,其证明也较为复杂,然而这个定理的概率直观内容是非常清楚的,因此我们在此特别列出,
注 我们同样有,若随机变量序列 nx 为 非负的,并且 独立同分布,而 +∞=nEx,则
+∞?→?++,.1 eann xx L,
定义 １,８ 设 x 为 连续型 随机变量,其分布函数为 F(x),如果随机变脸序列 nx 的分布函数收敛到 F(x),则称 nx 依分布收敛 到 x,记为 xx?→?dn,
依分布收敛可以广到一般的非连续型的随机变量 x 。 即,如 果在随机变量 ξ 的分布函数 )( xF 的所有的连续点 x 上有,随机变量序列 nx 的分布函数收敛到 F(x),则也称为 nx 依分布收敛 到 x,仍记为 xx?→?dn (例如,x 遵从 Poisson 分布 (参见后面的典型分布 ― 1,７
段 ) 就是一种常见的情形 ),
依分布收敛也称为 弱收敛,也记为 xx?→?wn,在概率论的理论中已经证明了,
lxlxxx iid
n EeEe
n →→?
)()( xx EfEf n →? （ f 为任意有界连续函数 ）,(1,12)
从概率收敛一定能推出依分布收敛,(证明,记 xx,n 的分布函数为 FFn,.固定 x,对于 xx <' 有
}',{}{}'{ xxxx nn ≤>+≤?≤ xxxx,于是,由上式和 xx?→?pn 推出
()()'( PxFxF n +≤ )',xxn ≤> xx ()( PxFn +≤ )'|| xxn?≥?xx,因此
)(inflim)'( xFxF nmnm ≥≤,对称地利用 xx >",可以证明 )(suplim)"( xFxF nmnm ≥≥,连起来成为 )(inflim)'( xFxF nmnm ≥≤ )"()(suplim xFxFnmnm ≤≤ ≥,如果 F 在 x 连续,那么令
xxx →",',便得 )(inflim)( xFxF nmnm ≥≤ )()(suplim xFxFnmnm ≤≤ ≥,这就是
)()( xFxFn → ),
反之,从依分布收敛却不能推出概率收敛,除非极限随机变量为一个常数,
一般地,我们有
hxhxhhxx +?→?+→→? dnndnpn,,(1,1３ )
但是从 η?→?ηξ?→?ξ dndn,并不能推出 η+ξ?→?η+ξ dnn,
7
依分布收敛也可以用于近似计算概率,
对于随机向量,类似地也有依分布收敛及收敛的充要条件,于是有
∑∑
==
→→?
d
i
ii
d
d
i
n
iidd
dn
d
n ssss
11
)(
11
)()(
1 ),,,(),,(),,( xxxxxx LLL,(1,14)
概率论中另一个最重要的定理是 中心极限定理,其 叙述如下
若随机变量序列 nx 为独立同分布,mx =nE 且 ),2,1(2 L== nVar n sx,则
)1,0(1 Nn n dn?→++ s mxx L,
中心极限定理对 d 维随机变量也是成立的,
定理 １,９ （ P olya 定理 ） 设随机变量序列 nx 和随机变量 x 满足 xx dn →,且 x 的分布函数 )( xFx 是连续函数,则 nx 的分布函数 )( xF
nx
一致收敛到 x 的分布函数 )( xFx,
此结论称为 Polya 定理,其证明是数学分析的一个习题,
推论 １,１０ 若随机变量序列 nx 为独立同分布,mx =nE 且 ),2,1(2 L== nVar n sx,
则
0|21)(| 2
2
2
)(
1
∞→
∞?
σ
μ
∞<<∞? →?piσ?≤ξ++ξ ∫
nx
n
nu
nx duenxPSup L,
这可以理解为 nxx ++L1 有近似分布 )) (),(( n11 xxxx ++++ LL VarEN n,
可以用特征函数或矩母函数来表示依分布收敛,具体结论如下
若随机变量序列 nx 的特性函数 )(),()( ljljlj 且 →? ∞→nn 在 0=l 点连续,则
)(λ? 必是某个随机变量 x 的特征函数,而且 xx?→?dn,
注 1 以上结论比 (1.12)式要好用,因为在 (1.12)式中需要事先知道极限函数确实是特征函数,而此需要正是在应用时难以判别的,而此断言正好给出了判断一个函数为特征函数的充分条件,所以这是非常有用的,
注 2 此结论在内容上易于理解,在应用上也简单方便,但是其证明则需要用到超出本书范围的 Fourier-Stielt jes 分析这个数学工具,而在一般初等概率论中也并不给出此结论的推导,有兴趣的读者可以选阅较高一些水平的概率论教科书,例如,严士健等人编写的,概率论,,
注 3 对于 d 维情形,相应的结论仍然正确,
１,７ 典型分布
离散随机变量的典型分布有
[Bernoulli( 二项 ) 分布 ),( pNB ] 概率函数为
xNx pp
x
Nxp
= )1()( ),...,1,0,10( Nxp =<<,数学期望为 Np,
8
方差为 )1( pNp?,矩母函数为 Nz ppezM ))1(()(?+=,
[Poisson 分布 lPoisson ] 概率函数为,...)2,1,0,0(!)( =>=? xxexp
x
lll,
数学期望为 l,方差为 l,矩母函数为 )1()(?= zeezM l,
[几何分布 ] 概率函数为,...)2,1()1()( 1 =?=? xppxp x,
数学期望为 pp?1,方差为 21 p p?,矩母函数为 z
z
ep
pezM
)1(1)(=,
[负二项分布 (Pascal 分布 ) ] r 个具有独立同几何分布的随机变量的和的分布称为 负二项分布,概率函数为,...)1,()1()( 1 +=?= rrxppCxp rxrxrr,
数学期望为 p pr )1(?,方差为 2 )1( p pr?,矩母函数为 rz
z
ep
pezM )
)1(1()(=,
[多项分布 ] 概率函数为 kk nknnnn ppCxp LL 11 1,,)( = )),,,(( 11 nnnnnx kk =++= LL,
)1,0,,( 11 =++> kk pppp LL,其中 !! !
1
,,1
k
nn
n nn
nC k
L
L =,
连续型随机变量的典型分布
[正态分布 ),( 2smN ] 分布密度为 )0(21)( 2
2
2
)(
>=
ssp s
mx
exp,
数学期望为 m,方差 为 2s,矩母函数为
22
2
1
)( zzezM sm +=,特征函数为
22
2
1
)( ttiet smj?=,
[指数分布 lExp ] 分布密度为 )0()()( ),0[ >= ∞? ll l xIexp x,
数学期望为 l1,方差为 21l,矩母函数为 zzM?λλ=)(
指数分布是唯一的一个取值于 ),0[ ∞ 的 无记忆分布,即满足,对于任意 0,>ts,恒有
)()|( sPttsP >=>+> xxx,
[均匀分布 ],[ baU ] 分布密度为 )(1)( ],[ xIabxp ba?=,
数学期望为 2 ba +,方差为 12 )(
2ab?
,矩母函数为 zab eezM
azbz
)()(?
=,
9
［ Gamma 分布 （ ),( laΓ 分布 ） ］ 分布密度为 )()()( ),0[1 xIexxp x ∞λα
α
αΓ
λ= )0,( >la,
数学期望为 la,方差为 2la,)( )( alax Γ+Γ= kk kE,矩母函数为 α?λλ= )()( zzM,
( 注,∫
∞
=Γ
0
1)( dtet taa,)()1( xxx Γ=+Γ,!)1( nn =+Γ ),
[ 逆 Gamma 分布 ),(( laGI 分布 ] 设 ),(~ laGx,则 xh 1= 的分布称为逆 Gamma 分布,
（ 逆 Gamma 分布常常在方差的 Bayes 统计中,用作方差的先验分布 ）
[Erlang 分布 (记为 λ,nErlang )] 它是 n 个独立的 lExp 随机变量的和的分布,它就是
),ln（Γ 分布,
［ )(2 nc 分布 ］ 它是 n 个独立的 )1,0(N 随机变量的平方和的分布,分布密度为
)0()(
)2(2
1)(
),0[
212
2
>
Γ
= ∞ lxIexnxp
xn
n,数学期望为 n,方差为 n2,
[Beta 分布 ( ),( baB 分布 ) ]
分布密度为 )()1()( )()()( ]1,0[11 xIxxxp+Γ ΓΓ= baba ba )0,( >ba,数学期望为 ba a+,
方差为 )1()( 2 +++ baba ab,k 阶矩为 )1()1)(( )1()1(?+++++?++= kkE k bababa aaax LL,
[指数族分布 ] (是包含上述多种分布的概括与推广 ) 分布密度为
)()(
1)()()(
xTk
m
k
kexhCxp ∑?=
=
,
[Weibull 分布 ),( laW ] 分布密度为 )0,)(()( ),0[1 >= ∞ ll l atIetatp ata,
数学期望为 )11(
1
a
a +Γ?l,方差为 ]))11(()21([ 2
2
aa
a +Γ?+Γ?l,
（ 若 lx exp~,则 ),(~
1
lxh aWa= ）,
[广义 Gamma 分布 ] 分布密度为 )()()( ),0[)(1 tIettp
t
∞
Γ=
bsbkbks
k
b,
10
[截尾正态分布 ] 分布函数为 )()21)(()( ),0[ tItCtF ∞?Φ=,其中 )(xΦ 为 )1,0(N 的分布函数,
C 为规格化常数,
[Pareto 分布 ] 分布密度为 )(1)( ),[1 xIxraxp arr ∞+=,
数学期望为 )1(,1 >? rrra,方差为 )2(,)2)(1(
2
> rrr ra,
另外,分布密度为 )()()( ]0,(1 xIxxp λ?+α
α
+λ
αλ= 的分 布也称为 Pareto 分布,它出现在经济学中,例如,
在成熟的市场经济社会中,财富的占有人数的分配比例 近似地 呈现为 Pareto分布,若 ),(~ arParetox,
则 lxlh Expar ~log=,
[极值分布 ),( baE,也称为 ),( baGumble 分布 ]
分布函数为 )()1()( ),0[
)exp(
xIexF
x
∞
= b
a
,数学期望为 ba C+ (C 为 Euler 常数 ),方差为 6
22bp
,特征函数为 )1()( tiet ti= bGj a,
（ 若 1~ Expx,则 ),(~log baxba Gumble? ）,
[L ogistic ),( ba 分布 ] 分布函数为
b
a
+
= x
e
xF
1
1)(,
数学期望为 a,方差为 3
22bp
,特征函数为 ( ) )sin( ti tiet ti= bp bpj a,
［ 逆 Gauss 分布 ］ 分布密度为 )0,)((2)( ),0[2
)(
3
2
2
>?= ∞
axIexxp xa
ax
lpl
l
,
数学期望为 a,方差为 l
3a
,
[复合 Poisson 分布 ] 设,...,21 xx 为独立同分布,其分布函数均为 )( xF,为简单起见,我们假定它具有密度函数 )(xf,N是一个与,...},{ 21 xx 独立的随机变量,且遵从 lPoisson,
则 N21 xxxh +++= L 的分布称为复合 Poisson 分布,其分布密度函数为
)(!)( *
0
xfkexf k
k
k∑∞
=
= ll
h,其中 )(
* xf k 为 )(xf 的 k 次卷积 (参见 (1,7)式 ),
11
复合 Poisson 分布的数学期望为 1ξ?λ=η EE,方差为 21)( ξ?λ=η EVar,矩母函数为
)1)(()(?= zfezM l,其中 )(zf 为
1x 的矩母函数 (其证明则需要用后面 2,4段的 Wald 等式 ),
[对数正态分布 ] (即 ),(~ln 2smx N )] 分布密度为 2
2
2
)(log
2
1)( s m
sp
=
x
exxp,
数学期望
2
2
1sm+
e,方差为 )1( 222?+ ssm ee,
[Cauchy 分布 ] 分布密度为 ])[()( 22 cx cxp +?= gp,
数学期望不存在,特征函数为 ||)( tctiet?= gj,
典型的多维分布
[d - 维正态分布 ),( ΣmN ] 分布密度为 )()(2
1
2
1
2
1
||)2(
1)( mm
p
Σ
Σ
= xxd
T
exp,
其中 ( ) djiij ≤=Σ,s 为对称正定矩阵,
矩母 函数为 zzz
TT
ezM Σ+μ= 2
1
)(,特征函数为 λΣλ+λμ=λ?
TT
e 2
1
)(,
[多维 Beta 分布 ( Dirichlet ),,( 1 kaa L 分布 ) ]
分布密度为 ),()( )()()( 1}0,,,1{111
1
1
11
1
kxxxxk
k
k xxIxxxp
kk
k LL
L
L
LL ≥=++
++Γ
ΓΓ= aa
aa
aa,
[d - 维对数正态分布 （ xln 的分布,其中 ),(~ Σmx N ） ]
分布密度为 )(ln)(ln2
1
1
2
1
2
1
||)2(
1)( mm
p
Σ
Σ
= xx
d
d
T
e
xx
xp,
( ) djiij ≤=Σ,s 为对称正定矩阵,Tdxxx )ln,...,(lnln 1=,相关系数为
)1)(1(
1
=
jjii
ij
ee
e
ij ss
s
r,
[d - 维 Gauss 分布 ] 它是 d-维正态分布的推广,包含 d-维正态分布与,退化的 d-维正态分布,两类,后者没有密度且不易写出它的分布函数,因此对这种随机向量 x 的分布用它的特征函数描述更为方便,它的特征函数在形式上与正态分布的特征函数是一样的,仍为
λΣλ+λμ=λ? TTe 21)(,所不同的是,这里的 Σ 为对称非负定矩阵,即可以退化 (由于这
12
里的 )(λ? 是 d-维正态分布特征函数 λ+Σλ+λμ
=? )1(
2
1
)( Inn
TT
ez 的极限,而第 1,６ 段用特征函数表示依分布收敛的结论正说明了它确是特征函数 ),此时随机向量可以只分布在较低维的空间上,甚至可以为常数 ),这个分布仍记为 ),( ΣmN,
注 １ 由 Gauss 分布的定义可以看出,
),(~),(~ TAAbANbAN Σ++?Σ mxmx,
注 ２ 随机向量 x 遵从 Gauss 分布等价于,对于任意 d 维的向量 ξTaa,都遵从
Gauss 分布 （ 即一维正态分布或常数 ）,
Gauss 分布有一个重要的特性,就是关于依分布收敛的封闭性,即,若
xxsmx?→?dnnnn N 且),,(~ 2,则 ),(~,,,,2222 smxssmmsm Nnn 且使 →→?,
(这一性质的证明需要用一点复变函数论知识,在此略去 ),
[多 维指数族分布 ] 若二维随向 量 ),( hx 满足,
)}(exp{),( 321 stststP ∨=>> lllhx,
则称为服从二维 Poisson 分布,
[ d 维 Cauchy 分布 ] 分布密度为
2
1
22 )]|(|[
)2 1()( +
+?
+Γ=
d
cx
cdxp
gp
,
特征函数为 ||)( tcti
T
et?= gj,
1,8 次序随机变量的分布
设 )(,),(11 ωξ=ξωξ=ξ nnL 为独立同分布的随机变量,且具有分布密度 )( xp,当 ω固
定时 （ 即取定一个基本事件 ω时 ） )(,),(1 ωξωξ nL 按次序重新排列记为
)()( **1 ωξ≤≤ωξ nL,
称为次序统计量,那么 ),,( **1 nξξ L 的联合分布密度为
nxxnn
Ixpxpnxxg <<= LLL
`1
)()(!),,( 11,
即
<<=
.0
,),()(!),,( 11
1 其他情形
nn
n
xxxpxpnxxg LLL,
2 条件概率,条件分布,条件 (数学 )期望,
2,1 条件概率
13
设 A是具有正概率的事件,对于任意事件 B,称 )( )()|( AP BAPABP ∩= 为在已知事件 A
发生的条件下,事件 B 发生的条件概率,简称事件 B 对于事件 A的条件概率,
全概率公式 若正概率事件序列 1}{ ≥nnA 是样本空间? 的一个划分,即,
∈? nA F,)1( ≥n,)(,
1
mnAAA
n
mnn ≠?≠∩?=
≥
U
那么,对任意 ∈B F,有
∑
≥
=
1
)()|()(
n
nn APABPBP (1,15)
Bayes 公式
)(
)()|()|(
BP
APABPBAP ii
i =,
Bayes 公式是常与全概率公式结合起来使用的,
2,2 条件分布
设二维随机向量 ),( hx 能取的值为 ),2,1,)(,( L=jiyx ji,在离散随机变量 h 取值 y 的条件下,离散随机变量 x 的条件分布是指下面的分布表
== LL
LL
)|( yxP
x
i
i
hx,
其中
≠
======
),,,(0
)()|()|(
1 LL j
jji
i yyy
yyyxPyxP hxhx
,
连续型随机变量的条件分布密 度
定义 １,１１ 设随机向量 ),(~),( yxp密度hx,则在 y=h 的条件下,随机变量 x 的条件密度,记为 )|( yxp =hx 或 )|(| yxp hx,可以通过下式定义
)|(lim')|'( 0 ehexh ex +<<?≤== →?
∞?
∫ yyxPdxyxp
x
,
即
)|()|(| yxpyxp ==
hxhx )( ),( yp yxp
h
=,
其中 ∫= dxyxpyp ),()(h 是 h 的 (边缘 )分布,
14
推论 １,１２ （ 积分形式的全概率公式 ）
设随机向量 ),(~),( yxp密度hx,L 为实数集合,则
dydxypyxpP )()|()( hx
L
hLx ==∈ ∫∫,
事实上,我们有更为一般的全概率公式,即对于任意随机事件 A有
∫ == dyypyAPAP )()|()( hh,
它是后面将叙述的全期望公式的特殊情形,
推论 １,１ ３ （ 积分形式的 Bayes 公式 ）
设随机向量 ),(~),( yxp密度hx,则
dzzpzxp
ypyxpxyp
)()|(
)()|()|(
hx
hx
h h
hx
=
===
∫,
多维随机变量的情形条件分布
设随机向量 ),(~),,( yxp密度hx,则定义 )|()|( yxpyxp ==
hxx
)(
),(
yp
yxp
h
=,其中
∫= xdyxpyp ),()(h 是 h的 (边缘 )分布,
例 １,１４
ΣΣ
ΣΣ
2221
1211
2
1,~
m
m
h
x N 且
ΣΣ
ΣΣ
2221
1211,
22Σ 都可逆,则
( )2112212112122121 ),()|( ΣΣΣ?Σ?ΣΣ+= mmx yNyxp,
混合型的随机变量的条件分布的例子,
例 １,１５ 设随机向量 ),( hx 的分布函数为
∫ ∫ ∑
∞? ∞? ≤≤
<<?+=
x y
yy
xx
ij
j
i
pdudvvupyxF )10()1(),(),( aaa,
其中 ),( yxp 是一个分布密度,而 }{ ijp 是一个分布 律,那么
≥?
=
=
+<<?≤==≤
∫
∫
∑
∑
∞?
≤
→
})1:{(
),(
),(
)(
)|(lim)|( 0
jyy
duyup
duyup
yyp
p
yyxPyxP
j
x
j
i
ij
ij
xxi
ehexhx e
例 １,１６ 设 h 为取值于 }1,{ ≥jy j 的离散型随机变量,而随机向量 ),( hx 的联合分
15
布可以表达为 ∫
∞?
==≤ x jj duufyxP )(),( hx,则 x 为连续型随机变量,而且有
)|(lim)|( 0 ehexhx e +<<?≤==≤ →? yyxPyxP
)()(
)(
}{ yIduuf
duuf
jy
j
x
j
j ∫
∫∑ ∞?=,
2,3 条件 ( 数学 ) 期望
在 ),( hx 为连续型的或离散型的随机变量的情形时 x 关于 h 的条件期望的含义
对于连续型与离散型的二维随机变量这两种简单的情形,在 y=h 条件下,x 的条件期望,自然就应是,在 y=h 条件下 x 的条件分布的数学期望,即
(1) 若 ),( hx 为离散型的随机向量,则
∑ ====
x
yxxPyE }|()|( hxhx ；
(2) 若 ),( hx 为连续型的随机向量,则
∫ ∫∫=== dxyxp dxyxxpdyyxxpyE ),( ),()|()|( xhx,
从这两个例子我们可以看出,在条件 y=h 下的条件期望 )|( yE =hx 是 y 的一个函数,
如果我们把它记为 )( yj,那么在条件 z=h 下的条件期望 )|( zE =hx 就是 )( zj,这样我们就可以 用随机变量 )(hj,来表达在 h 取不同 z 值时的条件期望,对任意 z,当 z=h 时,
)|( zE =hx = )( zj,可见,)(hj 作为随机变量 h 的函数,表达了 x 关于 h 取不同值下的条件期望,于是我们可以合理地把它记成为 )|( hxE,也就是令 )()|( hjhx?=E,
这样定义的 )|( hxE 是一个随机变量,而且它是 h 的函数,当 y=h 时它的值为
)|( yE =hx,这个 )|( hxE 就称为 x 关于 h 的条件期望,这就比,在 y=h 条件下,x
的条件 期望,在概念上大大的深入了,
需要特别强调的是,)|( hxE 是随机变量,只有当已知 h 取定值的条件下,它才有一个确定的数值,这是与普通的数学期望根本不同之处,
例 1,１５ （ 续 ） 在 例 １,１５ 中,我们有
16
)(),(
),(
)()|( }{\}{ 1 ηη
η
+η=ηξ ∫∫∑
∑
η
η
U
i
ii yRy
i
i
i
ii
Idxxp
dxxxp
Ip
px
E,
例 １,１６ （ 续 ） 在例 １,１６ 中,我们有
)()(
)(
)|( }{ η=ηξ ∫∫∑
jy
j
j
j
Iduuf
duuuf
E,
例 １,１４ （ 续 ） 设
ΣΣ
ΣΣ
2221
1211
2
1,~
m
m
h
x N,而且
ΣΣ
ΣΣ
2221
1211 与
22Σ 都可逆,
则 )|( yE =hx 为分布 ( )2112212112122121 ),()|( ΣΣΣ?Σ?ΣΣ+= mmx yNyxp 的期望,
即
)|( yE =hx = )( 2122121 mm?ΣΣ+? y,
此时 )|( hxE 是 h的线性函数,
)()|( 2122121 mhmhx?ΣΣ+=?E (1.16)
在随机向量 ),( hx 为连续型或离散型的情形时 x 关于 h 的条件期望的性质,
在以上各种情形中所定义的随机变量 x 关于随机变量 h 的条件期望 )|( hxE 都满足以下的基本性质,
(E.1) 随机变量 x 关于随机变量 h 的条件期望 )|( hxE 是 h 的函数,
(E.2) 对任意实数集合 Λ,有 ))(()]|()([ hxhxh ΛΛ?= IEEIE,(1,17)
( 我们在随机向量 ),(~),( yxp密度hx 的情形验证性质 (E.1)与 (E.2)如下,按前面的定义我们有 ∫∫= dxxp
dxxxp
E ),(
),(
)|( h
h
hx,它显然满足 (E.1),而 (E.2)的左边就是
∫
∫ ∫ ∫∫∫
==
==
Λ
ΛΛ
右边)2.(),()(
)),((
),(
),()(),()|()(
EdxdyyxxpyI
dydxyxp
dxyxp
dxyxxpyIdyyxpyEyI
hhx,
读者可自行验证,在 ),( hx 为离散随机向量或以上的混合情形时,(E.1)和 (E.2)也都正确 ),
可以证明由 (E.1)及 (E.2)确定的随机变量,在不计零概率事件的差别下,是唯一的,
上面讨论的是在 ),( hx 为连续型的或离散型的情形时的性质,对于最一般的任意随机变
17
量 ),( hx,在理论概率论中,人们证明了,只要随机变量 x 的数学期望存在,那么就一定存在随机变量 h 的一个函数 ( )hy 满足,对任意的实数集合 Λ,恒有
))(())()(( hxhyh ΛΛ?= IEIE,
定义 １,１７ 以上的 ( )hy 就定义为随机变量 x 关于 随机变量 h 的条件期望 )|( hxE,
显见,条件期望 )|( hxE 是一个随机变量,其直观含义为,把随机变量 h 看成固定时,
在顾及随机变量 x 与随机变量 h 间的联系时 x 的数学期望,这样定义的条件期望 )|( hxE 当然满足 (E.1)及 (E.2),其中 (E.1)与 (E.2)的含义为,)|( hxE 是这样一个随机量,它在 h 取值已知时是完全确定的,而且 在有关 h 的任意一个随机事件 }{ Λ∈h 上看,它的平均与 x 的平均是相等的,
例 １,１８ 如果随机向量 ),( hx 的联合分 布函数 ),( yxF 没有密度,但是随机变量 h 的边缘分布函数 ),( yF ∞ 有密度 )(2 yf,而且对任意固定的 x 而言,y yxF ),( 对 y 分段连续,那么,随机变量 x
关于随机变量 h 的条件分布函数 （ 理解为条件期望 )|)(( ],( hxxIE?∞ ） 为
)(
),(
)|(
2 h
h
hx f y
xF
xP?
=≤,
（ 证明,对于任意实数集合 Λ,我们有
=?
Λ )]()(
),(
[
2
hh
h
If y
xF
E dyyfyf y
yxF
)()(
),(
2
2
∫Λ ∫=
Λ
dyy yxF ),(
),()()(],( dyduFyIuI x∫∫ Λ?∞= )]()([ ],( hx Λ?∞= IIE x ）,?
在 (E.1) 中取 ),( ∞?∞=Λ 就得到
(E.3) ξ=ηξ EEE ))|((,(1,18)
这个公式通常称为 全期望公式,最常见的情形是,随机变量 h 具有密度函数 )( yg 的情形,
此时
∫ === dyygyEEEE )()|()))|((( hxhxx,(1.18)’
18
它是全概率公式的推广,因为对于 任意随机事件 A,若取随机变量 )(wx AI= 时 （ 即
=
发生若随机事件未发生了若随机事件
A
A
0
1x ）,它就是全概率公式的如下的推广形式,
∫ === dyygyAPIEEAP A )()|()))|(()(( hh,(1.18)’’
无论在理论上或者在实用中,公式 (1,18)’ 与 (1,18)’’ 都是十分有用的,
用理论概率论的逼近方法还可得到,对于任意实函数 )(xh 恒有
(E.4) ))(())|()(( xhhxh hEEhE =,(1,19)
(而 (E.2)是它的特殊情形,即 )()( yIyh Λ= 的情形 ),此外,在直观上还可以看出,)(hh
相对于 h 来说,等于是,常数,,所以我们还应该有
(E.5) )|()())|)(( hxhhxh EhhE =,(1.20)
另外,还容易由 定义验证
(E.6) 若随机变量 x 与随机变量 h 独立,则条件期望 xhx EE =)|(,
对于多维随机变量的情形,我们仍然有,随机变量 x 关于随机向量 h的条件期望
)|( hxE 是一个随机变量,它是 h的函数 (即 (E.1)),而 且满足 (E.2),
))(())|()(( xhhxhLh LL IEEIE =?∈?,(1,17)’
类似的结论还有,由 (E.1)与 (E.2) 所确定的条件期望 )|( hxE 还满足,
(E.3) xhx EEE =)]([ ｜,(1,18)’
(E.4) ))(())|()(( xhhxh gEEgE =,(1,19)’
(E.5) )|()())|()(( hxhhxh EgEgE =,(1,20)’
(E.6) 若随机向量 x 与随机向量 h独立,则 )()|)(( xhx EffE =,
直观地我们还可以接受如下的 关系,
(E.7) hhxhhx == yyfEfE )]|),(([)|),((,(1.21)
（ 当 )()(),( yhxgyxf = 时,（ E.7） 显然成立,这个性质的一般情形的证明,需要用理论概率论中的典型逼近法,我们略去证明 ）,
（ 作为特殊情形,当随机向量 x 与随机向量 h独立时,有 η=ξ=ηηξ yyEffE )],([)|),((,）
19
(E.8) 线性 )|()|()|)(( hVbhxahbVax EEE +=+,(1,22)
(E.9) 平滑性,=),|)|(( VhhxEE )|( hxE
)|),|(( hVhxEE )|( hxE= (1,23)
最后,由于关于 h的条件期望就是在 h确定时的预期,它应该具有某些 最佳近似性质,即,
(E.10) 若 ∞<2)(xEf,则
2
""
2 )]()([min)]|)(()([ hxhxx gfEfEfE
g
=?
实函数好的一切
,(1,24)
( [注 ] 证明,
2
22
22
2
)]|)(()([
)]()|)(([)]|)(()([
)])()|)(()][|)(()(([2)]()|)(([)]|)(()([
)]()([
hxx
hhxhxx
hhxhxxhhxhxx
hx
fEfE
gfEEfEfE
gfEfEfEgfEEfEfE
gfE
≥
+?=
+?+?=
在以上的推导中我们用到了,对于任意实函数 g 有
))]()|)(()(|)(([))]()|)(()(([
)])()|)(()][|)(()(([
hhxhxhhxx
hhxhxx
gfEfEEgfEfE
gfEfEfE
=
)]|)()]()|)((([[))]()|)(()(([ hxhhxhhxx fgfEEEgfEfE=
0)]|)]())(([[)|)]()|)((([))]()([)]|)(()(([ == hhxhxhxhxhxx gfEEffEEgfEfEfE )
定义 １,１９ （ 定义 １,１７ 的推广 ） 若 ),,(,1)(2 nnE hhhx L=∞<,则定义
)|(lim)(),2,1:|( )(2 nnk ELkE hxhx ∞→== L,(1,25)
2,4 期望与方差的 Wald 等式
本段将给出求和项数为随机变量的独立随机变量和的期望与方差 。 我们先给出求和的
项数随机变量与求和的项相互独立的情形的 Wald 等式
定理 １,２０ （ 独立情形的 Wald 等式 ） 若 },,,{ 1 LL nxx 为独立同分布,且 它们与另一个正整值随机变量 h 独立,则
hxxx h EEE 11 )( =++L,(1,26)
2
111 )()( xhxhxx h EVarVarEVar +=++L,(1,27)
证明,利用 },...{ 1 Lnxx 与 h 的独立性,由全期望公式我们有
1111 ][])|)[(()( xhxhhxxxx hh EEEEEEE ==++=++ LL,
20
]))(1([])|)[(()( 21212121 xhhxhhxxxx hh EEEEEE?+=++=++ LL
2
1
22
1 ))(( xhhxh EEEEE?+=,
从而有
2
111 )()( xhxhxx h EVarVarEVar +=++L,
下面再给出一般情形下的 Wald 等式
定理 １,２１ （ 一般情形的 Wald 等式 ） 若 },,,{ 1 LL nxx 为独立同分布,而另一个正整值随机变量 h 虽然并不与它们独立,但是满足如下的 Wald 条件,
对于任意 n,事件 }{ n=h 与随机变量序列 },{,21 L++ nn xx 独立
( 其含义为,为了确定 }{ n=h 这个事件发生与否,并不需要时刻 n 以后的观测
},,{ 21 L++ nn xx,这种性质又称为 停时性质,或称 h 为 )( nx 停时 ),那么 (1,26),(1,27) 仍然成立,
证明,由 Wald 条件立即推出 }{ n<h 与 },,{ 1 L+nn xx 独立,故 }{ n<h 的对立事件
}{ n≥h 也与 },,{ 1 L+nn xx 独立,于是
∑ ∑∑
=
≥
∞
=
∞
=
≤ ==
h
hh xxx
1
}{
11
}{ )()()(
n
nn
nn
nnn IEIEE ∑∞
=
≥=
1
}{
n
nn EIE hx
∑
∞
=
=≥=
1
11 )(
n
EEnPE hxhx,
∑ ∑∑
=
∞
≠
=
≤
∞
=
≤ +=
h
hh xxxx
1 1,
}.{
1
}{
22 )()()(
n
mn
mn
mnmn
n
nnn IEIEE
∑
∞
≠
=
≥+=
mn
mn
mnPEEE
1,
2
1
2
1 ),()( hxhx
再注意到
∑ ∑∑ ∞
=
∞
=
≤≤
∞
≠
=
=?≥=≥
1,1,
}{}{
1,
),(),(
mn mn
mn
mn
mn
EIIEEmnPmnP hhhh hh
hh EE?= 2,
由此可知 Wald 等式成立,
3 统计简要
3,1 用样本作矩估计
21
定义 １,２２ 独立同分布的随机变量 nxx,,1 L (或随机向量 ) 称为 大小为 n 的一组随机
样本,样本 nxx,,1 L 的平均 n nxxx ++=
L1
可用来估计 1xE,样本 nxx,,1 L 的修正方差
1
)(
1
2
2
=
∑
=?
ns
n
i
i xx
可用来估计 1xVar,一般地,n
k
n
k
k xxx ++=? L1 称为 kE
1x 的 矩估计,
矩估计并不依赖于分布,故有很好的稳健性与普适性,这是它的长处,当然,如果知道了 1x 的分布的信息,则可以更多地利用它们去构造更有效的估计方法,例如,可以用最大似然估计法,最小二乘法,或 Bayes 估计法,
矩估计都是 无偏的,即,121,xxx VarEsEE ==,而且也是相合的,即,当
∞→n 时有 121,xxx VarsE pp?→→?,
用相合估计作为参数的估值的含义在于,以可以忍受的小概率失败的风险来换取能以大概率得到成功的效果,
3,2 最大似然估计
定义 １,２３ 令 ),( qxp 为 nxx,,1 L 们的概率函数 (离散型情形 ),或概率分布密度 (连续型情形 ),其中 q 是未知参数,它与 x 也都可以是向量,记
),()(
1
qxq i
n
i
pL ∏
=
=,
称为样本 nxx,,1 L 的 似然函数,
若 x 为连续型随机变量,而 h 为离散型随机变量 ( 为了使记号更简便,我们不妨假定它的取值为 L,2,1=j ),设随机向量 ),( hx 的联合分布依赖于参数 q,于是 此联合 分布 可表示 为,
∫ ∞?==≤ x j duupjxP ),(),( qhx,
此时 x 具有 分布 密度 ∑=
j
j xpxp ),(),( qq,而 ∫
∞
∞?
== duupjP j ),()( qh,
对于随机向量 ( )hx,的 n 个 随机 ( 独立同分布的 ) 样本 )(),,( niii ≤hx,其 似然函数为
),()( hxq fL =,
其中
22
)(),(),(
11
i
n
i
y
n
i
ii
i
xpyxPdxdyxf i∏∏
==
==η≤ξ=,
而 iy 是 L,2,1 中的一个数,
定义 １,２４ 如果样本 nxx,,1 L 的一个函数
^
Mq =
^
Mq ),,( 1 nxx L 满足,
)(sup)( ^ qq q LL M =,则称
^
Mq 为 q 的 最大似然估计,
最大似然估计是 似然函数整体最大值的位置,通常用局部极大值的位置作为其粗略的近似,要减少估计的随机误差 （ 方差 ）,就需要进行整体优化,为此要借助于数值方法或随机模拟,
3,3 线性模型的最小二乘估计及其推广
设
eq
e
e
q
q
x
x
x +
+
=
= =
A
aa
aa
kknkn
k
n
记为
MM
L
MMM
L
M
11
1
1111
,
其中 kn ≥,A为已知的满秩矩阵 （ 即秩为 k ）,q 为未知的待估参数,需要通过随机向量 x
的观测值来给出 q 的估计
^q
,
(1) 简单情形 设 kee,,1 L 为独立同分布,它们的数学期望为零,方差为
2s,
取 q 的估计为 xq TT AAA 1^ )(?=,那么,它满足
22^ ||inf|| qxqx
q AEAE?=?,
其中 ),,(,|| 1
1
22
n
n
i
i xxxxx L== ∑
=
,
定义 １,２５
^q
称为 矛盾方程 xq =A 的最小二乘 解,在应用中则称为参数?
的 最小二乘估计,显见它是? 的无偏估计,
(2) 推广情形 设随机向量 ),,( 1 kee L 服从数学期望为零的正态分布,其方差矩阵为正定矩阵 Σ,
定义 １,２６ 取 q 的估计为 xq 111^ )( ΣΣ= TT AAA,它称为? 的 广义最小二乘估计,显见它也是? 的无偏估计,
23
(3) 加权最小二乘估计 例如,可以用 )10(
1
1
1
)( <<
=
a
x
ax
xa
x a
n
n
n
M 代替 x,这时,矛盾方程 )(axq =A 的最小二乘解
^
)(aq,就称为矛盾方程 xq =A 的 a 加权最小二乘解,使用 它的考虑是,对历史较早的资料,相对地重要性要小一些,所以在利用时取较小的权重,
习题 1 概率论复习题
1,(1) 判断下式是否成立 （ 填 ＋ 或 －）,)|()|( ABPAABP = （ ）,
(2) (填空 ) 若 BA,互不相容,则 )|()()|()()|( BCPACPBACP +=∪,
(3) (填空 ) =? ))(|( BABP ＿＿＿,=? ))(|( BAAP ＿＿＿,
(4) 设随机事件 BA,的示性函数为 BA II,,求 ),( BA II 的联合分布,),cov(),( BAA IIID 及 AI
与的 BI 相关系数,
(5) (填空 ) X 为随机变量,A为随机事件,kB 们两两不相交,且
=k
k
BU 必然事件?,则 =∑
k
kk ABXEABP )|()|( ( ),
2,证明,（ 1 ） 41|)()()(| ≤? BPAPABP ； （ 2 ） )(1|)()(| ACPBCPABP?≤? ；
（ 3 ） ∑
=
≥
n
k
kn APAAP
1
1 ))(1(1)( L ；
（ 4 ） 若 pBPpAP?== 1)(,)(,则 )()( ABPBAP cc = ；
（ 5 ） 若 0)()( >cBPBP,)B|A(P)B|A(P c=,则 BA,独立
3,（ 1 ） 由 )()|( APBAP > 推出 )()|( BPABP >,解释其含义 ；
（ 2 ） 设第 i 个元件的可靠性为 ip,且元件间相互独立,分别求以下系统的可靠度,
24
（ 3 ） 化简 )|( BAABP ∪,)|( CBAABP ∪∪,),( 2 dcXbaXCov ++
4,设 X 为取非负整数值的随机变量,证明,
( 1 ) ∑
∞
=
≥=
1
)(
n
nXPEX
( 2 ) )1()(2
1
+?≥= ∑
∞
=
EXEXnXnPDX
n
5,设随机变量 X 与 Y 独立,且方差有限,则
(1) DXEYDYEXDXDYXYD 22 )()()( ++=
(2) DXDYXYD ≥)( 。
25
6,设 )(,,21 mnmn >+xxx L 相互独立同分布且具有有限方差,试求 ∑
=
=
n
k
kX
1
x 与 ∑
=
+=
n
k
kmY
1
x 的相关系数 。
7,nXX,,1 L 独立同分布,其分布为
pq
10
,nn XXS ++= L1,问
)|1( 1 jSXP n == )|0( 2 jSXP n == 与 )|0,1( 21 jSXXP n ===
那个大？ 其直观的含义是什么？
8,nXX,,1 L 独立同分布,其分布为
pq
11
,nn XXS ++= L1,00 =S,试求,)|( 23 SSE
的分布列,并证明 )()|( 1 qpSSSE nnn?+=+ 。
9,设随机变量 X 服从参数为 l 的 Poisson 分布,求 || l?XE 。
10,设 X 与 Y 分别服从参数为 1l 和 2l 的 Poisson 分布,且 X 与 Y 独立,证明在给定 X+Y 下,X 的条件分布是二项分布 。
11,设独立试验的次数 X 服从参数为 l 的 Poisson 分布,其中每次试验成功的概率为 p,不成功的概率为
p?1,求试验成功次数的概率分布 。
12,设随机变量 X 服从参数为 l 的 Poisson 分布,且 l 也是一随机变量,服从两点分布,
pPpP?==== 1)(,)( 21 llll,求 X 的分布列 。
1 3,设随机变量 X 具对称的密度函数,即 )()( xfxf =?,证明对任意的 0>a,有
(1) ∫?=?=?
a
dxxfaFaF
0
)(21)(1)( ;
(2) 1)(2)|(|?=< aFaXP ;
(3),))(1(2)|(| aFaXP?=>
1 4,设随机变量 k 服从 （ 0,5 ） 上的均匀分布 。 求方程
0244 2 =+++ kkxx
有实根的概率 。
1 5,设随机变量 X 服从正态分布 ),( 2smN,求 || m?XE,
16,零件强度 X～ )2,48( 2N,若 32.46≥X 为合格品,否则为次品,检验方案为,第一次任取 3 个,若
3 个都合格,则接收该批零 件 ； 若至少有 2 个次品,则拒收该批 ； 否则再抽第二次,也是 3 个 。 重复上述
26
步骤,至作出接收或拒绝决定为止 。
(1) 求由第一次取样而接收该批零件的概率 ；
(2) 求该批产品被接收的概率 ；
(3) 记 N 为在作出决定时的抽取次数,求 N 的分布,
17,如果随机变量 x 有分布密度 )(
2
1)(
),0[
)(21
3
22
xIe
x
exp xx ∞+?
= a
b
ab
p
b,则称为逆 Gauss 分布,记为 ),(~ abx IG 。 假定 21,xx 独立,),(~ abx ii IG 。 证明 ),(~ 2121 abbxx ++ IG,
18,设 ),(~ 2smNX,求实数 a 使 44 )(min)( bXEaXE b?=?
19,设随机变量 X 的概率密度函数为 )(xf,令 ||)( aXEah?=,试证明,当 a 满足
21)( =≤ aXP 时 （ 此时称 a 为 X 的中位数 ）,)(ah 达到最小 。
2 0,设 lt Exp~,求 t∧t 的分布函数,
2 1,设 hxhx ll,,~,~ ExpExp 独立,求 )( hx >P 并求 hx ∧ 及 +? )( hx 的分布,
再记 }{|,|,YXIZYX ≤=?=∧= hxhx,问 YX,是否独立? ZY,是否独立?
2 2,设 VhxVhx,，,),1,0(~,N 独立,求 )(),( hxhx ∨∧ EE 并求 hx ∧ 及 hx ∨ 的分布 及
)2( Vhx >+P,)( 032P >Vhxhx ＋＋－＋
23,设 )( xF 为分布 函数,)(1)( xFxF?=,证明 )( xF 是指数分布的充要条件为
)()()( tFsFstF =+
2 4,设随机向量 ),( YX 服从椭圆 )0,0(12
2
2
2
>>≤+ babyax 上的均匀分布,求其相关系数,问 X
与 Y 什么时候 独立?
2 5,设随机变量 X 的概率密度为
)(,21)( || ∞<<?∞=? xexf x ( 称为 Laplace 分布 ),
( 1 ),求 X 的数学期望 EX 和方差 DX ；
( 2 ),求 X 与 | X | 的协方差,又 X 与 | X | 是否不相关？ 是否相互独立？ 为什么？
2 6,设随机变量 X 服从 )1,0(N 分布,求 X 与 nX （ n 为正整数 ） 的协方差与相关系数 。
78,设 lx exp~,给定 0>c,求在 c>x )条件下,x 的条件分布密度 。
2 8,设随机变量 ],0[~ aUh,],[~ aUX h,证明随机变量 ],2[~)|( aaUXE h 。
27
29,假设 EXYXE =)|(,证明 X 与 Y 不相关,举例说明其逆命题不成立 。
30,求 Pareto 分布 ( 密度 )()()( ]0,(1 xIxxf la
a
l
al
++= ) 的期望,方差,矩,失效率函数
3 1,若随机变量 X 与 Y 相互独立,且 分别服从参数为 l 与 m 的指数分布,定义随机变量
>
≤=
YX
YXZ
当当
0
1
(1) 求条件概率密度 )|(| yxf YX ；
(2) 求 Z 的分布列和数学期望,
3 2,设 nXX,,1 L 为 n 个具有密度 )(xf ( 分布函数记为 )( xF ) 的独立同分布随机变量,令 )1(X 为它
们中最小的值,即 knk XX ≤= min)1(,)2(X 为它们中第二个小的值,…,)(nX 为它们中最大的值,
(1),证明 )(kX 具有密度 knkkn xFxFxfkC ))(1()()( 1,
(2),若独立同分布的 nXX,,1 L ]1,0[~ U,求 )(,)()( kk XVarEX 及相关系数
),( )()1( nXXr,又问 )(,),( )()1( nXVarXVar L 中那个最小,那个最大？
（ ３ ） 证明当 ∞→n 时,)(nX 按概率收敛到 １,且 )1( )(nXn? 的分布收敛到 1Exp,
33,(1),证明 )|()( XYVarYVar ≥,其中 ]|))|([()|( 2 YXYEYEXYVar?= 称为 Y 关
于 X 的条件方差,
(2) 在 ),( YX 服从二维正态分布时,求证 )()|( 2 YVarXYVar r=,其中 r 是 X 与 Y 的相关系
数,
(3),作为 (1)的推广,证明 ),|()|( ZXYVarXYVar ≥,
(4) ))|(),|((])|),[((),( XZEXYECovXZYCovEZYCov +=,
其中 )|()|(]|)[()|),(( 2 XZEXYEXYZEXZYCov?= 是随机变量 Y 和随机变量 Z 关于随
机变量 X 的条件协方差,作为特殊情形,我们有 )|(()]|([)( XYEVarXYVarEYVar +=,
34,独立地重复扔一个正面出现的概率为 p 的有偏钱币 n 次,令 Y 为其中出现正面的次数,)( nkX k <
为第 k 次出现正面时的抛扔次数,求证
28
),(,1)|,,( 111 mm
n
mm iinmCmYiXiXP <<<==== LL,
35,YX,相互独立,lsm PoissonYNX ~),,(~ 2,求 1+YX 的分布,
3 6,设 ),0[ ∞ 上分布函数 )(tF 具有密度 )(tf,定义 )(1 )()( tFtft=l,称为 失效率函数,证明
)()()|( hohtthttP +=>+<< lxx,
∫?=?
t
dss
etF 0
)(
1)(
l
,
再分别求指数分布,Weibull 分布和 Logis tic 分布的失效函数,
3 7,求 )|( bXaxXP ≤<≤ 和它的失效率 （ 截尾失效率 ）,落实到 ),(~ 2smNX 情形 。
38,设一批零件的长度 X～ N )1,50( 2,当 250 ≤?X 为合格品,否则为次品 。 求将产品中不合格元件
全部剔除后,剩下的零件的长度的分布,
39,若系统由两种独立工作的设备串联而成,它们的寿命分别为参数 ml,的指数分布,又它 们各有备件
1?n 件与 1?m 件,求在这些备件的支持下,系统的平均寿命,
40,设 h ～ ]1,0[U ],记
}2 12{
12
0 2
nn
n
kkk nn I
k
+<≤
=∑= hh,
(1) 求 nh 的分布 ；
(2) 给定 2/11 =h 下,2h 的条件分布律,
41,设 BA,为随机事件,已知 )(),(),( ABPBPAP,求 )|( AB IIE,)|( ABA IIE U 及
)|( ABA IIE I,并分别求它们的分布,
42,若 ∞<=? tXEet)(y,证明以下的 Chernoff 不等式,t?
))(()( tateaXP y≤>,
再由此推出
))((sup)( tatteaXP y≤>,
43,设 nXXX,,,21 L 独立同分布,其密度函数为
<<=
其它0
102)( xxxf
29
记 )],,max(1[ 1 nn XXnZ L?= 的分布函数为 )(xGn,证明,
xn
n
exG 21)(lim?
∞→
=,
44,设 }{ nX 为独立同分布的随机变量序列,服从 Poisson l,证明可用积分 ∫
∞?
a t dte 2
2
2
1
p 来近似计算
∑
≤≤
uk
nk
k
en
0 !
)( ll (其中
l
l
n
nua?= ),
45,
)1(22 2cos qqqq ieiee
是否是随机变量的特征函数？ 若回答 ＂ 是 ＂,则问这个随机变量是什么,
46,下列等式可以用来简化某些矩 （ 例如从低中心矩求高一阶的原点矩 ） 的计算
（ １ ） 设 ),(~ 2smNX,∞<|)('| XgE,用分部 积分证明 Stein 引理,
)('()])(([ 2 XgEXXgE sm =?,
再用 2)( xxg = 证明 233 3 smm?+=EX,
（ ２ ） 设 lPoissonX ~,)( XEg 有限,证明 Hwuang 引理,
)]1([)]([?=? XXgEXgE l,
再用 2)( xxg = 证明 lll ++= 233 3EX,
（ ３ ） 设 ~X 参 数为 ),( pr 的负二项分布,证明
+=? )1(1)]()1[( XgXr
XEXgpE,
（ ４ ） 设 ),(~ laGX,证明 )]('[1]1)(([ XXgEXXgE ll =?,
（ ５ ） 设 ),(~ baBetaX,证明 )](')1[(]1)1()(([ XgXEXXXgE?= ab,
47,设随机变量服从指数型分布,其密度为
)()(
1)()()(
xTk
m
k
kexhCxp ∑?=
=
,证明
j
i
j
i
m
i
CxTE
J
J
J
Jj
=
∑
=
)(log))()((
1
,
（ 这个等式的意义在于把左 边的积分计算简化为右边的微分运算 ）,
48,设 m=EX,)(xg 非降,证明 0))((( ≥? mXXgE,并解释其含义,
49,若 )(),( xhxg 都是非增函数,或都是非降函数,证明 )()()]()([ XEhXEgXhXgE ≥,并解
30
释其含义,又若它们一个非增,另一个非降,则结果如何？
50,设随机变量 X 服从 ]1,0[ 均匀分布,而在随机变量 xX = 条件下,随机变量 Y 的条件分布为
),( 2xxN,（ １ ） 求 ),(),(,YXCovYVarEY,（ ２ ） 证明随机变量 XY 与 X 独立,
51,设随机变量 X 服从 ]1,0[ 均匀分布,而在随机变量 xX = 条件下,随机变量 Y 的条件分布为二项分布 ),( xnB,（ １ ） 求 )(,YVarEY,（ ２ ） 求随机变量 Y 的分布,
52,设随机变量 X 服从 ),( laG 分布,而在随机变量 xX = 条件下,随机变 量 Y 的条件分布为
xPoisson,（ １ ） 求 )(,YVarEY,（ ２ ） 求随机变量 Y 的分布,
53,设随机变量 X 服从 ),( laG 分布,而在随机变量 xX = 条件下,随机变量 N 的条件分布为
xPoisson,又在随机变量 nN = 的条件下,随机变量 Y 的条件分布为二项分布 ),( pnB 。
（ １ ） 证明 )()( XVarEXYVar +=,（ ２ ） 求随机变量 Y 的分布,
54,设随机变量 X 服从 ),( baBeta,而在随机变量 xX = 条件下,随机变量 Y 的条件分布为二项分布
),( xnB,证明 )()1()1()( XVarnnEXnEXYVar?+?=,（ Y 的分布称为?Beta 二项分布 ）,
55,设随机变量 X 服从 ),( baBeta 分布,而在随机变量 xX = 条件下,随机变量 Y 的条件分布为
),( xrPascal,求 )(,YVarEY,（ Y 的分布称为 PascalBeta? 分布 ）,
56,设随机向量 ),,( 1 mxx L 服从参数为 ),,( 1 mpp L 的多项分布,求协方差 ),( jiCov xx,相关系数
ji
r xx,以及在 ii kX = 条件下,jX 的条件分布,
57,假定 2121,,,ggff 为 4 个分布密度,它们的数学期望分别为 2121,,,nnmm,今有随机向量 ),( YX,
其联合分布密度为 )10()()()1()()( 2211 <<?+? lll ygxfygxf,求 ),( YXCov,
又问 YX,何时相互独立？
58,求证 n 个独立 ]1,0[U 随机变量的乘积的分布密度是 )(!)(ln ]1,0[ xInx
n
59 设
2
1
2
1
10
～x,]1,0[U～h,且相互独立 。 分别求 hx +,xh的分布
60。 设 YX,独立同分布 。 求证 22 )()())( bXPaXPbYXaP >?>=≤∧<
31
61,设随机变量 ntt,,1 L 相互独立,且 )(~ nkExp
kk
≤lt,证明
n
k
knkjP ll
ltt
++== ≤ L1)max(,
62,设随机变量 )(],,[~
1
kXCosSUX
n
k
n ∑
=
=? pp 。 证明 )(0 ∞→?→? nnS pn,
( 用 Chebyshev 不等式 ),
63,设 WZYX,,,是独立同分布的标准正态随机变量 。 证明
22
2
2222(
ba
bWZbYXaP
+=+>+
64,分别 对于随机变量 ]1,1[~,~),,(~ 2?UXPoissonXNX lsm,求
))(()),( XCosVarXCosE pp （ 利用特征函数 ）,
65,将出现在空间区域 Λ 中的随机的粒子的数目记为随机变量 ΛX 。 假设 ||~ ΛΛ aPoissonX,其中
a 是正常数,|| Λ 表示空间区域 Λ 的 体积,取定其中一个粒子后,与它最近的粒子对于它的距离记
为 h,求证随机变量 h 服从 Weibull 分布,即它的分布函数为
3
3
4
1)( xaexF ph= （ 注,如果
随机粒子出现的空间不是三维空间,而是 d 维空间,则相应地有
d
d
xda
exF )12(
2
1)( +Γ
=
p
h ）,
66,随机变量 YX,独立,具有相同的分布 ),N( 2sm 。 求 Y)E(X ∧
67,设随机变量 Y,X 满足,r===== )Y,X(Cov,)Y(Var)X(Var,EYEX 10 。
（ 1 ） 求 2)YX(E ± ； （ 2 ） 证明如下的 Chebyshev 不等式,
2222222 11
2
1 r?+≤?++=∨ |)YX|YX(E)YX(E 。
68,利用 67 题的结论,证明二维 Chebyshev 不等式,
2
211
e
ree?+≤≥?≥? ))Y(Var|EYY|),X(Var|EXX(|P
。
你能否把这想法推广到三 维情形？
69．,设 )(),( yGxF 是两个分布函数,记
))(),(min(),(,)1)()(((),( 21 yGxFyxFyGxFyxF =?+= +,
32
其中记号 )(),0[ zzIz ∞+ =,证明 ),(),,( 21 yxFyxF 都是二元分布函数,且满足
（ １ ） ),(),( 21 ∞=∞ xFxF )( xF=,),(),( 21 yFyF ∞=∞ )( yG= ；
（ ２ ） 若另有二元分布函数 ),( yxF,也满足 ),( ∞xF )( xF=,),( yF ∞ )( yG=,则
),(),(),( 21 yxFyxFyxF ≤≤,
