1
概率论与数理统计第 11讲本文件可从网址
http://math.vip.sina.com
上下载
(单击 ppt讲义后选择 '工程数学 1'子目录 )
2
第七章 参数估计
§ 1 点估计
3
统计推断问题可以分为两大类,一类是估计问题,一类是假设检验问题,本章讨论总体参数的点估计和区间估计,
设总体 X的分布函数的形式为已知,但它的一个或多个参数为未知,借助于总体 X的的一个样本来估计总体未知参数的值的问题称为参数的点估计问题,
4
例 1 在某炸药厂,一天中发生着火现象的次数
X是一个随机变量,假设它服从以 l>0为参数的泊松分布,参数 l为未知,现有以下样本值,
试估计参数 l.
25012622549075
6543210
knk
k
次着火的天数发生着火次数
5
解 由于 X~p(l),故有 l=E(X),我们自然想到用样本均值来估计总体的均值 E(X),现由已知数据计算得到
22.1]162564223
542901750[
250
1
6
0
6
0
k
k
k
k
n
kn
x
得到 E(X)=l的估计为 1.22.
6
点估计的一般提法为,设总体 X的分布函数
F(x;q)的形式为已知,q是待估参数,
X1,X2,...,Xn是 X的一个样本,x1,x2,...,xn是相应的一个样本值,点估计问题就是要构造一个
q
qq
qq
qq
q
,
.),,,(
,),,,(
.),,,(
),,,,(
21
21
21
21
并都记为估计为下统称估计量和估计值在不混淆的情况估计值的为称估计量的为称我们的近似值作为未知参数用它的观察值适当的统计量
n
n
n
n
xxx
XXX
xxx
XXX
7
两种常用的构造估计量的方法,
矩估计法最大似然估计法
8
(一 )矩估计法 设 X为连续型随机变量,其概率密度为 f(x;q1,q2,...,qk),或 X为离散型随机变量,
其分布律为 P{X=x}=p(x;q1,q2,...,qk),其中
q1,q2,...,qk为待估参数,X1,X2,...,Xn是来自 X的样本,假设总体 X的前 k阶矩
kl
XxpxXE
XxxfxXE
X
Rx
k
ll
l
k
ll
l
,,2,1
)(),,,;()(
)(d),,,;()(
21
21
离散型或连续型
qqq?
qqq?
(其中 RX是 x的可能取值的范围 )存在,一般来说,它们是的 q1,q2,...,qk函数,
9
因为样本矩
n
i
l
il XnA
1
1
依概率收敛于相应的总体矩?l(l=1,2,...,k),样本矩的连续函数依概率收敛于相应的总体矩的连续函数,因此就用样本矩作为相应的总体矩的估计量,这种估计方法称为 矩估计法,
10
矩估计法的具体做法为,设
).,,,(
),,,,(
),,,,(
21
2122
2111
kkk
k
k
qqq
qqq
qqq
).,,,(
),,,,(
),,,,(
21
2122
2111
kkk
k
k
qq
qq
qq
这是一个包含 k个未知参数 q1,q2,...,qk的联立方程组,一般可从中解出 q1,q2,...,qk,得到
11
以 Ai分别代替上式中的?i,i=1,2,...,k,就以
kiAAA kii,,2,1),,,,(? 21 qq
分别作为 qi,i=1,2,...,k的估计量,这种估计量称为 矩估计量,矩估计量的观察值称为 矩估计值,
).,,,(
),,,,(
),,,,(
21
2122
2111
kkk
k
k
qq
qq
qq
12
例 2 设总体 X~U(a,b),a,b未知,X1,X2,...,Xn是来自总体 X的样本,试求 a,b的矩估计量,
解?1=E(X)=(a+b)/2
2=E(X2)=D(X)+[E(X)]2
=(b?a)2/12+(a+b)2/4.
.)(12
,2
2
12
1
ab
ba
即
.)(3,)(3 21212121 ba
解得,
13
分别以 A1,A2代替?1,?2,得到 a,b的估计量分别为,
.)(
3
)(3
,)(
3
)(3?
1
22
121
1
22
121
n
i
i
n
i
i
XX
n
XAAAb
XX
n
XAAAa
.)(3,)(3 21212121 ba
14
例 3 设总体 X的均值?及方差 s2都存在,且有
s2>0,但?,s2均为未知,又设 X1,X2,...,Xn是来自
X的样本,试求?,s2的矩估计量,
解
.
,
.
,
2
12
2
1
22
2
1
s
s?
解得
.)(
11
,?
1
22
1
22
12
2
1
n
i
i
n
i
i
XX
n
XX
n
AA
XA
s
分别以 A1,A2代替?1,?2,得?和 s2的矩估计量分别为
15
(二 )最大似然估计法 若总体 X属离散型,其分布律 P{X=x}=p(x;q),q?Q的形式为已知,q为待估参数,Q是 q的可能取值范围,设
X1,X2,...,Xn是来自 X的样本,则 X1,X2,...,Xn的联合分布律为
.);(
1
n
i
ixp q
)1.1(,);();,,,()(
1
21?
n
i
in xpxxxLL qqq?
又设 x1,x2,...,xn是相应的一个样本值,则
P{X1=x1,X2=x2,...,Xn=xn}的发生概率为
16
这一概率随 q的取值而变化,它是 q的函数,L(q)
称为样本的似然函数 (注意,这里的 x1,x2,...,xn
是已知的样本值,它们都是常数 ).
直观想法是,现在已经取到样本值 x1,x2,...,xn
了,这表明取到这一样本值的概率 L(q)比较大,当然不会考虑那些不能使样本 x1,x2,...,xn
出现的 q?Q作为 q的估计,如果已知当 q=q0?Q
时使 L(q)取很大值而 Q中的其它值使 L(q)取很小值,自然认为取 q0为 q的估计值较为合理,
.,);();,,,()(
1
21 Qqqqq
n
i
in xpxxxLL?
17
最 大 似 然 估 计 法,就 是 固 定 样 本 观 察 值
x
1
,x
2
,…,x
n
,在 q 取值的可能范围 Q 内挑选使似然函数 L ( x
1
,x
2
,…,x
n; q ) 达到最大的参数
q
,作为参数 q 的估计值,即取
q
使
)2.1().;,,,(m a x);,,,(
2121
qq
Qq
nn
xxxLxxxL
这样得到的
q
与样本值 x
1
,x
2
,…,x
n
有关,常记为
),,,(
21 n
xxx?q
,称为 q 的 最大似然 估计 值,
),,,(
21 n
XXX?q
称 为 q 的 最大似然估计量,
18
若总体 X属连续型,其概率密度 f(x;q),q?Q的形式已知,q为待估函数,Q是 q可能取值范围,
设 X1,X2,...,Xn是来自 X的样本,则其联合概率密度为
n
i
ixf
1
);( q
)3.1(d);(
1
n
i
ixf qq
设 x1,x2,...,xn是相应的一个样本值,则随机点
(X1,X2,...,Xn)落在点 (x1,x2,...,xn)的邻域 (边长分别为 dx1,dx2,...,dxn的 n维立方体 )内的概率近似地为
19
其值随 q 的取值而变化,与离散型的情况一样,
取 q 的估计值
q
使概率 (1.3) 最大,考虑函数
)4.1();();,,,()(
1
21?
n
i
in
xfxxxLL qqq?
的最大值,这里 L ( q ) 称为样本的似然函数,若
),;,,,(m ax);,,,(
2121
qq
Qq
nn
xxxLxxxL
则称
),,,(
21 n
xxx?q
为 q 的 最大似然估值,称
),,,(
21 n
XXX?q
为 q 的 最大似然估计量,
20
在很多情形下,p(x;q)和 f(x;q)关于 q可微,这时 q常可从方程
)5.1(0)(d d?qq L
)6.1(0)(ln
d
d
q
q
L
解得,又因 L(q)与 ln L(q)在同一 q处取到极值,
因此,q的最大似然估计 q也可以从方程求得,而从后一方程求解往往比较方便,(1.6)
称为 对数似然方程,
21
例 4 设 X~b(1,p),X1,X2,...,Xn是来自 X的样本,
试求参数 p的最大似然估计量,
解 设 x1,x2,...,xn是相应于样本 X1,X2,...,Xn的一个样本值,X的分布律为
P{X=x}=px(1?p)1?x,x=0,1.
故似然函数为
,)1()(
1
1?
n
i
xx ii pppL
22
,0
1
)(ln
d
d
),1l n (ln
)1l n ()1(ln)(ln
)1()(
11
11
11
1
1
p
xn
p
x
pL
p
pxnpx
pxpxpL
pppL
n
i
i
n
i
i
n
i
i
n
i
i
n
i
i
n
i
i
n
i
xx
ii
令而
23
.
1
.
1
0)1(
,0
1
1
1
11
11
XX
n
p
xx
n
p
xpnpxp
p
xn
p
x
n
i
i
n
i
i
n
i
i
n
i
i
n
i
i
n
i
i
因此最大似然估计量为解得最大似然估计值为
24
最大似然估计法也适用于分布中含多个未知参数 q1,q2,...,qk的情况,这时,似然函数 L是这些未知参数的函数,分别令
)7.1(.,,2,1,0ln
,,2,1,0
kiL
kiL
i
i
q
q
或令解上述由 k个方程组成的方程组,即可得到各未知参数 qi (i=1,2,...,k)的最大似然估计值,
(1.7)称为 对数似然方程组,iq
25
例 5 设 X~N(?,s2),?,s2为未知参数,x1,x2,...,xn
是来自 X的一个样本值,求?,s2的最大似然估计值,
解 X的概率密度为
,)(
2
1
e x p
2
1
),;( 222?
ssp
s? xxf
n
i
ixL
1
2
2
2 )(
2
1
e x p
2
1
),(?
ssp
s?
似然函数为
26
.0)(
)(2
1
2
ln
,0
1
ln
)(
2
1
ln
2
)2l n (
2
ln
)(
2
1
e xp
2
1
),(
1
2
2222
1
2
1
2
2
2
1
2
2
2
n
i
i
n
i
i
n
i
i
n
i
i
x
n
L
nxL
x
nn
L
xL
sss
s?
s
sp
ssp
s?
令
27
.)(
1
,?
,
.)()/1(?
,)/1(?
.0)(
,0
1
2
2
2
2
1
22
1
1
22
1
n
i
i
n
i
i
n
i
i
n
i
i
n
i
i
XX
n
AX
xxn
xxn
xn
nx
s?
s?
s
s
的最大似然估计量为因此得和解得
28
例 6 设总体 X在 (a,b)上服从均匀分布,a,b未知,
x1,x2,...,xn是一个样本值,试求 a,b的最大似然估计量,
解 记 x(1)=min(x1,x2,...,xn),x(n)=max(x1,x2,...,xn),
X的概率密度是
.,0
,,
1
),;(
其它
bxa
abbaxf
,,,
)(
1
),( )()1( bxxa
ab
baL nn
由于 a?x1,x2,...,xn?b等价于 a?x(1),x(n)?b,似然函数
29
于是对于满足条件 a?x(1),b?x(n)的任意 a,b有
.
)(
1
)(
1
),(
)1()(
n
n
n xxabbaL
.m a x?,m i n?
1)(1)1( ininini
xxbxxa
即 L(a,b)在 a=x(1),b=x(n)时取到最大值
(x(n)?x(1))?1,故 a,b的最大似然估计值为
a,b的最大似然估计量为
.m a x?,m i n?
11 iniini
XbXa
30
最大似然估计具有性质,设 q 的函数 u = u ( q ),
q? Q 具有单值反函数 q = q ( u ),u? U,又设
q
是 X
的概率分布中参数 q 的最大似然估计,则
)
(? quu?
是 u ( q ) 的最大似然估计,
这是因为,
q
是 q 的最大似然估计,于是有
);,,,(m ax);,,,(
2121
qq
Qq
nn
xxxLxxxL
其中 x
1
,x
2
,…,x
n
是 X 的一个样本值,即
))(;,,,(m a x))?(;,,,(
2121
uxxxLuxxxL
n
u
n
qq
U?
31
当总体分布中含有多个参数时,也具有上述性质,例如,在 例 5中已得到 s2的最大似然估计为
)0()(
.)(
1
2222
1
2
2
2
uuuu
XX
n
A
n
i
i
sss
s
有单值反函数函数
.)(
1
1
22?
n
i
i XXnss
因此标准差 s的最大似然估计为
32
§ 2 基于截尾样本的最大似然估计
33
在研究产品可靠性时,需要研究产品寿命 T的各种特征,产品寿命 T是一个随机变量,它的分布称为寿命分布,为了对寿命分布进行统计推断,就需要通过对产品的寿命试验,以取得寿命数据,
一种典型的寿命试验是,将随机抽取的 n个产品在时间 t=0时,同时投入试验,直到每个产品都失效,记录每个产品的失效时间,这样得到的样本 (即由所有产品的失效时间 0?t1?t2
,..?tn所组成的样本 )叫完全样本,但产品的寿命往往较长,我们不可能得到完全样本,于是就考虑截尾寿命试验,
34
截尾寿命试验常用的有两种,一种是定时截尾寿命试验,假设将随机抽取的 n个产品在时间 t=0时同时投入试验,试验进行到事先规定的截尾时间 t0停止,如试验截止时共有 m个产品失效,它们的失效时间分别为
0?t1?t2?...?tm?t0,
此时 m是一个随机变量,所得的样本 t1,t2,...,tm
称为定时截尾样本,
35
另一种是定数截尾寿命试验,假设将随机抽取的 n个样本在时间 t=0时同时投入试验,试验进行到有 m个 (m是事先规定的,m<n)产品失效时停止,m个失效产品的失效时间分别为
0?t1?t2?...?tm,
这里 tm是第 m个产品的失效时间,所得的样本
t1,t2,...,tm称为定数截尾样本,用截尾来进行统计推断是可靠性研究中常见的问题,
36
设产品的寿命分布是指数分布,其概率密度为
,0,0
,0,e
1
)(
/
t
ttf t q
q
q>0未知,设有 n个产品投入定数截尾试验,截尾数为 m,得定数截尾样本 0?t1?t2?...?tm,现在要利用这一样本来估计未知参数 q(即产品的平均寿命 ),在时间区间 [0,tm]有 m个产品失效,
而有 n?m个产品在 tm时尚未失效,即有 n?m个产品寿命超过 tm.
37
用最大似然估计法估计 q,求上述观察结果的概率,一个产品在 [ti,ti+dti]失效的概率近似为
,de
1
,,,2,1,de
1
d)(
//
/
mn
t
t
t
m
i
t
ii
m
m
i
et
t
mnmitttf
qq
q
q
q
的概率为个产品寿命超过其余?
mntmttt mm tttmn
qqqq
qqq
//
2
/
1
/ ede1de1de1 21?
故上述观察结果出现的概率近似地为
38
其中 dt1,...,dtm为常数,因忽略一个常数因子不影响 q的最大似然估计,故可取似然函数为
.e
1
)(
])([
1
21 mm tmnttt
m
L
q
q
q
对数似然函数为
mntmttt mm tttmn
qqqq
qqq
//
2
/
1
/ ede1de1de1 21?
].)([1ln)(ln 21 mm tmntttmLqqq
39
于是得到 q的最大似然估计为
.
)(?
m
ts m
q
其中 s(tm)=t1+t2+...+tm+(n?m)tm称为总试验时间,它表示直至时刻 tm为止 n个产品的试验时间总和
.0])([
1
)(ln
d
d
].)([
1
ln)(ln
212
21
mm
mm
tmnttt
m
L
tmntttmL
q
q
q
q
q
qq
令
40
对于定时截尾样本
0?t1?t2?...?tm?t0
(其中 t0是截尾时间 ),与上面的讨论类似,可得似然函数为
,e
1
)(
])([
1
021 tmnttt
m
m
L
q
q
q
,
)(? 0
m
ts
q
q的最大似然估计为其中 s(t0)=t1+t2+...+tm+(n?m)t0称为总试验时间,
它表示直至时刻 t0为止 n个产品的试验时间的总和,
41
例 设电池的寿命服从指数分布,其概率密度为
q>0未知,随机地取 50只电池投入寿命试验,
规定试验进行到其中有 15只失效时结束试验,
测得失效时间 (小时 )为
115,119,131,138,142,147,148,155,158,159,163,
166,167,170,172
试求电池的平均寿命估计,
,0,0
,0,e
1
)(
/
t
ttf t q
q
42
解 n=50,m=15,s(t15)=115+119+...+172+(50-
15)?172=8270,得 q的最大似然估计为
)(33.551
15
8270?
小时q
43
§ 3 估计量的评选标准
44
1 无偏性设 X
1
,X
2
,…,X
n
是总体 X 的一个样本,q? Q 是包含在总体 X 的分布中的待估参数,这里 Q 是 q
的取值范围,
无偏性 若估计量
),,,(
21 n
XXX?qq?
的数学期望
)
( qE
存在,且对于任意 q? Q 有
,)
( qq?E
(3.1)
则称
q
是 q 的 无偏估计量,
45
在 科学 技术 中
qq?)
(E
称 为 以
q
作 为 q 的 估计的 系 统 误差,无 偏 估计 的 实 际 意义 就 是 无 系统偏 差,
例 如,设 总 体 X 的 均 值 为?,方 差 s
2
>0 未 知,则
22
)(,)( s SEXE
因此
X
是? 的 无 偏 估计,
n
i
i
XX
n
S
1
22
)(
1
1
是 s
2
的 无 偏 估计,
因此 我 们 一 般 取 S
2
为 s
2
的 估计 量,
46
例 1 设 总 体 X 的 k 阶 矩?
k
= E ( X
k
)( k? 0) 存在,又设 X
1
,X
2
,…,X
n
是 X 的 一 个 样 本,试 证明 不 论 总体 服从 什么 分 布,k 阶 样 本 矩
n
i
k
ik
X
n
A
1
1
是 k
阶 总 体 矩?
k
的 无 偏 估计 量,
证 X
1
,X
2
,…,X
n
与 X 同 分 布,故 有
.,,2,1,)()( niXEXE
k
kk
i
即 有
.)(
1
)(
1
n
i
k
k
k
XE
n
AE?
(3.2)
47
例 2 设总体 X服从指数分布,其概率密度为
,,0
,0,e
1
);(
/
其它
x
xf
x q
qq
其中参数 q>0为未知,又设 X1,X2,...,Xn是来自 X
.
)],,,[ m i n (,21
的无偏估计量都是和试证的样本
q
nXXXnnZX
48
证 的无偏是所以因为 qq XXEXE,)()(
.
.)(
,)(
.,0
,0,e
);(
/
m i n
的无偏估计量是参数即故知其它
q
q
q
qq
q
nZ
nZE
n
ZE
x
n
xf
nx
估计量,而 Z=min(X1,X2,...,Xn)具有概率密度
49
有效性,,,(?),,,(
2122111 XXXXX n qqq 与设?
)?()?( 21 qq DD?
Xn)都是 q 的无偏估计量,若对于任意 q?Q,有且至少对某一个 q?Q上式中的不等式成立,
有效较则称 21 qq
50
例 3(续例 2) 试证当 n>1时,q的无偏估计量
.有效的无偏估计量较 nZX q
.),()(1
,)(,)(,
.)(
2
2
2
2
有效较故时当故有由于再者
nZXXDnZDn
nZD
n
ZD
n
XD
q
q
q
证 由于 D(X)=q 2,故有
51
相合性 设 的估计量为参数 qq ),,,(?
21 nXXX?
相合估计量的为则称依概率收敛于时当若对于任意
qqq
qQq
,
),,,(?,21 nXXXn
即,若对于任意 q?Q都满足,对于任意 e>0,有
.
,?
,1}|?{|lim
估计量也称作渐近一致的相合估计量是则称 qq
eqq
P
n
52
作业 第七章习题第 207页第 1,2,5题
53
请提问
概率论与数理统计第 11讲本文件可从网址
http://math.vip.sina.com
上下载
(单击 ppt讲义后选择 '工程数学 1'子目录 )
2
第七章 参数估计
§ 1 点估计
3
统计推断问题可以分为两大类,一类是估计问题,一类是假设检验问题,本章讨论总体参数的点估计和区间估计,
设总体 X的分布函数的形式为已知,但它的一个或多个参数为未知,借助于总体 X的的一个样本来估计总体未知参数的值的问题称为参数的点估计问题,
4
例 1 在某炸药厂,一天中发生着火现象的次数
X是一个随机变量,假设它服从以 l>0为参数的泊松分布,参数 l为未知,现有以下样本值,
试估计参数 l.
25012622549075
6543210
knk
k
次着火的天数发生着火次数
5
解 由于 X~p(l),故有 l=E(X),我们自然想到用样本均值来估计总体的均值 E(X),现由已知数据计算得到
22.1]162564223
542901750[
250
1
6
0
6
0
k
k
k
k
n
kn
x
得到 E(X)=l的估计为 1.22.
6
点估计的一般提法为,设总体 X的分布函数
F(x;q)的形式为已知,q是待估参数,
X1,X2,...,Xn是 X的一个样本,x1,x2,...,xn是相应的一个样本值,点估计问题就是要构造一个
q
q
,
.),,,(
,),,,(
.),,,(
),,,,(
21
21
21
21
并都记为估计为下统称估计量和估计值在不混淆的情况估计值的为称估计量的为称我们的近似值作为未知参数用它的观察值适当的统计量
n
n
n
n
xxx
XXX
xxx
XXX
7
两种常用的构造估计量的方法,
矩估计法最大似然估计法
8
(一 )矩估计法 设 X为连续型随机变量,其概率密度为 f(x;q1,q2,...,qk),或 X为离散型随机变量,
其分布律为 P{X=x}=p(x;q1,q2,...,qk),其中
q1,q2,...,qk为待估参数,X1,X2,...,Xn是来自 X的样本,假设总体 X的前 k阶矩
kl
XxpxXE
XxxfxXE
X
Rx
k
ll
l
k
ll
l
,,2,1
)(),,,;()(
)(d),,,;()(
21
21
离散型或连续型
qqq?
qqq?
(其中 RX是 x的可能取值的范围 )存在,一般来说,它们是的 q1,q2,...,qk函数,
9
因为样本矩
n
i
l
il XnA
1
1
依概率收敛于相应的总体矩?l(l=1,2,...,k),样本矩的连续函数依概率收敛于相应的总体矩的连续函数,因此就用样本矩作为相应的总体矩的估计量,这种估计方法称为 矩估计法,
10
矩估计法的具体做法为,设
).,,,(
),,,,(
),,,,(
21
2122
2111
kkk
k
k
qqq
qqq
qqq
).,,,(
),,,,(
),,,,(
21
2122
2111
kkk
k
k
这是一个包含 k个未知参数 q1,q2,...,qk的联立方程组,一般可从中解出 q1,q2,...,qk,得到
11
以 Ai分别代替上式中的?i,i=1,2,...,k,就以
kiAAA kii,,2,1),,,,(? 21 qq
分别作为 qi,i=1,2,...,k的估计量,这种估计量称为 矩估计量,矩估计量的观察值称为 矩估计值,
).,,,(
),,,,(
),,,,(
21
2122
2111
kkk
k
k
12
例 2 设总体 X~U(a,b),a,b未知,X1,X2,...,Xn是来自总体 X的样本,试求 a,b的矩估计量,
解?1=E(X)=(a+b)/2
2=E(X2)=D(X)+[E(X)]2
=(b?a)2/12+(a+b)2/4.
.)(12
,2
2
12
1
ab
ba
即
.)(3,)(3 21212121 ba
解得,
13
分别以 A1,A2代替?1,?2,得到 a,b的估计量分别为,
.)(
3
)(3
,)(
3
)(3?
1
22
121
1
22
121
n
i
i
n
i
i
XX
n
XAAAb
XX
n
XAAAa
.)(3,)(3 21212121 ba
14
例 3 设总体 X的均值?及方差 s2都存在,且有
s2>0,但?,s2均为未知,又设 X1,X2,...,Xn是来自
X的样本,试求?,s2的矩估计量,
解
.
,
.
,
2
12
2
1
22
2
1
s
s?
解得
.)(
11
,?
1
22
1
22
12
2
1
n
i
i
n
i
i
XX
n
XX
n
AA
XA
s
分别以 A1,A2代替?1,?2,得?和 s2的矩估计量分别为
15
(二 )最大似然估计法 若总体 X属离散型,其分布律 P{X=x}=p(x;q),q?Q的形式为已知,q为待估参数,Q是 q的可能取值范围,设
X1,X2,...,Xn是来自 X的样本,则 X1,X2,...,Xn的联合分布律为
.);(
1
n
i
ixp q
)1.1(,);();,,,()(
1
21?
n
i
in xpxxxLL qqq?
又设 x1,x2,...,xn是相应的一个样本值,则
P{X1=x1,X2=x2,...,Xn=xn}的发生概率为
16
这一概率随 q的取值而变化,它是 q的函数,L(q)
称为样本的似然函数 (注意,这里的 x1,x2,...,xn
是已知的样本值,它们都是常数 ).
直观想法是,现在已经取到样本值 x1,x2,...,xn
了,这表明取到这一样本值的概率 L(q)比较大,当然不会考虑那些不能使样本 x1,x2,...,xn
出现的 q?Q作为 q的估计,如果已知当 q=q0?Q
时使 L(q)取很大值而 Q中的其它值使 L(q)取很小值,自然认为取 q0为 q的估计值较为合理,
.,);();,,,()(
1
21 Qqqqq
n
i
in xpxxxLL?
17
最 大 似 然 估 计 法,就 是 固 定 样 本 观 察 值
x
1
,x
2
,…,x
n
,在 q 取值的可能范围 Q 内挑选使似然函数 L ( x
1
,x
2
,…,x
n; q ) 达到最大的参数
q
,作为参数 q 的估计值,即取
q
使
)2.1().;,,,(m a x);,,,(
2121
nn
xxxLxxxL
这样得到的
q
与样本值 x
1
,x
2
,…,x
n
有关,常记为
),,,(
21 n
xxx?q
,称为 q 的 最大似然 估计 值,
),,,(
21 n
XXX?q
称 为 q 的 最大似然估计量,
18
若总体 X属连续型,其概率密度 f(x;q),q?Q的形式已知,q为待估函数,Q是 q可能取值范围,
设 X1,X2,...,Xn是来自 X的样本,则其联合概率密度为
n
i
ixf
1
);( q
)3.1(d);(
1
n
i
ixf qq
设 x1,x2,...,xn是相应的一个样本值,则随机点
(X1,X2,...,Xn)落在点 (x1,x2,...,xn)的邻域 (边长分别为 dx1,dx2,...,dxn的 n维立方体 )内的概率近似地为
19
其值随 q 的取值而变化,与离散型的情况一样,
取 q 的估计值
q
使概率 (1.3) 最大,考虑函数
)4.1();();,,,()(
1
21?
n
i
in
xfxxxLL qqq?
的最大值,这里 L ( q ) 称为样本的似然函数,若
),;,,,(m ax);,,,(
2121
nn
xxxLxxxL
则称
),,,(
21 n
xxx?q
为 q 的 最大似然估值,称
),,,(
21 n
XXX?q
为 q 的 最大似然估计量,
20
在很多情形下,p(x;q)和 f(x;q)关于 q可微,这时 q常可从方程
)5.1(0)(d d?qq L
)6.1(0)(ln
d
d
q
q
L
解得,又因 L(q)与 ln L(q)在同一 q处取到极值,
因此,q的最大似然估计 q也可以从方程求得,而从后一方程求解往往比较方便,(1.6)
称为 对数似然方程,
21
例 4 设 X~b(1,p),X1,X2,...,Xn是来自 X的样本,
试求参数 p的最大似然估计量,
解 设 x1,x2,...,xn是相应于样本 X1,X2,...,Xn的一个样本值,X的分布律为
P{X=x}=px(1?p)1?x,x=0,1.
故似然函数为
,)1()(
1
1?
n
i
xx ii pppL
22
,0
1
)(ln
d
d
),1l n (ln
)1l n ()1(ln)(ln
)1()(
11
11
11
1
1
p
xn
p
x
pL
p
pxnpx
pxpxpL
pppL
n
i
i
n
i
i
n
i
i
n
i
i
n
i
i
n
i
i
n
i
xx
ii
令而
23
.
1
.
1
0)1(
,0
1
1
1
11
11
XX
n
p
xx
n
p
xpnpxp
p
xn
p
x
n
i
i
n
i
i
n
i
i
n
i
i
n
i
i
n
i
i
因此最大似然估计量为解得最大似然估计值为
24
最大似然估计法也适用于分布中含多个未知参数 q1,q2,...,qk的情况,这时,似然函数 L是这些未知参数的函数,分别令
)7.1(.,,2,1,0ln
,,2,1,0
kiL
kiL
i
i
q
q
或令解上述由 k个方程组成的方程组,即可得到各未知参数 qi (i=1,2,...,k)的最大似然估计值,
(1.7)称为 对数似然方程组,iq
25
例 5 设 X~N(?,s2),?,s2为未知参数,x1,x2,...,xn
是来自 X的一个样本值,求?,s2的最大似然估计值,
解 X的概率密度为
,)(
2
1
e x p
2
1
),;( 222?
ssp
s? xxf
n
i
ixL
1
2
2
2 )(
2
1
e x p
2
1
),(?
ssp
s?
似然函数为
26
.0)(
)(2
1
2
ln
,0
1
ln
)(
2
1
ln
2
)2l n (
2
ln
)(
2
1
e xp
2
1
),(
1
2
2222
1
2
1
2
2
2
1
2
2
2
n
i
i
n
i
i
n
i
i
n
i
i
x
n
L
nxL
x
nn
L
xL
sss
s?
s
sp
ssp
s?
令
27
.)(
1
,?
,
.)()/1(?
,)/1(?
.0)(
,0
1
2
2
2
2
1
22
1
1
22
1
n
i
i
n
i
i
n
i
i
n
i
i
n
i
i
XX
n
AX
xxn
xxn
xn
nx
s?
s?
s
s
的最大似然估计量为因此得和解得
28
例 6 设总体 X在 (a,b)上服从均匀分布,a,b未知,
x1,x2,...,xn是一个样本值,试求 a,b的最大似然估计量,
解 记 x(1)=min(x1,x2,...,xn),x(n)=max(x1,x2,...,xn),
X的概率密度是
.,0
,,
1
),;(
其它
bxa
abbaxf
,,,
)(
1
),( )()1( bxxa
ab
baL nn
由于 a?x1,x2,...,xn?b等价于 a?x(1),x(n)?b,似然函数
29
于是对于满足条件 a?x(1),b?x(n)的任意 a,b有
.
)(
1
)(
1
),(
)1()(
n
n
n xxabbaL
.m a x?,m i n?
1)(1)1( ininini
xxbxxa
即 L(a,b)在 a=x(1),b=x(n)时取到最大值
(x(n)?x(1))?1,故 a,b的最大似然估计值为
a,b的最大似然估计量为
.m a x?,m i n?
11 iniini
XbXa
30
最大似然估计具有性质,设 q 的函数 u = u ( q ),
q? Q 具有单值反函数 q = q ( u ),u? U,又设
q
是 X
的概率分布中参数 q 的最大似然估计,则
)
(? quu?
是 u ( q ) 的最大似然估计,
这是因为,
q
是 q 的最大似然估计,于是有
);,,,(m ax);,,,(
2121
nn
xxxLxxxL
其中 x
1
,x
2
,…,x
n
是 X 的一个样本值,即
))(;,,,(m a x))?(;,,,(
2121
uxxxLuxxxL
n
u
n
U?
31
当总体分布中含有多个参数时,也具有上述性质,例如,在 例 5中已得到 s2的最大似然估计为
)0()(
.)(
1
2222
1
2
2
2
uuuu
XX
n
A
n
i
i
sss
s
有单值反函数函数
.)(
1
1
22?
n
i
i XXnss
因此标准差 s的最大似然估计为
32
§ 2 基于截尾样本的最大似然估计
33
在研究产品可靠性时,需要研究产品寿命 T的各种特征,产品寿命 T是一个随机变量,它的分布称为寿命分布,为了对寿命分布进行统计推断,就需要通过对产品的寿命试验,以取得寿命数据,
一种典型的寿命试验是,将随机抽取的 n个产品在时间 t=0时,同时投入试验,直到每个产品都失效,记录每个产品的失效时间,这样得到的样本 (即由所有产品的失效时间 0?t1?t2
,..?tn所组成的样本 )叫完全样本,但产品的寿命往往较长,我们不可能得到完全样本,于是就考虑截尾寿命试验,
34
截尾寿命试验常用的有两种,一种是定时截尾寿命试验,假设将随机抽取的 n个产品在时间 t=0时同时投入试验,试验进行到事先规定的截尾时间 t0停止,如试验截止时共有 m个产品失效,它们的失效时间分别为
0?t1?t2?...?tm?t0,
此时 m是一个随机变量,所得的样本 t1,t2,...,tm
称为定时截尾样本,
35
另一种是定数截尾寿命试验,假设将随机抽取的 n个样本在时间 t=0时同时投入试验,试验进行到有 m个 (m是事先规定的,m<n)产品失效时停止,m个失效产品的失效时间分别为
0?t1?t2?...?tm,
这里 tm是第 m个产品的失效时间,所得的样本
t1,t2,...,tm称为定数截尾样本,用截尾来进行统计推断是可靠性研究中常见的问题,
36
设产品的寿命分布是指数分布,其概率密度为
,0,0
,0,e
1
)(
/
t
ttf t q
q
q>0未知,设有 n个产品投入定数截尾试验,截尾数为 m,得定数截尾样本 0?t1?t2?...?tm,现在要利用这一样本来估计未知参数 q(即产品的平均寿命 ),在时间区间 [0,tm]有 m个产品失效,
而有 n?m个产品在 tm时尚未失效,即有 n?m个产品寿命超过 tm.
37
用最大似然估计法估计 q,求上述观察结果的概率,一个产品在 [ti,ti+dti]失效的概率近似为
,de
1
,,,2,1,de
1
d)(
//
/
mn
t
t
t
m
i
t
ii
m
m
i
et
t
mnmitttf
q
q
q
的概率为个产品寿命超过其余?
mntmttt mm tttmn
qqqq
qqq
//
2
/
1
/ ede1de1de1 21?
故上述观察结果出现的概率近似地为
38
其中 dt1,...,dtm为常数,因忽略一个常数因子不影响 q的最大似然估计,故可取似然函数为
.e
1
)(
])([
1
21 mm tmnttt
m
L
q
q
q
对数似然函数为
mntmttt mm tttmn
qqqq
qqq
//
2
/
1
/ ede1de1de1 21?
].)([1ln)(ln 21 mm tmntttmLqqq
39
于是得到 q的最大似然估计为
.
)(?
m
ts m
q
其中 s(tm)=t1+t2+...+tm+(n?m)tm称为总试验时间,它表示直至时刻 tm为止 n个产品的试验时间总和
.0])([
1
)(ln
d
d
].)([
1
ln)(ln
212
21
mm
mm
tmnttt
m
L
tmntttmL
q
q
q
q
q
令
40
对于定时截尾样本
0?t1?t2?...?tm?t0
(其中 t0是截尾时间 ),与上面的讨论类似,可得似然函数为
,e
1
)(
])([
1
021 tmnttt
m
m
L
q
q
q
,
)(? 0
m
ts
q
q的最大似然估计为其中 s(t0)=t1+t2+...+tm+(n?m)t0称为总试验时间,
它表示直至时刻 t0为止 n个产品的试验时间的总和,
41
例 设电池的寿命服从指数分布,其概率密度为
q>0未知,随机地取 50只电池投入寿命试验,
规定试验进行到其中有 15只失效时结束试验,
测得失效时间 (小时 )为
115,119,131,138,142,147,148,155,158,159,163,
166,167,170,172
试求电池的平均寿命估计,
,0,0
,0,e
1
)(
/
t
ttf t q
q
42
解 n=50,m=15,s(t15)=115+119+...+172+(50-
15)?172=8270,得 q的最大似然估计为
)(33.551
15
8270?
小时q
43
§ 3 估计量的评选标准
44
1 无偏性设 X
1
,X
2
,…,X
n
是总体 X 的一个样本,q? Q 是包含在总体 X 的分布中的待估参数,这里 Q 是 q
的取值范围,
无偏性 若估计量
),,,(
21 n
XXX?qq?
的数学期望
)
( qE
存在,且对于任意 q? Q 有
,)
( qq?E
(3.1)
则称
q
是 q 的 无偏估计量,
45
在 科学 技术 中
qq?)
(E
称 为 以
q
作 为 q 的 估计的 系 统 误差,无 偏 估计 的 实 际 意义 就 是 无 系统偏 差,
例 如,设 总 体 X 的 均 值 为?,方 差 s
2
>0 未 知,则
22
)(,)( s SEXE
因此
X
是? 的 无 偏 估计,
n
i
i
XX
n
S
1
22
)(
1
1
是 s
2
的 无 偏 估计,
因此 我 们 一 般 取 S
2
为 s
2
的 估计 量,
46
例 1 设 总 体 X 的 k 阶 矩?
k
= E ( X
k
)( k? 0) 存在,又设 X
1
,X
2
,…,X
n
是 X 的 一 个 样 本,试 证明 不 论 总体 服从 什么 分 布,k 阶 样 本 矩
n
i
k
ik
X
n
A
1
1
是 k
阶 总 体 矩?
k
的 无 偏 估计 量,
证 X
1
,X
2
,…,X
n
与 X 同 分 布,故 有
.,,2,1,)()( niXEXE
k
kk
i
即 有
.)(
1
)(
1
n
i
k
k
k
XE
n
AE?
(3.2)
47
例 2 设总体 X服从指数分布,其概率密度为
,,0
,0,e
1
);(
/
其它
x
xf
x q
其中参数 q>0为未知,又设 X1,X2,...,Xn是来自 X
.
)],,,[ m i n (,21
的无偏估计量都是和试证的样本
q
nXXXnnZX
48
证 的无偏是所以因为 qq XXEXE,)()(
.
.)(
,)(
.,0
,0,e
);(
/
m i n
的无偏估计量是参数即故知其它
q
q
q
q
nZ
nZE
n
ZE
x
n
xf
nx
估计量,而 Z=min(X1,X2,...,Xn)具有概率密度
49
有效性,,,(?),,,(
2122111 XXXXX n qqq 与设?
)?()?( 21 qq DD?
Xn)都是 q 的无偏估计量,若对于任意 q?Q,有且至少对某一个 q?Q上式中的不等式成立,
有效较则称 21 qq
50
例 3(续例 2) 试证当 n>1时,q的无偏估计量
.有效的无偏估计量较 nZX q
.),()(1
,)(,)(,
.)(
2
2
2
2
有效较故时当故有由于再者
nZXXDnZDn
nZD
n
ZD
n
XD
q
q
q
证 由于 D(X)=q 2,故有
51
相合性 设 的估计量为参数 qq ),,,(?
21 nXXX?
相合估计量的为则称依概率收敛于时当若对于任意
qqq
qQq
,
),,,(?,21 nXXXn
即,若对于任意 q?Q都满足,对于任意 e>0,有
.
,?
,1}|?{|lim
估计量也称作渐近一致的相合估计量是则称 qq
eqq
P
n
52
作业 第七章习题第 207页第 1,2,5题
53
请提问
