6.1 点估计用样本估计总体的分布是数理统计的主要任务之一。
( 1)当总体分布未知时,估计总体的方法称为非参数估计,
如:频率直方图,样本分布函数等。
( 2)当总体分布已知时,只需对其中一些未知参数作出估计,这种估计总体的方法称为参数估计,
—估计参数的范围—区间估计
—估计参数的值—点估计参数估计
),,( 21 nxxxTT为未知参数,找统计量设?
的估计值,记为作为将?),,( 21 nxxxTT
).,,(? 21 nxxxT
6.1.1 矩法估计用样本矩代替总体矩。
则的样本为来自总体,设,,,21 Xxxx n?
k
n
i
k
i
k Xx
nEX 1
1
辛钦大数定理
,有,则对任意的有限的数学期望随机变量序列,且具有的是满足相互独立同分布,设
0),2,1(
,,21
i
E i
n
。
n
i
in nP
1
1}|1[|lim 。
n
i
in
1
1即
,,,21 的样本为来自总体,因为 Xxxx n?
独立同分布,,所以,nxxx?,,21
独立同分布,,因而,knkk xxx?,,21
kkik EXExEXX?存在,则若总体,
由辛钦大数定理:
k
n
i
k
i
k Xx
nEX 1
1
注意,( 1) 总体矩一般与参数有关
( 2)方程个数 m=待估参数个数
k
n
i
k
i
k Xx
nEX 1
1
解方程组:
),,2,1( mk
,,,.1 21 的样本为来自总体,设例 Xxxx n?
的矩估计。与、。求令但未知的期望和方差均存在,已知总体
22, DXEX
X
,? X,? 2222 sXX )(?
sXX 22? )(?
所求矩估计为注意:期望、方差的矩估计没有涉及总体的分布。
n
i
ixnEX
1
22 1
XxnEX
n
i
i
1
1 即解:解方程组:
222 X
,,,.2 21 的样本为来自总体,设例 Xxxx n?
的矩估计。求已知总体 ),(~ EX
,?1 XEX
解:
X
1
。的矩估计为即 X1?
已知分布类型,参数未知。求参数的矩估计。
,,,.3 21 的样本为来自总体,设例 Xxxx n?
的矩估计。未知,求上的均匀分布,服从已知总体
0,]0[?X
,2
XEX解:
X2
。的矩估计为即 X2?
,95321,,,,54321 ),,,,()若(?xxxxx
45 95321X
82 X?
矩估计的优缺点优点:计算简单。
缺点,( 1)总体的矩不一定存在。故矩估计不一定可行。
( 2)可能会有不同的矩估计。
规定:尽量使用低阶矩。
( 3)可能会得到不合理的解。
的矩估计:),则(服从已知总体PX
XEX1,解
2222?2 )()(:解 XXEXEXDX
例 3中,,8?9
5x
不合理。8
6.1.2 极大似然估计例:从一批产品中抽出 5件检查,发现有前 2件是次品,
问这批产品的次品率是多少?
)1,0(?pp,设产品的次品率为
),5,4,3,2,1(?ii i?次抽到的次品数为设第
),1(~,,,,54321 pbi 独立同分布,样本
),1(~ pb?总体)任取一产品,次品数(
3254321 )1()0,0,0,1,1( ppP
32 )1( pp?
p 0.2 0.4 0.6 0.8
0.02048 0.03456 0.02304 0.00512
法。极大似然估计的思想方值作为其估计,这是大的以样本值出现可能性最 p
4.0pp 的极大似然估计为:这里,
样本值出现可能性是离散型随机变量,若总体 X)1(
n
i
iinn xXPxXxXxXP
1
2211 }{},,{,?
的一组样本,为来自总体,设 XXXX n?,,21
,)2( )(率密度为是连续型随机变量,概若总体 xX?
成正比。,与?
n
i
in xxxx
1
21
* )(),,(
( 1)、( 2)中的分布概率或密度函数均含有未知参数。
问题转化:
当参数取何值时,样本分布概率或概率密度函数值最大?
称以上样本的联合概率分布或联合密度为极大似然函数,
。记为 L
求极大似然估计的步骤:
1,写出似然函数 L
是离散型随机变量,若总体 X)1(
n
i
iin xXPxxL
1
1 }{);,,(
,)2( )(率密度为是连续型随机变量,概若总体 xX?
n
i
in xxxL
1
1 )();,(,?
2,求 L( )的最大值点?
0)1(ddL一维,令
),,1(0))2( 1 miL
i
m
,令,,(
) 1 m,,(
例 12.设的概率密度为
,其 >0且未知; 是总体的简单随机样本,求 的最大似然估计量 。
解:
当 时,,求导
,
故有最大似然估计量
0
0
,
,
0
}e x p {
2
),( 2
2
2
x
x
xx
xf
nXXX,,21
其它
,2,1,0
0
)]e x p (
2
[
),()(
1
2
2
2
1
ix
xx
xfL i
n
i
iin
i
i
0)(L
n
i
i
n
i
i
xxnnL
1
2
2
1
lnln22ln)(ln
n
i
iX
n
d
Ld
1
2
3
22)(ln
0)(ln?
d
Ld
n
i
iXn
1
21?
( 1)当总体分布未知时,估计总体的方法称为非参数估计,
如:频率直方图,样本分布函数等。
( 2)当总体分布已知时,只需对其中一些未知参数作出估计,这种估计总体的方法称为参数估计,
—估计参数的范围—区间估计
—估计参数的值—点估计参数估计
),,( 21 nxxxTT为未知参数,找统计量设?
的估计值,记为作为将?),,( 21 nxxxTT
).,,(? 21 nxxxT
6.1.1 矩法估计用样本矩代替总体矩。
则的样本为来自总体,设,,,21 Xxxx n?
k
n
i
k
i
k Xx
nEX 1
1
辛钦大数定理
,有,则对任意的有限的数学期望随机变量序列,且具有的是满足相互独立同分布,设
0),2,1(
,,21
i
E i
n
。
n
i
in nP
1
1}|1[|lim 。
n
i
in
1
1即
,,,21 的样本为来自总体,因为 Xxxx n?
独立同分布,,所以,nxxx?,,21
独立同分布,,因而,knkk xxx?,,21
kkik EXExEXX?存在,则若总体,
由辛钦大数定理:
k
n
i
k
i
k Xx
nEX 1
1
注意,( 1) 总体矩一般与参数有关
( 2)方程个数 m=待估参数个数
k
n
i
k
i
k Xx
nEX 1
1
解方程组:
),,2,1( mk
,,,.1 21 的样本为来自总体,设例 Xxxx n?
的矩估计。与、。求令但未知的期望和方差均存在,已知总体
22, DXEX
X
,? X,? 2222 sXX )(?
sXX 22? )(?
所求矩估计为注意:期望、方差的矩估计没有涉及总体的分布。
n
i
ixnEX
1
22 1
XxnEX
n
i
i
1
1 即解:解方程组:
222 X
,,,.2 21 的样本为来自总体,设例 Xxxx n?
的矩估计。求已知总体 ),(~ EX
,?1 XEX
解:
X
1
。的矩估计为即 X1?
已知分布类型,参数未知。求参数的矩估计。
,,,.3 21 的样本为来自总体,设例 Xxxx n?
的矩估计。未知,求上的均匀分布,服从已知总体
0,]0[?X
,2
XEX解:
X2
。的矩估计为即 X2?
,95321,,,,54321 ),,,,()若(?xxxxx
45 95321X
82 X?
矩估计的优缺点优点:计算简单。
缺点,( 1)总体的矩不一定存在。故矩估计不一定可行。
( 2)可能会有不同的矩估计。
规定:尽量使用低阶矩。
( 3)可能会得到不合理的解。
的矩估计:),则(服从已知总体PX
XEX1,解
2222?2 )()(:解 XXEXEXDX
例 3中,,8?9
5x
不合理。8
6.1.2 极大似然估计例:从一批产品中抽出 5件检查,发现有前 2件是次品,
问这批产品的次品率是多少?
)1,0(?pp,设产品的次品率为
),5,4,3,2,1(?ii i?次抽到的次品数为设第
),1(~,,,,54321 pbi 独立同分布,样本
),1(~ pb?总体)任取一产品,次品数(
3254321 )1()0,0,0,1,1( ppP
32 )1( pp?
p 0.2 0.4 0.6 0.8
0.02048 0.03456 0.02304 0.00512
法。极大似然估计的思想方值作为其估计,这是大的以样本值出现可能性最 p
4.0pp 的极大似然估计为:这里,
样本值出现可能性是离散型随机变量,若总体 X)1(
n
i
iinn xXPxXxXxXP
1
2211 }{},,{,?
的一组样本,为来自总体,设 XXXX n?,,21
,)2( )(率密度为是连续型随机变量,概若总体 xX?
成正比。,与?
n
i
in xxxx
1
21
* )(),,(
( 1)、( 2)中的分布概率或密度函数均含有未知参数。
问题转化:
当参数取何值时,样本分布概率或概率密度函数值最大?
称以上样本的联合概率分布或联合密度为极大似然函数,
。记为 L
求极大似然估计的步骤:
1,写出似然函数 L
是离散型随机变量,若总体 X)1(
n
i
iin xXPxxL
1
1 }{);,,(
,)2( )(率密度为是连续型随机变量,概若总体 xX?
n
i
in xxxL
1
1 )();,(,?
2,求 L( )的最大值点?
0)1(ddL一维,令
),,1(0))2( 1 miL
i
m
,令,,(
) 1 m,,(
例 12.设的概率密度为
,其 >0且未知; 是总体的简单随机样本,求 的最大似然估计量 。
解:
当 时,,求导
,
故有最大似然估计量
0
0
,
,
0
}e x p {
2
),( 2
2
2
x
x
xx
xf
nXXX,,21
其它
,2,1,0
0
)]e x p (
2
[
),()(
1
2
2
2
1
ix
xx
xfL i
n
i
iin
i
i
0)(L
n
i
i
n
i
i
xxnnL
1
2
2
1
lnln22ln)(ln
n
i
iX
n
d
Ld
1
2
3
22)(ln
0)(ln?
d
Ld
n
i
iXn
1
21?