1
概率论与数理统计第 21讲本文件可从网址
http://math.vip.sina.com
上下载
(单击 ppt讲义后选择 '概率论 '子目录 )
2
习题 4 一颗骰子连掷 4次,点数之和为 x,估计
P(10<x<18).
解 假设 x1,x2,x3,x4为 1,2,3,4次掷得的点数,则
x=x1+x2+x3+x4,而例 1中已求得
271.0
163
35
1)4|(|
416.3,3/35,14
12/35,2/7



xx
xxx
xx
EP
DDE
DE
ii
用切贝谢夫不等式因此
3
第八章 参数估计
4
问题的提出人们经常遇到的问题是如何选取样本以及根据样本来对总体的种种统计特征作出判断。
实际工作中碰到的随机变量 (总体 )往往是分布类型大致知道,但确切的形式并不知道,亦即总体的参数未知,要求出总体的分布函数
F(x)(或密度函数 j(x)),就等于要根据样本来估计出总体的参数,这类问题称为参数估计,
5
估计量的优劣标准设 q为总体中要被估计的一个未知参数,例如期望值或方差等,
..
,.
,
.),,,(
2
21
有三种常用的标准根据不同要求代表真实参数人们总希望估计量能够等等及样本方差例如样本平均数的样本的函数它是容量为的估计量是
S
X
nXXX
n
qq?
6
(一 ) 一致估计
.
,1)|
(|lim,0,
,1.8
.1
,
,.
,,
的一致估计为参数则称即任给敛于依概率收时如果当定义近的概率趋近于在真值附估计值无限增大时量希望当样本容这就是说时但希望当一般情况
qq
qq?q
q
q
qq
qq





P
n
n
n
n
P
7
(二 ) 无偏估计根据样本推得的估计值与真值可能不同,然而,
如果有一系列抽样构成各个估计,很合理地会要求这些估计的期望值与未知参数的真值相等,它的直观意义是样本估计量的数值在参数的真值周围摆动,而无系统误差,
.?
,?2.8
的无偏估计为参数则称估计成立如果定义
qq
qq?E
8
例 1 从总体 x中取一样本 (X1,X2,...,Xn),Ex=m,
Dx=s2,试证明











2
1
222
1
2
2
11
2
1
22
1
2
2
22
2
2
)2()(
/,
.
XnXEXnXnXE
XnXXXE
XXXXEXXE
nXDXE
SX
n
i
i
n
i
i
n
i
i
n
i
i
n
i
ii
n
i
i
而容易证明证的无偏估计及分别是及
sm
sm
9
即
2
2
22
2222
2
22222
1
2
2
1
2
1
2
)(
)(
)1(
)(
)(
m
s
ms
s
msms







n
XEXDXE
EXDXEX
n
nnXnEEX
XnXEXXE
iii
n
i
i
n
i
i
n
i
i
其中
10
因此
.
)1(
1
1
)(
1
1
)(
1
1
2
22
1
2
1
22
为无偏估计所以 S
n
n
XXE
n
XX
n
EES
n
i
i
n
i
i
ss
11
(三 ) 有效估计
.
,
.
,
,
.

,

,
,

3.8
的有效估计量是总体期望值样本平均数实际上的有效估计量称为则到最小的方差达的一切无偏估计量中在如果有效的估计量是比则称差的方的方差小于若样本容量为的无偏估计都是和设定义
X
n
qq
qq
qq
qq
qqq
12
获得估计量的方法 —— 点估计
（一）矩法（略）
13
(二 ) 最大似然估计法
Maximum likelyhood estimation
现在要根据从总体 x中抽到的样本 (X1,X2,...,Xn),
对总体分布中的未知参数 q进行估计,最大似然法是要选取这样的估计值,当它作为 q的估计值时,使观察结果出现的可能性最大,
对于离散型的随机变量就是估计概率函数中的参数 q,对于连续型的随机变量就是估计概率密度中的 q.
14
设 x为连续型随机变量,它的分布函数是 F(x;q),
概率密度是 j(x;q),其中 q是未知参数,可以是一个值,也可以是一个向量,由于样本的独立性,则样本 (X1,X2,...,Xn)的联合概率密度是

n
i
in
xxxxL
1
21;);,.,.,,( qjq
对每一取定的样本值 x1,x2,...,xn是常数,L是参数 q的函数,称 L为样本的 似然函数 (如果 q是一个向量,则 L是多元函数 )
15
设 x为离散型随机变量,有概率函数
P(x=xi)=p(xi;q),则似然函数的最大似然估计是则称达到最大值处在如果定义
qq
qq
qq
,
);,,,(4.8
);();,,,(
21
1
21
n
n
i
in
xxxL
xpxxxL

16
最大似然估计值
0
ln
0
ln
:),,,(
,.ln
,ln
),,,(

,
1
21
21
m
m
n
L
L
L
LL
xxx
q
q
qqqq
q
qqq
则要解如下方程组即是一个向量如果的最大值只求则为了方便同时达到最大值与由于是样本的函数与样本有关
17
例 2 已知

其它0
0,0
1
);(~
q
q
qjx
q
xe
x
x
x1,x2,...,xn为 x的一组样本观察值,求 q的最大似然估计,
18
解 似然函数
.
1
0
1ln
1
lnln
1
),,,(
1
1
2
1
1
21
的最大似然估计就是解得令
q
q
qqq
q
q
q
q
x
xx
n
x
n
d
Ld
xnL
exxxL
n
i
i
n
i
i
n
i
i
n
i
x
n
i



19
例 3 某电子管的使用寿命 (从开始使用到初次失效为止 )服从指数分布 (概率密度见例 2),今抽取一组样本,其具体数据如下,
16,29,50,68,100,130,140,270,280,340,410,
450,520,620,190,210,800,1100
问如何估计 q?
解 根据例 2的结果,参数 q用样本平均数估计,
.
)(318)11008002916(
18
11?
1
的估计值以此为小时
q
q
n
i
ix
n
20
例 4 已知 x服从正态分布 N(m,s2),(x1,x2,...,xn)
为 x的一组观察值,用最大似然估计法估计
m,s2的值,
解



n
i
i
n
i
i
n
i
i
n
i
x
x
nL
x
L
x
n
nL
eL
i
1
2
422
1
2
1
2
2
2
1
2
)(
2
)(
2
1
2
)(
1
)(
2
1
ln
2
2lnln
2
1 2
2
m
sss
m
sm
m
s
s?
s?
s
m
21
解似然方程组






n
i
i
n
i
i
n
i
i
n
i
i
n
i
i
xx
n
x
n
xx
n
x
n
x
1
2
1
22
1
1
2
42
1
2
)(
1
)?(
1
1
0)(
2
1
2
0)(
1
ms
m
m
ss
m
s
得
22
例 求普哇松分布中参数 l的最大似然估计,
解 已知总体 x的概率函数为



n
i i
x
n
n
i i
x
n
k
x
ee
x
L
xxx
n
ke
k
kP
ii
11
21
!!
,,,,
,2,1,0,
!
)(
ll
l
x
ll
l
则也是正整数个样本值获得的
23
因此
xx
n
xn
d
Ld
xxnL
n
i
i
n
i
i
n
i
i
n
i
i






1
1
11
1
0
1ln
)!l n (lnln
l
ll
ll
得令
24
例 求 0-1分布的总体的对参数 p的最大似然估计,
解 已知总体 x的概率函数为
P(x=k)=pk(1?p)1?k,(k=0,1),假设获得了 n个样本值 (x1,x2,...,xn),当然这些值不是 0就是 1.
)1l n ()1(lnln
)1(
11
1
1
pxpxL
ppL
n
i
i
n
i
i
n
i
xx
ii




25
xx
n
p
p
n
x
pp
x
p
x
pdp
Ld
pxpxL
n
i
i
n
i
i
n
i
i
n
i
i
n
i
i
n
i
i








1
1
11
11
1
,
11
11
0)1(
1
11ln
)1l n ()1(lnln
解得即令
26
2,设为从总体 x中取出的一组样本观察值,试用最大似然法估计 x的概率密度 j(x)中的未知参数 q,若





n
i
i
n
i
i
n
i
i
n
i
i
x
n
x
n
d
dL
xnLxL
xx
x
1
1
11
1
1
ln
,0ln
ln)1(lnln,
0
)0(10
)(
q
qq
qqq
qq
j
q
q
得令解其它当
27
作业 习题八第 2,3,4题
28
请提问