上一页 下一页湘潭大学数学与计算科学学院 1
§ 3,2 点估计量的求法
上一页 下一页湘潭大学数学与计算科学学院 2
二,寻求估计量的方法
1,矩估计法
2,极大似然法
3,最小二乘法
4,贝叶斯方法 ……
这里我们主要介绍前面两种方法,
上一页 下一页湘潭大学数学与计算科学学院 3
1,矩估计法
其基本思想是 用样本矩估计总体矩,
理论依据,
或格列汶科定理（见教材 177页）
它是基于一种简单的,替换,
思想建立起来的一种估计方法,
是英国统计学家 K.皮尔逊 最早提出的,
大数定律
上一页 下一页湘潭大学数学与计算科学学院 4
记总体 k阶矩为 )( kk XE??
样本 k阶矩为 ?
?
?
n
i
k
ik XnA
1
1
用相应的样本矩去估计总体矩的估计方法
就称为矩估计法,
记总体 k阶中心矩为 kk XEXE )]([ ???
样本 k阶中心矩为 ?
?
??
n
i
k
ik XXnB
1
)(1
上一页 下一页湘潭大学数学与计算科学学院 5
设总体的分布函数中含有 k个未知参数
k??,,1 ?
都是这 k个参数的函数,记为：
k??,,1 ?,那么它的前 k阶矩
一般
),,( 1 kii g ??? ?? i=1,2,…,k
从这 k个方程中解出
j=1,2,…,k
那么用诸 的估计量 Ai分别代替上式
中的诸,即可得诸 的矩估计量,
i?
i? j?
),,( 1 kjj h ??? ??
),,(? 1 kjj AAh ??? j=1,2,…,k
上一页 下一页湘潭大学数学与计算科学学院 6
解, dxxxXE ??? )1()( 1
01
??? ?
2
1)1( 11
0 ?
???? ??
?
?? ? dxx
由矩法,
2
1
?
??
?
?X
样本矩
总体矩
从中解得,
1
12?
X
X
?
??? 的矩估计,?即为
数学期望
是一阶
原点矩
例 2 设总体 X的概率密度为
?
?
? ???
?
其它,0
10,)1()( xxxf ??
是未知参数,
其中 1???
?X1,X2,…,Xn是取自 X的样本,求参数 的矩估计,
上一页 下一页湘潭大学数学与计算科学学院 7
解,由密度函数知
例 3 设 X1,X2,… Xn是取自总体 X的一个样本
为未知参数
其它
????
??
,
,0
,
1
)(~
)(
??
?
?
? ?
?
?? xe
xfX
x
其中 >0,求 的矩估计,?,? ?
??X 具有均值为 的指数分布?
故 E(X- )=? ?
? 2?D(X- )=
即 E(X)= ?? ?
2?D(X)=
上一页 下一页湘潭大学数学与计算科学学院 8
?? X??
?
?
??
n
i
i XXn
1
2)(1??
解得
?
?
?
n
i
i XXn
1
2)(1
令 X?? ??
?
?
??
n
i
i XXn
1
22 )(1?
用样本矩估计
总体矩
即 E(X)= ?? ?
2?D(X)=
.,
?,?
的矩估计
即为参数
??
??
上一页 下一页湘潭大学数学与计算科学学院 9
矩法的优点是简单易行,并不需要
事先知道总体是什么分布,
缺点是, 当总体类型已知时, 没有
充分利用分布提供的信息, 一般场合下,
矩估计量不具有唯一性,
其主要原因在于建立矩法方程时，
选取那些总体矩用相应样本矩代替带
有一定的随意性,
上一页 下一页湘潭大学数学与计算科学学院 10
2,极大似然法
是在总体类型已知条件下使用的一种
参数估计方法,
它首先是由德国数学家
高斯 在 1821年提出的,
Gauss
Fisher
然而，这个方法常归功于
英国统计学家 费歇,
费歇 在 1922年重新发现了
这一方法，并首先研究了这
种方法的一些性质,
上一页 下一页湘潭大学数学与计算科学学院 11
极大似然法的基本思想
先看一个简单例子：
一只野兔从前方窜过,
是谁打中的呢？
某位同学与一位猎人一
起外出打猎,
如果要你推测，
你会如何想呢?
只听一声枪响，野兔应声倒下,
上一页 下一页湘潭大学数学与计算科学学院 12
下面我们再看一个例子,进一步体会极
大似然法的基本思想,
你就会想，只发一枪便打中,猎人命中的
概率一般大于这位同学命中的概率, 看来这
一枪是猎人射中的,
这个例子所作的推断已经体现了极大似
然法的基本思想,
上一页 下一页湘潭大学数学与计算科学学院 13
例 4 设 X~B(1,p),p未知,设想我们事先知
道 p只有两种可能,
问,应如何估计 p?
p=0.7 或 p=0.3
如今重复试验 3次,得结果, 0,0,0
由概率论的知识,3次试验中出现,1”的次数
),3(~ pBY
k=0,1,2,3 knk pp
k
kYP ????
?
?
??
?
?
?? )1(
3
)(
上一页 下一页湘潭大学数学与计算科学学院 14
将计算结果列表如下：
应如何估计 p? p=0.7 或 p=0.3
kk pp
k
kYP ????
?
?
??
?
?
?? 3)1(
3
)( k=0,1,2,3
p值 P(Y=0) P(Y=1) P( Y=2) P(Y=3)
0.7 0.027 0.189 0.441 0.343
0.3 0.343 0.441 0.189 0.027
出现
估计
出现 出现 出现
估计
估计
估计
上一页 下一页湘潭大学数学与计算科学学院 15
如果有 p1,p2,…,pm可供选择,又如何合理地
选 p呢?
从中选取使 Qi 最大的 pi 作为 p的估计,
);();( 0 ii pkYPpkYP ??? i=1,2,…,m
则估计参数 p为
0? ipp ?
0ipp ?
时 Qi最大,比方说,当
若重复进行试验 n次,结果,1”出现 k次
(0 ≤ k≤ n),我们计算一切可能的
P(Y=k; pi )=Qi, i=1,2,…,m
上一页 下一页湘潭大学数学与计算科学学院 16
如果只知道 0<p<1,并且实测记录是
Y=k(0 ≤ k≤ n),又应如何估计 p呢?
注意到
knk pp
k
n
pkYP ????
?
?
???
??? )1();(
是 p的函数,可用求导的方法找到使 f (p)达到
极大值的 p,
但因 f (p)与 lnf (p)达到极大值的自变量相同,
故问题可转化为求 lnf (p)的极大值点,
=f (p)
上一页 下一页湘潭大学数学与计算科学学院 17
n
kp ??
将 ln f (p)对 p求导并令其为 0,
这时,对一切 0<p<1,均有
);()?;( pkYPpkYP ???
从中解得
p
kn
p
k
dp
pfd
?
???
1
)(ln =0
便得 p(n-k)=k(1-p)
)1ln ()(lnln)(ln pknpk
k
n
pf ??????
?
?
???
??
上一页 下一页湘潭大学数学与计算科学学院 18
以上这种 选择一个参数使得实验结
果具有最大概率 的思想就是极大似然法
的基本思想,
这时,对一切 0<p<1,均有
);()?;( pkYPpkYP ???
则估计参数 p为
n
kp ??
上一页 下一页湘潭大学数学与计算科学学院 19
极大似然估计原理：
当给定样本 X1,X2,… Xn时，定义 似
然函数 为：
设 X1,X2,… Xn是取自总体 X的一个样本，
样本的联合密度 (连续型）或联合概率函数
(离散型 )为 f (X1,X2,… Xn; ),?
?)(?L f (X1,X2,… Xn; )?
上一页 下一页湘潭大学数学与计算科学学院 20
似然函数：
)(m a x)?( ??
?
LL ?
极大似然估计法就是用使 达到最
大值的 去估计,
)(?L
?? ?
称 为 的极大似然估计（ MLE）,???
看作参数 的函数，它可作为 将以多
大可能产生样本值 X1,X2,… Xn的一种度量,
)(?L ? ?
?)(?L f (X1,X2,… Xn; )?
上一页 下一页湘潭大学数学与计算科学学院 21
(4) 在最大值点的表达式中,用样本值代入
就得参数的极大似然估计值,
求极大似然估计 (MLE)的一般步骤是：
(1) 由总体分布导出样本的联合概率函数
(或联合密度 );
(2) 把样本联合概率函数 (或联合密度 )中自变
量看成已知常数,而把参数 看作自变量,
得到 似然函数 L( );?
?
(3) 求似然函数 L( ) 的最大值点 (常常转化
为求 ln L( )的最大值点 ),即 的 MLE;
?
? ?
上一页 下一页湘潭大学数学与计算科学学院 22
两点说明：
1、求似然函数 L( ) 的最大值点，可以应
用微积分中的技巧。由于 ln(x)是 x的增函
数,lnL( )与 L( )在 的同一值处达到
它的最大值，假定 是一实数，且 lnL( )
是 的一个可微函数。通过求解所谓“似
然方程”：
?
? ? ?
? ?
?
可以得到 的 MLE,?
0)(ln ?
?
?
d
Ld
?若 是向量，上述方程必须用似然方程
组代替,
上一页 下一页湘潭大学数学与计算科学学院 23
2、用上述求导方法求参数的 MLE有时
行不通，这时要用极大似然原则来求,
两点说明：
上一页 下一页湘潭大学数学与计算科学学院 24
下面举例说明如何求极大似然估计
L(p)= f (X1,X2,… Xn; p )
例 5 设 X1,X2,… Xn是取自总体 X~B(1,p) 的
一个样本，求参数 p的极大似然估计,
?
?
???
n
i
xx ii pp
1
1)1(
解：似然函数为,
?
?
?
? ??
?
n
i
i
n
i
i xnx
pp 11 )1(
?
?
?
?
?
?
? pp
X i
1
10~
上一页 下一页湘潭大学数学与计算科学学院 25
)1ln ()()ln ()(ln
11
pxnpxpL
n
i
i
n
i
i ???? ??
??
对数似然函数为：
?
?
?
? ??
?
n
i
i
n
i
i xnx
pppL 11 )1()(
对 p求导并令其为 0，
)(
1
11)(ln
11
??
??
?
?
??
n
i
i
n
i
i xnpxpdp
pLd =0
得 xx
n
p
n
i
i ?? ?
? 1
1? 即为 p 的 MLE,
上一页 下一页湘潭大学数学与计算科学学院 26
解：似然函数为
?
?
??
n
i
ixL
1
1)( ??? 1
1
)( ?
?
?? ??
n
i
i
n x )10( ?? ix
对数似然函数为
?
?
???
n
i
ixnL
1
ln)1(ln)(ln ???
ni ??1
例 6 设 X1,X2,… Xn是取自总体 X的一个样本
?
?
? ??
?
?
其它,0
10,)(~ 1 xxxfX ??
求 的极大似然估计,?
?其中 >0,
上一页 下一页湘潭大学数学与计算科学学院 27
?
?
??
n
i
ix
n
d
Ld
1
ln)(ln
??
?
求导并令其为 0
=0
从中解得
?
?
??
n
i
ixn
1
* ln? 即为 的 MLE,?
对数似然函数为
?
?
???
n
i
ixnL
1
ln)1(ln)(ln ???
上一页 下一页湘潭大学数学与计算科学学院 28
解：似然函数为
例 7 设 X1,X2,… Xn是取自总体 X的一个样本
为未知参数
其它
????
??
,
,0
,
1
)(~
)(
??
?
?
? ?
?
?? xe
xfX
x
其中 >0,求 的极大似然估计,? ??,
??
?
?
?
?
? ?
?
??
其它
，
,0
1
),(
1
)(
n
i
i
x xe
L
i ?
???
??
i=1,2,…,n
上一页 下一页湘潭大学数学与计算科学学院 29
?
?
?
?
?
?
?
?
?
??
其它,0
m in,
1
1
)(
1
?
?
?
?
i
x
n
xe
n
i
i
对数似然函数为
?
?
????
n
i
ixnL
1
)(1ln),(ln ?
?
???
解：似然函数为
??
?
?
?
?
? ?
?
??
其它
，
,0
1
),(
1
)(
n
i
i
x xe
L
i ?
???
??
i=1,2,…,n
上一页 下一页湘潭大学数学与计算科学学院 30
?
?
??
n
i
ixn
1
1 ??
??
?? nL ?
?
? ),(ln =0 (2)
由 (1)得
?
?
????
?
? n
i
ix
nL
1
2 )(
1),(ln ?
???
?? =0 (1)
对 分别求偏导并令其为 0,,? ?
对数似然函数为
?
?
????
n
i
ixnL
1
)(1ln),(ln ?
?
???用求导方法无法最终确定
用极大似然原则来求,
、?,?
上一页 下一页湘潭大学数学与计算科学学院 31
是
ini x??? 1
* m in?
对,0),(,m in ?? ??? Lx
i
故使 达到最大的 即 的 MLE，),( ??L ?,?
?
?
??
n
i
ixn
1
** 1 ??
于是
取其它值时,.0),( ???L?
即 为 的 MLE,**,?? ??,
且是 的增函数?
?
?
?
?
?
?
?
?
?
??
其它,0
m in,
1
),(
1
)(
1
?
?
??
?
?
i
x
n
xeL
n
i
i
由于
上一页 下一页湘潭大学数学与计算科学学院 32
极大似然估计的一个性质
可证明极大似然估计具有下述性质：
设 的函数 g=g( )是 上的实值函数,
且有唯一反函数, 如果 是 的 MLE，则
g( )也是 g( )的极大似然估计,
?
??
??
??
?
?
上一页 下一页湘潭大学数学与计算科学学院 33
例 8 一罐中装有白球和黑球，有放回地抽
取一个容量为 n的样本，其中有 k 个白球，
求罐中黑球与白球之比 R 的极大似然估计,
解, 设 X1,X2,…,Xn为所取样本，
则 X1,X2,…,Xn是取自 B(1,p)的样本,p是每次
抽取时取到白球的概率,p未知,
先求 p的 MLE：
1,
1,,
0,i
X i n?? ? ??
?
取 到 白 球
取 到 黑 球
上一页 下一页湘潭大学数学与计算科学学院 34
n
kp ??p的 MLE为
p
pR
?
?1? ??
1??
k
n
在前面例 4中,我们已求得
由前述极大似然估计的性质不难求得
p
pR ?? 1 的 MLE是
上一页 下一页湘潭大学数学与计算科学学院 35
第二次捕出的有记号的鱼数 X是 r.v,X具有
超几何分布：
,}{
??
?
?
??
?
?
??
?
?
??
?
?
?
?
??
?
?
??
?
?
??
S
N
kS
rN
k
r
kXP
为了估计湖中的鱼数 N，第一次捕上 r条鱼，
做上记号后放回, 隔一段时间后,再捕出 S
条鱼,结果发现这 S条鱼中有 k条标有记号,
根据这个信息，如何估计湖中的鱼数呢？
最后，我们用极大似然法估计湖中的鱼数
),m in (0 rSk ??
上一页 下一页湘潭大学数学与计算科学学院 36
应取使 L(N;k)达到最大的 N,作为 N的极大似
然估计, 但用对 N求导的方法相当困难,我们
考虑比值,
)1;(
);(
??
?
NkXP
NkXP
把上式右端看作 N的函数，记作 L(N;k),
???
?
???
?
???
?
???
?
?
?
???
?
???
???
S
N
kS
rN
k
rkXP }{
)(
))((
kSrNN
rNSN
???
???
经过简单的计算知，这个比值大于或小于 1，
k
SrN ? 或
k
SrN ? 而定,由
上一页 下一页湘潭大学数学与计算科学学院 37
)1;(
);(
??
?
NkXP
NkXP
)(
))((
kSrNN
rNSN
???
???
经过简单的计算知，这个比值大于或小于 1，
k
SrN ? 或
k
SrN ? 而定,由
这就是说，当 N增大时，序列 P(X=k;N)
先是上升而后下降 ; 当 N为小于 的最
大整数时,达到最大值, 故 N的极大似然
估计为
].[? kSrN ?
k
Sr
上一页 下一页湘潭大学数学与计算科学学院 38
这一讲，我们介绍了参数点估计，讨论了
估计量的优良性准则, 给出了寻求估计量最常
用的矩法和极大似然法,
参数点估计是用一个确定的值去估计未
知的参数, 看来似乎精确，实际上把握不大,
为了使估计的结论更可信，需要引入区间估
计, 这是下一讲的内容,
§ 3,2 点估计量的求法
上一页 下一页湘潭大学数学与计算科学学院 2
二,寻求估计量的方法
1,矩估计法
2,极大似然法
3,最小二乘法
4,贝叶斯方法 ……
这里我们主要介绍前面两种方法,
上一页 下一页湘潭大学数学与计算科学学院 3
1,矩估计法
其基本思想是 用样本矩估计总体矩,
理论依据,
或格列汶科定理（见教材 177页）
它是基于一种简单的,替换,
思想建立起来的一种估计方法,
是英国统计学家 K.皮尔逊 最早提出的,
大数定律
上一页 下一页湘潭大学数学与计算科学学院 4
记总体 k阶矩为 )( kk XE??
样本 k阶矩为 ?
?
?
n
i
k
ik XnA
1
1
用相应的样本矩去估计总体矩的估计方法
就称为矩估计法,
记总体 k阶中心矩为 kk XEXE )]([ ???
样本 k阶中心矩为 ?
?
??
n
i
k
ik XXnB
1
)(1
上一页 下一页湘潭大学数学与计算科学学院 5
设总体的分布函数中含有 k个未知参数
k??,,1 ?
都是这 k个参数的函数,记为：
k??,,1 ?,那么它的前 k阶矩
一般
),,( 1 kii g ??? ?? i=1,2,…,k
从这 k个方程中解出
j=1,2,…,k
那么用诸 的估计量 Ai分别代替上式
中的诸,即可得诸 的矩估计量,
i?
i? j?
),,( 1 kjj h ??? ??
),,(? 1 kjj AAh ??? j=1,2,…,k
上一页 下一页湘潭大学数学与计算科学学院 6
解, dxxxXE ??? )1()( 1
01
??? ?
2
1)1( 11
0 ?
???? ??
?
?? ? dxx
由矩法,
2
1
?
??
?
?X
样本矩
总体矩
从中解得,
1
12?
X
X
?
??? 的矩估计,?即为
数学期望
是一阶
原点矩
例 2 设总体 X的概率密度为
?
?
? ???
?
其它,0
10,)1()( xxxf ??
是未知参数,
其中 1???
?X1,X2,…,Xn是取自 X的样本,求参数 的矩估计,
上一页 下一页湘潭大学数学与计算科学学院 7
解,由密度函数知
例 3 设 X1,X2,… Xn是取自总体 X的一个样本
为未知参数
其它
????
??
,
,0
,
1
)(~
)(
??
?
?
? ?
?
?? xe
xfX
x
其中 >0,求 的矩估计,?,? ?
??X 具有均值为 的指数分布?
故 E(X- )=? ?
? 2?D(X- )=
即 E(X)= ?? ?
2?D(X)=
上一页 下一页湘潭大学数学与计算科学学院 8
?? X??
?
?
??
n
i
i XXn
1
2)(1??
解得
?
?
?
n
i
i XXn
1
2)(1
令 X?? ??
?
?
??
n
i
i XXn
1
22 )(1?
用样本矩估计
总体矩
即 E(X)= ?? ?
2?D(X)=
.,
?,?
的矩估计
即为参数
??
??
上一页 下一页湘潭大学数学与计算科学学院 9
矩法的优点是简单易行,并不需要
事先知道总体是什么分布,
缺点是, 当总体类型已知时, 没有
充分利用分布提供的信息, 一般场合下,
矩估计量不具有唯一性,
其主要原因在于建立矩法方程时，
选取那些总体矩用相应样本矩代替带
有一定的随意性,
上一页 下一页湘潭大学数学与计算科学学院 10
2,极大似然法
是在总体类型已知条件下使用的一种
参数估计方法,
它首先是由德国数学家
高斯 在 1821年提出的,
Gauss
Fisher
然而，这个方法常归功于
英国统计学家 费歇,
费歇 在 1922年重新发现了
这一方法，并首先研究了这
种方法的一些性质,
上一页 下一页湘潭大学数学与计算科学学院 11
极大似然法的基本思想
先看一个简单例子：
一只野兔从前方窜过,
是谁打中的呢？
某位同学与一位猎人一
起外出打猎,
如果要你推测，
你会如何想呢?
只听一声枪响，野兔应声倒下,
上一页 下一页湘潭大学数学与计算科学学院 12
下面我们再看一个例子,进一步体会极
大似然法的基本思想,
你就会想，只发一枪便打中,猎人命中的
概率一般大于这位同学命中的概率, 看来这
一枪是猎人射中的,
这个例子所作的推断已经体现了极大似
然法的基本思想,
上一页 下一页湘潭大学数学与计算科学学院 13
例 4 设 X~B(1,p),p未知,设想我们事先知
道 p只有两种可能,
问,应如何估计 p?
p=0.7 或 p=0.3
如今重复试验 3次,得结果, 0,0,0
由概率论的知识,3次试验中出现,1”的次数
),3(~ pBY
k=0,1,2,3 knk pp
k
kYP ????
?
?
??
?
?
?? )1(
3
)(
上一页 下一页湘潭大学数学与计算科学学院 14
将计算结果列表如下：
应如何估计 p? p=0.7 或 p=0.3
kk pp
k
kYP ????
?
?
??
?
?
?? 3)1(
3
)( k=0,1,2,3
p值 P(Y=0) P(Y=1) P( Y=2) P(Y=3)
0.7 0.027 0.189 0.441 0.343
0.3 0.343 0.441 0.189 0.027
出现
估计
出现 出现 出现
估计
估计
估计
上一页 下一页湘潭大学数学与计算科学学院 15
如果有 p1,p2,…,pm可供选择,又如何合理地
选 p呢?
从中选取使 Qi 最大的 pi 作为 p的估计,
);();( 0 ii pkYPpkYP ??? i=1,2,…,m
则估计参数 p为
0? ipp ?
0ipp ?
时 Qi最大,比方说,当
若重复进行试验 n次,结果,1”出现 k次
(0 ≤ k≤ n),我们计算一切可能的
P(Y=k; pi )=Qi, i=1,2,…,m
上一页 下一页湘潭大学数学与计算科学学院 16
如果只知道 0<p<1,并且实测记录是
Y=k(0 ≤ k≤ n),又应如何估计 p呢?
注意到
knk pp
k
n
pkYP ????
?
?
???
??? )1();(
是 p的函数,可用求导的方法找到使 f (p)达到
极大值的 p,
但因 f (p)与 lnf (p)达到极大值的自变量相同,
故问题可转化为求 lnf (p)的极大值点,
=f (p)
上一页 下一页湘潭大学数学与计算科学学院 17
n
kp ??
将 ln f (p)对 p求导并令其为 0,
这时,对一切 0<p<1,均有
);()?;( pkYPpkYP ???
从中解得
p
kn
p
k
dp
pfd
?
???
1
)(ln =0
便得 p(n-k)=k(1-p)
)1ln ()(lnln)(ln pknpk
k
n
pf ??????
?
?
???
??
上一页 下一页湘潭大学数学与计算科学学院 18
以上这种 选择一个参数使得实验结
果具有最大概率 的思想就是极大似然法
的基本思想,
这时,对一切 0<p<1,均有
);()?;( pkYPpkYP ???
则估计参数 p为
n
kp ??
上一页 下一页湘潭大学数学与计算科学学院 19
极大似然估计原理：
当给定样本 X1,X2,… Xn时，定义 似
然函数 为：
设 X1,X2,… Xn是取自总体 X的一个样本，
样本的联合密度 (连续型）或联合概率函数
(离散型 )为 f (X1,X2,… Xn; ),?
?)(?L f (X1,X2,… Xn; )?
上一页 下一页湘潭大学数学与计算科学学院 20
似然函数：
)(m a x)?( ??
?
LL ?
极大似然估计法就是用使 达到最
大值的 去估计,
)(?L
?? ?
称 为 的极大似然估计（ MLE）,???
看作参数 的函数，它可作为 将以多
大可能产生样本值 X1,X2,… Xn的一种度量,
)(?L ? ?
?)(?L f (X1,X2,… Xn; )?
上一页 下一页湘潭大学数学与计算科学学院 21
(4) 在最大值点的表达式中,用样本值代入
就得参数的极大似然估计值,
求极大似然估计 (MLE)的一般步骤是：
(1) 由总体分布导出样本的联合概率函数
(或联合密度 );
(2) 把样本联合概率函数 (或联合密度 )中自变
量看成已知常数,而把参数 看作自变量,
得到 似然函数 L( );?
?
(3) 求似然函数 L( ) 的最大值点 (常常转化
为求 ln L( )的最大值点 ),即 的 MLE;
?
? ?
上一页 下一页湘潭大学数学与计算科学学院 22
两点说明：
1、求似然函数 L( ) 的最大值点，可以应
用微积分中的技巧。由于 ln(x)是 x的增函
数,lnL( )与 L( )在 的同一值处达到
它的最大值，假定 是一实数，且 lnL( )
是 的一个可微函数。通过求解所谓“似
然方程”：
?
? ? ?
? ?
?
可以得到 的 MLE,?
0)(ln ?
?
?
d
Ld
?若 是向量，上述方程必须用似然方程
组代替,
上一页 下一页湘潭大学数学与计算科学学院 23
2、用上述求导方法求参数的 MLE有时
行不通，这时要用极大似然原则来求,
两点说明：
上一页 下一页湘潭大学数学与计算科学学院 24
下面举例说明如何求极大似然估计
L(p)= f (X1,X2,… Xn; p )
例 5 设 X1,X2,… Xn是取自总体 X~B(1,p) 的
一个样本，求参数 p的极大似然估计,
?
?
???
n
i
xx ii pp
1
1)1(
解：似然函数为,
?
?
?
? ??
?
n
i
i
n
i
i xnx
pp 11 )1(
?
?
?
?
?
?
? pp
X i
1
10~
上一页 下一页湘潭大学数学与计算科学学院 25
)1ln ()()ln ()(ln
11
pxnpxpL
n
i
i
n
i
i ???? ??
??
对数似然函数为：
?
?
?
? ??
?
n
i
i
n
i
i xnx
pppL 11 )1()(
对 p求导并令其为 0，
)(
1
11)(ln
11
??
??
?
?
??
n
i
i
n
i
i xnpxpdp
pLd =0
得 xx
n
p
n
i
i ?? ?
? 1
1? 即为 p 的 MLE,
上一页 下一页湘潭大学数学与计算科学学院 26
解：似然函数为
?
?
??
n
i
ixL
1
1)( ??? 1
1
)( ?
?
?? ??
n
i
i
n x )10( ?? ix
对数似然函数为
?
?
???
n
i
ixnL
1
ln)1(ln)(ln ???
ni ??1
例 6 设 X1,X2,… Xn是取自总体 X的一个样本
?
?
? ??
?
?
其它,0
10,)(~ 1 xxxfX ??
求 的极大似然估计,?
?其中 >0,
上一页 下一页湘潭大学数学与计算科学学院 27
?
?
??
n
i
ix
n
d
Ld
1
ln)(ln
??
?
求导并令其为 0
=0
从中解得
?
?
??
n
i
ixn
1
* ln? 即为 的 MLE,?
对数似然函数为
?
?
???
n
i
ixnL
1
ln)1(ln)(ln ???
上一页 下一页湘潭大学数学与计算科学学院 28
解：似然函数为
例 7 设 X1,X2,… Xn是取自总体 X的一个样本
为未知参数
其它
????
??
,
,0
,
1
)(~
)(
??
?
?
? ?
?
?? xe
xfX
x
其中 >0,求 的极大似然估计,? ??,
??
?
?
?
?
? ?
?
??
其它
，
,0
1
),(
1
)(
n
i
i
x xe
L
i ?
???
??
i=1,2,…,n
上一页 下一页湘潭大学数学与计算科学学院 29
?
?
?
?
?
?
?
?
?
??
其它,0
m in,
1
1
)(
1
?
?
?
?
i
x
n
xe
n
i
i
对数似然函数为
?
?
????
n
i
ixnL
1
)(1ln),(ln ?
?
???
解：似然函数为
??
?
?
?
?
? ?
?
??
其它
，
,0
1
),(
1
)(
n
i
i
x xe
L
i ?
???
??
i=1,2,…,n
上一页 下一页湘潭大学数学与计算科学学院 30
?
?
??
n
i
ixn
1
1 ??
??
?? nL ?
?
? ),(ln =0 (2)
由 (1)得
?
?
????
?
? n
i
ix
nL
1
2 )(
1),(ln ?
???
?? =0 (1)
对 分别求偏导并令其为 0,,? ?
对数似然函数为
?
?
????
n
i
ixnL
1
)(1ln),(ln ?
?
???用求导方法无法最终确定
用极大似然原则来求,
、?,?
上一页 下一页湘潭大学数学与计算科学学院 31
是
ini x??? 1
* m in?
对,0),(,m in ?? ??? Lx
i
故使 达到最大的 即 的 MLE，),( ??L ?,?
?
?
??
n
i
ixn
1
** 1 ??
于是
取其它值时,.0),( ???L?
即 为 的 MLE,**,?? ??,
且是 的增函数?
?
?
?
?
?
?
?
?
?
??
其它,0
m in,
1
),(
1
)(
1
?
?
??
?
?
i
x
n
xeL
n
i
i
由于
上一页 下一页湘潭大学数学与计算科学学院 32
极大似然估计的一个性质
可证明极大似然估计具有下述性质：
设 的函数 g=g( )是 上的实值函数,
且有唯一反函数, 如果 是 的 MLE，则
g( )也是 g( )的极大似然估计,
?
??
??
??
?
?
上一页 下一页湘潭大学数学与计算科学学院 33
例 8 一罐中装有白球和黑球，有放回地抽
取一个容量为 n的样本，其中有 k 个白球，
求罐中黑球与白球之比 R 的极大似然估计,
解, 设 X1,X2,…,Xn为所取样本，
则 X1,X2,…,Xn是取自 B(1,p)的样本,p是每次
抽取时取到白球的概率,p未知,
先求 p的 MLE：
1,
1,,
0,i
X i n?? ? ??
?
取 到 白 球
取 到 黑 球
上一页 下一页湘潭大学数学与计算科学学院 34
n
kp ??p的 MLE为
p
pR
?
?1? ??
1??
k
n
在前面例 4中,我们已求得
由前述极大似然估计的性质不难求得
p
pR ?? 1 的 MLE是
上一页 下一页湘潭大学数学与计算科学学院 35
第二次捕出的有记号的鱼数 X是 r.v,X具有
超几何分布：
,}{
??
?
?
??
?
?
??
?
?
??
?
?
?
?
??
?
?
??
?
?
??
S
N
kS
rN
k
r
kXP
为了估计湖中的鱼数 N，第一次捕上 r条鱼，
做上记号后放回, 隔一段时间后,再捕出 S
条鱼,结果发现这 S条鱼中有 k条标有记号,
根据这个信息，如何估计湖中的鱼数呢？
最后，我们用极大似然法估计湖中的鱼数
),m in (0 rSk ??
上一页 下一页湘潭大学数学与计算科学学院 36
应取使 L(N;k)达到最大的 N,作为 N的极大似
然估计, 但用对 N求导的方法相当困难,我们
考虑比值,
)1;(
);(
??
?
NkXP
NkXP
把上式右端看作 N的函数，记作 L(N;k),
???
?
???
?
???
?
???
?
?
?
???
?
???
???
S
N
kS
rN
k
rkXP }{
)(
))((
kSrNN
rNSN
???
???
经过简单的计算知，这个比值大于或小于 1，
k
SrN ? 或
k
SrN ? 而定,由
上一页 下一页湘潭大学数学与计算科学学院 37
)1;(
);(
??
?
NkXP
NkXP
)(
))((
kSrNN
rNSN
???
???
经过简单的计算知，这个比值大于或小于 1，
k
SrN ? 或
k
SrN ? 而定,由
这就是说，当 N增大时，序列 P(X=k;N)
先是上升而后下降 ; 当 N为小于 的最
大整数时,达到最大值, 故 N的极大似然
估计为
].[? kSrN ?
k
Sr
上一页 下一页湘潭大学数学与计算科学学院 38
这一讲，我们介绍了参数点估计，讨论了
估计量的优良性准则, 给出了寻求估计量最常
用的矩法和极大似然法,
参数点估计是用一个确定的值去估计未
知的参数, 看来似乎精确，实际上把握不大,
为了使估计的结论更可信，需要引入区间估
计, 这是下一讲的内容,
