复习
抽样定理
参数估计
—— 两类
利用总体的抽样样本 X1,X2,?,Xn 对参数 ? 或 ?的
某已知函数 g(?)作出估计,
—— 已知含有未知参数 ?总体的分布函数为
F(x; ?),
区间估计
点估计??
??
?
—— 构造适当的统计量 ?(X1,X2,? Xn )得到 ?的估计值
—— 设法得到参数空间 ?的一个取值范围,使待估
参数以较大的概率含于其内,
矩估计法
极大似然法
—— 用 样本 矩 估计 总体矩
先求出总体 k 阶原点矩 E(Xk)
?
?
?
?
?
?
?
?
?
?
),,()(
),,()(
),,(
1
12
2
11
ll
l
l
l
gXE
gXE
gEX
??
??
??
?
??
?
?
,1
,1
,1
1
1
2
1
?
?
?
?
?
?
?
?
?
n
i
l
i
n
i
i
n
i
i
X
n
X
n
X
n
极大似然法
只听一声枪
响,野兔应声倒下,
某位同学与一位猎人一
起外出打猎,
他在
1922年重新发现了这一方法,并首先研究了这种方法
的一些性质,
极大似然法的基本思想
—— 在总体分布类型已知条件下使用的一种参数
估计方法, 它首先由德国数学家高斯在 1821年提出的,
Fisher
然而,这个方法常归功于英国统计学家费歇,
二、极大似然法
先看一个简单例子：
一只野兔从前方窜过,
如果让你推测是谁打中的,你会如何想呢?
而猎人命中的概率一般
大于这位同学命中的概率, 这一枪应是猎人射中的,
再看一个例子,以进一步体会极大似然法的基本思想,
此例所作的推断已经体现了极大似然法的基本思想,
一般会想, 只一枪就打中了,
p是待估参数
在 p 所有可能的取值中选出 能使样本观测值出现的概率为最
大 的那一个来作为它的估计值,
今有放回抽球 3 次,
结果得到两次白球,试问如何估计袋中白球的个数?
解 设袋中有白球 m 个,
k=0,1,2,3.,)1()( 33 kkk ppCkXP ????记 X为抽得的白球数,
袋中白球数
0
1
2
3
4
p
0
1/4
2/4
3/4
1
抽到白球数 X x = 0 x =1 x=2 x =3
1 0 0 0
27/64 27/64 9/64 1/64
8/64 24/64 24/64 8/64
1/64 9/64 27/64 27/64
0 0 0 1
例 1 设袋中有黑球和白球共 4 个,
对不同的 p,
事件 P(X=x)发生的概率
对不同的 p,
B(n,p)的分布列
则 X ~B(3,p),
3/4 27/64
上述估计思路体现的就是极大似然估计的思想方法：
则抽到白球的概率为 p=m/4,
即用它作为 ?的估计值可使观察结果
出现的可能性最大,
这种选择参数的估计量,使实验结果具有最大概率的思想就是极
大似然法的基本思想,
理应选取 ?使得 事件 (X1=x1,X2 =x2,?,
Xn=xn ) 发生的概率为最大,
再如,设总体 X 服从 B(1,?)分布,
下面给出 似然函数 的定义和 极大似然估计 的求法,
对总体分布中的未知参数 ?进行估计时,
即其分布列为
,)1()( 3 xxxXP ???? ???);( ?xf x = 0,1
其中 ?(0<?<1)为 未知参数,样本为 X1,?,Xn,
则事件 (X1=x1,X2 =x2,?,Xn=xn ) 发生的概率为
样本值为 x1,?,xn,
?
?
?
???
n
i
i
nn
xf
xXxXxXP
1
2211
);(
),,,(
?
?
?? ?? ??? ni ini i xnx 11 )1( ???
?
??? n
i
xx ii
1
1)1( ??
L(?)=
既然观察结果 X1=x1,
X2 =x2,?,Xn=xn 出现了,
^ ^即选取的估计量 ? 应满足 L(?)= max L(?)
故 L(?)与 lnL(?)达到最大值的自
变量相同,故问题可转化为求 lnL(?)的最大值点,
(当 X 为离散型时
f(x; ?)为分布列 ),
定义 设 总体 X 的密度为 f(x;?)
x1,x2,? xn
是样本 X1,X2,? Xn 的一组样本值,则称
为样本的 似然函数,
? =(?1,?2,?,?l)是总体的未知参数,
);( ?ixf?
?
n
i 1
?);,,( 21 ?nxxxL ??)(?L
若存在某个,)?,,?,?(?
21 l???? ??
使得
);,,(m a x)?;,,( 2121 ?? ?? nn xxxLxxxL ?? ??
成立 (其中 ?为参数空间 ),则称
),,,(?? 21 nXXX ??? ?,)),,(?,,),,(?,),,(?( 11211 nlnn XXXXXX ???? ????
为 ?的 极大似然估计量, 称
,)),,(?,,),,(?,),,(?(),,,(?? 1121121 nlnnn xxxxxxxxx ????? ????? ??
为 ?的 极大似然估计值, 如 何 求？
^ 即选取的估计量 ? 应满足
L(?)是 ?的函数,可用求导的方法找到使 L(?)达到最大值的 ?,
求导麻烦 !!
转向 lnL(?)!!
注意到 lnL(?)为单增函数,
①
②
③
将样本值 x1,x2,? xn 代入最大值点的表达式
中,就得未知参数的 极大似然估计值, ??
—— 把自变量 x看
成常数,把未知参数 ?=(?1,?2,?,?l)看成自变量 ;
—— 转化为求 ln L(?)的最大值
点,
① 由总体分布建立 似然函数 L(?)
② 求似然函数 L(?)的最大值点
求极大似然估计的一般步骤是：
③ 将样本 X1,X2,? Xn 代入最大值点的表达式中,就得未知参数
的 极大似然估计量,??
??? ni ixf1 );( ?
即 1
0 建立 似然方程组：
,)21(0)(ln l,,,iL
i
????? ? ?
20 解 似然方程组 得到 L(?)的最大值点 ;
.0)(ln ?? ?d Ld
? 是实数时,似然方程组就是方程
下面举例说明如何求极大似然估计
求参数 p 的极大似然估计,
?
?
? n
i
i pxPpL
1
);()(解 样本的 似然函数 为,
)1(ln)1(ln)(ln
11 pxpxpL i
n
i
n
i i ?????? ??
,1,0,)1();( 1 ??? ? xpppxP xx
例 1 设总体 X ~ B(1,p),
1,0,0,1,0,0 是取自总体的一组样本值,
其分布列为
?
?
??? n
i
xx ii pp
1
1)1(
对数似然函数 为：
)1(ln)(ln 1
1
pxnpx n
i i
n
i i
???? ??
??
对 p 求导并令其为 0得 似然方程,
)(1 11)(ln
11 ?? ??
???? n
i i
n
i i
xnpxppd pLd = 0,
,1? 1 XXnp ni i ?? ??解之得 p 的 极大似然估计量,
代入样本值即得 极大似然估计值 为,.
31)001001(61? ???????p
??
??? ??? ?
?
?
.,0;,,21,0,
1
其他
n,ixe i
n
i
x i ???
解 (1) 样本的 似然函数 为
??? ni ixfL 1 );()( ??,1??
?n
i
xn ie ??
xdxfxEX ? ????? );( ?
当 xi >0 时,L(?)> 0,
,ln)(ln
1????
n
i i
xnL ???
，ni ??1
X1,X2,?,Xn 是取自总体 X的一组样本,
??
? ?? ?
,,0
0,);(
其它；xexf x???
求 ?的极大似然估计量与矩估计量,
其中 ?>0为未知参数,
例 2 设总体 X 的密度为
故有 对数似然函数,
???? ni ixnd Ld 1)(ln ?? ?对 ?求导并令其为 0 可得 似然方程, = 0,
解得 极大似然估计量, ?
?
? n
i iX
n
1
??
令,11
1 X
Xn n
i i
?? ?
??
(2) = 1/?,
解得矩估计量,.1?
X??;1X?
设
X1,X2,… Xn 是取自 X 的一个样本,
解 样本的 似然函数 为
其中 ?,? 2 均未知,
求 ? 与 ? 2 的极大似然估计量,
??? ni ixfL 1 22 ),;(),( ????
例 3 设总体 X ~ N(?,?2),
?
?
??
?
n
i
x i
e
1
2
)(
,2 1 2
2
?
?
??
故有 对数似然函数 ?
?
???? n
i i
xnL
1
2
222 )(2
12ln2),(ln ??????
??
?
?
? ?? ?
?
,1?
1
XXn
n
i
i?解之得 极大似然估计量
，0)(1),(ln
12
2 ???
?
? ?
?
n
i i
xL ??? ??
对 ?和 ?2 分别求偏导并令其为 0 得 似然方程组,
,0)(2 12),(ln
1
2
422
2 ?????
?
? ?
?
n
i i
xnL ???? ???
??
?? ?? ni iXn 1 22 )(1? ??
? ? ?3
,)(1?
1
2?
?
?? n
i
ixn ??
= B2,
22 )?(? ?? ?
估计的
不变性
注意到 ?2是 ? 的函数 !
正态分布：极大似然估计量 === 矩估计量
可证明极大似然估计具有下面的单调函数不变性：
而 g(?)为 ?的单调函数,
^则 g(?) 也是 g(?)的极大似然估计量,
^若 ?为未知参数 ?的极大似然估计量,
例 4 一罐中装有白球和黑球,
,n,iX i ?1,0,1 ????? 取到黑球取到白球解 设 X1,X2,?,Xn 为所取样本,
则 X1,?,Xn ~B(1,p),
有放回地抽取一个容量为 n的样本,
其中有 k个白球,求罐中黑球与白球之比 R的极大似然估计,
p是每次抽取时取到白球的概率,且 p未知,
,? nkp ?
p
pR
?
?1? ??,1?? kn
容易求得 p 的极大似然估计 为：
由极大似然估计的不变性知 R 的极大似然估计是
,1 p pR ???
就不能用上述求导
方法求未知参数的极大似然估计了,
上述解法是应用微积分中的技巧求 似然函数 L(?)的最大值点,
但当 似然函数 L(?)不 可微
这时要用 极大似然原则 来求,
或偏导数不为零时,
故应取 ?的值
尽量地小 ;
例 5 设总体 X 服从均匀分布 U[0,?],为 ?未知参数,
无法用求导建立似然方程的方法确定其极大似然估计量 !!
X1,X2,?,Xn 是总体 X的一组样本,求 ? 的极大似然估计量,
解 样本的似然函数为
??? ni ixfL 1 );()( ?? ?
?
??? ????
.,0;,,21,01
其他
n,ix in ???
，)1()( ???? nnddL ???
用极大似然原则来求,即用其他方法求似然函数 L(?)的最大值点,
显然,似然函数 L(?)的值随 ?的减小而增大,
另一方面,? 必须满足条件 0 ? xi ?? (i = 1,2,?,n ),
而事件 {0?Xi??,i = 1,2,?,n } }{ ???
?? }{m a x1 ini X
故可取极大似然估计量为
.?? ?? ?? }{m a x? 1 ini X
不必建立
对数似然方程
求 ? =1时,未知参数 ?
的矩估计量,
??
?
?
???
,,0
,,)(1),;(
?
???? ?
x
xxxF
其中 ?> 0,?> 1,
例 6 设 X的分布函数为
X1,?,Xn 是总体 X 的样本,
解 (1) ?=1时,
(1)求 ? =1时,未知参数 ?的极大似然估计量,
(2)求 ?=2时,未知参数 ?的极大似然估计量,
??
?
?
? ??
?
?
? ?
.,0;,1,1,
1 1
其他
n,ixx i
n
i i
???
??? ni ixfL 1 );()( ?? 当 xi >1时,L(?)> 0,
,ln)1(ln)(ln
1???
?? n
i ix
nL ???
，ni ??1
,0ln)(ln
1
??? ?
?
n
i i
xnd Ld ?? ?令
解得 ? 的 极大似然估计量：
.ln? 1??? ni iXn?
?
?
?
?
?? ?
,1,0
,1,);( 1
x
xxxf ???
?的矩估计量为,
1? ?? XX?
例 6(P221 例 3续 )设 X的分布函数为
??
?
?
???
,,0
,,)(1),;(
?
???? ?
x
xxxF
其中 ?> 0,?> 1,X1,?,Xn 是总体 X 的样本,
?
?
?
?
??
,,0
,,2);( 3 2
?
???
x
xxxf解 (2) ?=2时,
(2)求 ?=2时,未知参数 ?的极大似然估计量,
??
?
?
? ??
? ??
.,0;,,21,,)( 2
1
321
2
其他
n,ixxxx i
n
i n
nn
?? ??
??? ni ixfL 1 );()( ??
因为 L(?)随 ? 的 增大而增大,
另一方面,由于 L(?)=0不可能是最大值,故 ?必须满足 xi >?,
故应取 ?的值尽量地大 ;
，)1( ni ??而事件 { Xi >?,i = 1,2,?,n } }{ ???
?? }{m i n1 ini X
故 ?的 极大似然估计量为,?? ??
?? }{m i n? 1 ini X
参数点估计是用一个确定的值去估计未知的参数, 看来似
乎精确，实际上把握不大,
我们介绍了参数点估计,给出了寻求估计量最常用的方法
—— 矩法和极大似然法,
样本均值、样本方差是否是一个好的估计量？
(2)怎样决定一个估计量是否比另一个估计量,好”？
多个估计量时,哪一个估计量更好？
这就需要讨论以下几个问题,
(1)我们希望一个“好的”估计量具有什么特性？
(3)应该 如何寻求一个合理的估计量？
自然要问,
估计量的评选标准
计算简单
无需总体分布
使用了总体分布,质量好
不唯一、不够稳定
计算困难
在介绍估计量优良性的准则之前，我们必须强调指出：
评价一个估计量的好坏,不能仅仅依据一次试验的结
果,而必须由多次试验结果来衡量,
这是因为估计量是样本的函数,是随机变量,
§ 3 估计量的几个评选标准
常用的几条标准是,1,无偏性
2,有效性
3,一致性
我们重点介绍前面两个标准,
所以,由不同
的观测结果,就会求得不同的参数估计值,
因此一个好的估计,应在多次试验中体现出优良性,
??
?
所谓无偏估计量就是如果相互独立地多次用无偏
估计量进行实际估计时,
对同一
统计问题大量重复使用不会产生系统偏差,
所得的 诸估计值的算术平均值 与真值基本
相同,
即它的期望值等于未知
参数的真值,
估计量是随机变量,对于不同的样本值会得到不同的估计值,
^则称 ?为 ? 的 无偏估计量,
^ ^定义 设 ? =?(X1,?,Xn )是未知参数 ?的一个估计量,
^若 E(?)=?,
1．无偏性
我们希望估计值在未知参数真值附近摆动,
这就导致 无偏性 这个标准的产生,,
? ?? ??
真值
? ?? ? ? ??? ? ? ?
^否则称 ?为 ?的 有偏估计量,
即 没有系统性的偏差,
直观上看,
例如, 用样本均值作为总体均值的估计时, 虽无法说明一次
估计所产生的偏差,
无偏性是对估计量的一个常见而重要的要求,
但这种偏差随机地在 0 的周围波动,
─样本均值 X是 总体均值
EX 的无偏估计量,
例 1 设总体 X 的 k 阶原点矩 E(X k)= ?k (k?1)存在,
X1,?,Xn 是总体 X 的样本,证明, 样本 k 阶原点矩,?
?
? n
i
kik XnA
1
1
是参数 ?k 的无偏估计量,
证 由于样本 X1,?,Xn 与总体 X 同分布,
,)()( kkki XEXE ???? ( k ?1,i = 1,2,?,n )
又 )1(
1??
? n
i
kik XnEEA,1
kknn ?? ????
所以 样本 k 阶原点矩 Ak 是 参数 ?k(总体 k 阶原点矩 E(Xk))的无偏
估计量,
特别地,只要总体 X 的数学期望存在,
用 B2 作为总体方差 ?2 的估计量产生
的偏差是很小的,
X1,?,Xn是总体
X 的样本,
但当 n→ ?时,总有
例 2 设总体 X的方差 DX=? 2 存在,
证明, 样本方差 ?
?
??? n
i i XXn
S
1
22 )(11 是 ?
2的无偏估计量,
证,)( 22 ??SE? ?? 2,
而 样本方差的异型 Sn2 是总体方差 ?2 的有偏估计量,
)( 22 nSEEB ? 21 ?nn ??
所以 样本方差 S 2 是 总体方差 ?2的无偏估计量 ;
尽管 B2 不 是总体方差 ?2 的无偏估计量,
我们称 B2 是总体方差 ?2 的 渐进无偏估计量,
?? ?? ni i XXnB 1 22 )(1 不是 ?
2的无偏估计量,
,lim 22 ???? EBn
这表明样本容量很大时,
无偏估计量的函数未必是无偏估计量
显然无偏估计又以方差小者为好,
的大小来决定二者谁更优,
21 )?( ?? ?E 和
^ ^若 ?1 和 ?2 都是参数 ?的无偏估计量,我们还可以通过比较
22 )?( ?? ?E
2,有效性
^ ^即比较 D(?1)和 D(?2)的大小,
这就产生了 有效性 这一概念,
我们知道,一个未知参数往往有不止一个无偏估计,
^ ^D(?1 )< D(?2 ),
若对任意样本容量的 n,总有
.
真值
? ? ?? ? ????? ? ???
真值
,?? ?? ? ???? ? ? ?? ?
^蓝色是采用估计量 ?1,用 14 组样本得到的 14 个估计值,
^红色是采用估计量 ?2,用 14 组样本得到的 14 个估计值,
^ ^ ^ ^定义 设 ?1=?1(X1,?,Xn ) 和 ?2=?2(X1,?,Xn ),
^ ^ 则称 ?1 较 ?2 有效,
都是未知参数 ?的无偏估计量,
稳定在真值附近,波动较小
X1,?,Xn(n>2)
是总体 X的样本,
例 3 设 总体 X的方差 DX=? 2 存在,
问总体均值 ?的无偏估计量 Xi (i=1,2,?,n)与其样
本均值 哪一个更有效？
??? ni iXnX 11
解,)( 2??? DXXD
i?
─故 X 作为 ? 的估计量比 X
i (i=1,2,?,n)有效,
,1 2nDXnXD ???
,iDXXD ?? (i=1,2,?,n)
符合常识 ! !
X1,?,Xn 是总
体 X的样本,
─ 样本均值 X是最有效的,
例 4 设总体 X 的均值和方差均存在,
C1,C2,?,Cn 为不全相同且满足 的任一组常数,1
1 ???
n
i iC
证明, (1) 样本的线性函数 是总体均值 ?的无偏估计量 ;
证 (1)
i
n
i ii
n
i i
EXCXCE ??
??
??
11
)(?
2
1
)(1 ?
?
? n
i i
C
是 ? 的无偏估计量 ;
这表明,在 ?的所有线性无偏估计量中,
??ni ii XC1
(2) 总体均值的 无偏估计量 较 有效, ?
?
? n
i i
XnX
1
1 ?
?
n
i ii XC1
(2) 由柯西 — 许瓦兹不等式 知
?? ?? ?
?
n
i i
C
1
i
n
i i
XC?
?
?
1
?? ?? ?? ni ini C1 21 21 ??? ni iCn 1 2 nCni i 11 2 ?? ??
i
n
i ii
n
i i
DXCXCD ??
??
???
1
2
1
)( ?
?
? n
i i
C
1
22? n2??,XD?
书上还介绍了估计量的一致性 (相合性 ),请自读,
而区间估计正好弥补了点估计
的这个缺陷,
小结
无偏性
有效性
一致性
—— 估计量的期望值等于未知参数的真值,
为了使估计的结论更可信,需要引入区间估计,
—— 只介绍前两个评选标准
—— 方差更小的无偏估计量,
? 样本 k 阶原点矩是 总体 k 阶原点矩 的无偏估计量 ;
? 样本方差 S 2 是总体方差 ?2 的无偏估计量 ;
? 无偏估计量的函数未必是无偏估计量
─ ? 在 ? 的所有线性无偏估计量中,样本均值 X是最有效的,
参数的点估计是用样本算得的一个值去估计未知参数, 使用
起来把握不大, 点估计值仅仅是未知参数的一个近似值,它没有
反映出这个近似值的误差范围,
正态分布
非正态分布
?
?
?
?
?
?
?
来自一个总体
来自两个总体;),(~)1( 2nNX ??,)1(~)(1)2( 2
1
22 ???
?
nXXn
i i
??
)1(~1)3( ????? ntnS XnSX
n
??
?
?
?
?
?;)1,0(~)( 2
2
2
1
21 N
nm
YX
??
??
?
???不同方差
同 方 差
，)1,1(~2
22
212 ?? nmF
S
S
Y
X
?
?
,)2(~
11
)( 21 ??
?
??? nmt
nmS
YX
?
??
.)1,1(~22 ?? nmFSS
Y
X
Th1&Th2
Th3&Th4
当 n充分大时,近似地有;),(~)1( 2nNX ??,)1,0(~)2( NnSX ??
独立同分布中心极限定理
抽样定理
柯西 — 施瓦兹不等式;)()( 2121 22 dxgdxfdxgf ??? ???
.)()( 2121
1
2
1
2
1
??? ?
?
?
?
?
?
??
i
n
i
n
i n
n baba
其中等号成立 ? 存在两个不全为零的常数 c1,c2,使得
),()( 21 xgcxfc ? 或,21 nn bcac ?
例 2
解
,EX???,22 ?? ??
解之得
若总体的一、二阶原点矩都存在,
令 总体矩 等于 样本矩
XEDXXE 22 )( ??
(均未知 ),
求 ?与 ?2 的矩估计量,
X1,X2,?,Xn 是总体 X 的样本,
需要两个方程,由矩估计法知
?
?
?
?
?
??
?
?
?
?
?
,1
,1
1
222
1
n
i
i
n
i
i
Xn
Xn
??
?
??
?
?
? ?,X?
,1
1
222 ?
?
?? n
i i
XXn?,)(1 1 2?? ?
n
i i X
Xn
??
?
?
?
??
?
?
?
,)(1?
,?
1
22 n
i
i XXn
X
?
?所以所求的矩估计量为
= B2
设总体 X 的均值和方差分别为 ?与 ?2,
抽样定理
参数估计
—— 两类
利用总体的抽样样本 X1,X2,?,Xn 对参数 ? 或 ?的
某已知函数 g(?)作出估计,
—— 已知含有未知参数 ?总体的分布函数为
F(x; ?),
区间估计
点估计??
??
?
—— 构造适当的统计量 ?(X1,X2,? Xn )得到 ?的估计值
—— 设法得到参数空间 ?的一个取值范围,使待估
参数以较大的概率含于其内,
矩估计法
极大似然法
—— 用 样本 矩 估计 总体矩
先求出总体 k 阶原点矩 E(Xk)
?
?
?
?
?
?
?
?
?
?
),,()(
),,()(
),,(
1
12
2
11
ll
l
l
l
gXE
gXE
gEX
??
??
??
?
??
?
?
,1
,1
,1
1
1
2
1
?
?
?
?
?
?
?
?
?
n
i
l
i
n
i
i
n
i
i
X
n
X
n
X
n
极大似然法
只听一声枪
响,野兔应声倒下,
某位同学与一位猎人一
起外出打猎,
他在
1922年重新发现了这一方法,并首先研究了这种方法
的一些性质,
极大似然法的基本思想
—— 在总体分布类型已知条件下使用的一种参数
估计方法, 它首先由德国数学家高斯在 1821年提出的,
Fisher
然而,这个方法常归功于英国统计学家费歇,
二、极大似然法
先看一个简单例子：
一只野兔从前方窜过,
如果让你推测是谁打中的,你会如何想呢?
而猎人命中的概率一般
大于这位同学命中的概率, 这一枪应是猎人射中的,
再看一个例子,以进一步体会极大似然法的基本思想,
此例所作的推断已经体现了极大似然法的基本思想,
一般会想, 只一枪就打中了,
p是待估参数
在 p 所有可能的取值中选出 能使样本观测值出现的概率为最
大 的那一个来作为它的估计值,
今有放回抽球 3 次,
结果得到两次白球,试问如何估计袋中白球的个数?
解 设袋中有白球 m 个,
k=0,1,2,3.,)1()( 33 kkk ppCkXP ????记 X为抽得的白球数,
袋中白球数
0
1
2
3
4
p
0
1/4
2/4
3/4
1
抽到白球数 X x = 0 x =1 x=2 x =3
1 0 0 0
27/64 27/64 9/64 1/64
8/64 24/64 24/64 8/64
1/64 9/64 27/64 27/64
0 0 0 1
例 1 设袋中有黑球和白球共 4 个,
对不同的 p,
事件 P(X=x)发生的概率
对不同的 p,
B(n,p)的分布列
则 X ~B(3,p),
3/4 27/64
上述估计思路体现的就是极大似然估计的思想方法：
则抽到白球的概率为 p=m/4,
即用它作为 ?的估计值可使观察结果
出现的可能性最大,
这种选择参数的估计量,使实验结果具有最大概率的思想就是极
大似然法的基本思想,
理应选取 ?使得 事件 (X1=x1,X2 =x2,?,
Xn=xn ) 发生的概率为最大,
再如,设总体 X 服从 B(1,?)分布,
下面给出 似然函数 的定义和 极大似然估计 的求法,
对总体分布中的未知参数 ?进行估计时,
即其分布列为
,)1()( 3 xxxXP ???? ???);( ?xf x = 0,1
其中 ?(0<?<1)为 未知参数,样本为 X1,?,Xn,
则事件 (X1=x1,X2 =x2,?,Xn=xn ) 发生的概率为
样本值为 x1,?,xn,
?
?
?
???
n
i
i
nn
xf
xXxXxXP
1
2211
);(
),,,(
?
?
?? ?? ??? ni ini i xnx 11 )1( ???
?
??? n
i
xx ii
1
1)1( ??
L(?)=
既然观察结果 X1=x1,
X2 =x2,?,Xn=xn 出现了,
^ ^即选取的估计量 ? 应满足 L(?)= max L(?)
故 L(?)与 lnL(?)达到最大值的自
变量相同,故问题可转化为求 lnL(?)的最大值点,
(当 X 为离散型时
f(x; ?)为分布列 ),
定义 设 总体 X 的密度为 f(x;?)
x1,x2,? xn
是样本 X1,X2,? Xn 的一组样本值,则称
为样本的 似然函数,
? =(?1,?2,?,?l)是总体的未知参数,
);( ?ixf?
?
n
i 1
?);,,( 21 ?nxxxL ??)(?L
若存在某个,)?,,?,?(?
21 l???? ??
使得
);,,(m a x)?;,,( 2121 ?? ?? nn xxxLxxxL ?? ??
成立 (其中 ?为参数空间 ),则称
),,,(?? 21 nXXX ??? ?,)),,(?,,),,(?,),,(?( 11211 nlnn XXXXXX ???? ????
为 ?的 极大似然估计量, 称
,)),,(?,,),,(?,),,(?(),,,(?? 1121121 nlnnn xxxxxxxxx ????? ????? ??
为 ?的 极大似然估计值, 如 何 求？
^ 即选取的估计量 ? 应满足
L(?)是 ?的函数,可用求导的方法找到使 L(?)达到最大值的 ?,
求导麻烦 !!
转向 lnL(?)!!
注意到 lnL(?)为单增函数,
①
②
③
将样本值 x1,x2,? xn 代入最大值点的表达式
中,就得未知参数的 极大似然估计值, ??
—— 把自变量 x看
成常数,把未知参数 ?=(?1,?2,?,?l)看成自变量 ;
—— 转化为求 ln L(?)的最大值
点,
① 由总体分布建立 似然函数 L(?)
② 求似然函数 L(?)的最大值点
求极大似然估计的一般步骤是：
③ 将样本 X1,X2,? Xn 代入最大值点的表达式中,就得未知参数
的 极大似然估计量,??
??? ni ixf1 );( ?
即 1
0 建立 似然方程组：
,)21(0)(ln l,,,iL
i
????? ? ?
20 解 似然方程组 得到 L(?)的最大值点 ;
.0)(ln ?? ?d Ld
? 是实数时,似然方程组就是方程
下面举例说明如何求极大似然估计
求参数 p 的极大似然估计,
?
?
? n
i
i pxPpL
1
);()(解 样本的 似然函数 为,
)1(ln)1(ln)(ln
11 pxpxpL i
n
i
n
i i ?????? ??
,1,0,)1();( 1 ??? ? xpppxP xx
例 1 设总体 X ~ B(1,p),
1,0,0,1,0,0 是取自总体的一组样本值,
其分布列为
?
?
??? n
i
xx ii pp
1
1)1(
对数似然函数 为：
)1(ln)(ln 1
1
pxnpx n
i i
n
i i
???? ??
??
对 p 求导并令其为 0得 似然方程,
)(1 11)(ln
11 ?? ??
???? n
i i
n
i i
xnpxppd pLd = 0,
,1? 1 XXnp ni i ?? ??解之得 p 的 极大似然估计量,
代入样本值即得 极大似然估计值 为,.
31)001001(61? ???????p
??
??? ??? ?
?
?
.,0;,,21,0,
1
其他
n,ixe i
n
i
x i ???
解 (1) 样本的 似然函数 为
??? ni ixfL 1 );()( ??,1??
?n
i
xn ie ??
xdxfxEX ? ????? );( ?
当 xi >0 时,L(?)> 0,
,ln)(ln
1????
n
i i
xnL ???
，ni ??1
X1,X2,?,Xn 是取自总体 X的一组样本,
??
? ?? ?
,,0
0,);(
其它；xexf x???
求 ?的极大似然估计量与矩估计量,
其中 ?>0为未知参数,
例 2 设总体 X 的密度为
故有 对数似然函数,
???? ni ixnd Ld 1)(ln ?? ?对 ?求导并令其为 0 可得 似然方程, = 0,
解得 极大似然估计量, ?
?
? n
i iX
n
1
??
令,11
1 X
Xn n
i i
?? ?
??
(2) = 1/?,
解得矩估计量,.1?
X??;1X?
设
X1,X2,… Xn 是取自 X 的一个样本,
解 样本的 似然函数 为
其中 ?,? 2 均未知,
求 ? 与 ? 2 的极大似然估计量,
??? ni ixfL 1 22 ),;(),( ????
例 3 设总体 X ~ N(?,?2),
?
?
??
?
n
i
x i
e
1
2
)(
,2 1 2
2
?
?
??
故有 对数似然函数 ?
?
???? n
i i
xnL
1
2
222 )(2
12ln2),(ln ??????
??
?
?
? ?? ?
?
,1?
1
XXn
n
i
i?解之得 极大似然估计量
，0)(1),(ln
12
2 ???
?
? ?
?
n
i i
xL ??? ??
对 ?和 ?2 分别求偏导并令其为 0 得 似然方程组,
,0)(2 12),(ln
1
2
422
2 ?????
?
? ?
?
n
i i
xnL ???? ???
??
?? ?? ni iXn 1 22 )(1? ??
? ? ?3
,)(1?
1
2?
?
?? n
i
ixn ??
= B2,
22 )?(? ?? ?
估计的
不变性
注意到 ?2是 ? 的函数 !
正态分布：极大似然估计量 === 矩估计量
可证明极大似然估计具有下面的单调函数不变性：
而 g(?)为 ?的单调函数,
^则 g(?) 也是 g(?)的极大似然估计量,
^若 ?为未知参数 ?的极大似然估计量,
例 4 一罐中装有白球和黑球,
,n,iX i ?1,0,1 ????? 取到黑球取到白球解 设 X1,X2,?,Xn 为所取样本,
则 X1,?,Xn ~B(1,p),
有放回地抽取一个容量为 n的样本,
其中有 k个白球,求罐中黑球与白球之比 R的极大似然估计,
p是每次抽取时取到白球的概率,且 p未知,
,? nkp ?
p
pR
?
?1? ??,1?? kn
容易求得 p 的极大似然估计 为：
由极大似然估计的不变性知 R 的极大似然估计是
,1 p pR ???
就不能用上述求导
方法求未知参数的极大似然估计了,
上述解法是应用微积分中的技巧求 似然函数 L(?)的最大值点,
但当 似然函数 L(?)不 可微
这时要用 极大似然原则 来求,
或偏导数不为零时,
故应取 ?的值
尽量地小 ;
例 5 设总体 X 服从均匀分布 U[0,?],为 ?未知参数,
无法用求导建立似然方程的方法确定其极大似然估计量 !!
X1,X2,?,Xn 是总体 X的一组样本,求 ? 的极大似然估计量,
解 样本的似然函数为
??? ni ixfL 1 );()( ?? ?
?
??? ????
.,0;,,21,01
其他
n,ix in ???
，)1()( ???? nnddL ???
用极大似然原则来求,即用其他方法求似然函数 L(?)的最大值点,
显然,似然函数 L(?)的值随 ?的减小而增大,
另一方面,? 必须满足条件 0 ? xi ?? (i = 1,2,?,n ),
而事件 {0?Xi??,i = 1,2,?,n } }{ ???
?? }{m a x1 ini X
故可取极大似然估计量为
.?? ?? ?? }{m a x? 1 ini X
不必建立
对数似然方程
求 ? =1时,未知参数 ?
的矩估计量,
??
?
?
???
,,0
,,)(1),;(
?
???? ?
x
xxxF
其中 ?> 0,?> 1,
例 6 设 X的分布函数为
X1,?,Xn 是总体 X 的样本,
解 (1) ?=1时,
(1)求 ? =1时,未知参数 ?的极大似然估计量,
(2)求 ?=2时,未知参数 ?的极大似然估计量,
??
?
?
? ??
?
?
? ?
.,0;,1,1,
1 1
其他
n,ixx i
n
i i
???
??? ni ixfL 1 );()( ?? 当 xi >1时,L(?)> 0,
,ln)1(ln)(ln
1???
?? n
i ix
nL ???
，ni ??1
,0ln)(ln
1
??? ?
?
n
i i
xnd Ld ?? ?令
解得 ? 的 极大似然估计量：
.ln? 1??? ni iXn?
?
?
?
?
?? ?
,1,0
,1,);( 1
x
xxxf ???
?的矩估计量为,
1? ?? XX?
例 6(P221 例 3续 )设 X的分布函数为
??
?
?
???
,,0
,,)(1),;(
?
???? ?
x
xxxF
其中 ?> 0,?> 1,X1,?,Xn 是总体 X 的样本,
?
?
?
?
??
,,0
,,2);( 3 2
?
???
x
xxxf解 (2) ?=2时,
(2)求 ?=2时,未知参数 ?的极大似然估计量,
??
?
?
? ??
? ??
.,0;,,21,,)( 2
1
321
2
其他
n,ixxxx i
n
i n
nn
?? ??
??? ni ixfL 1 );()( ??
因为 L(?)随 ? 的 增大而增大,
另一方面,由于 L(?)=0不可能是最大值,故 ?必须满足 xi >?,
故应取 ?的值尽量地大 ;
，)1( ni ??而事件 { Xi >?,i = 1,2,?,n } }{ ???
?? }{m i n1 ini X
故 ?的 极大似然估计量为,?? ??
?? }{m i n? 1 ini X
参数点估计是用一个确定的值去估计未知的参数, 看来似
乎精确，实际上把握不大,
我们介绍了参数点估计,给出了寻求估计量最常用的方法
—— 矩法和极大似然法,
样本均值、样本方差是否是一个好的估计量？
(2)怎样决定一个估计量是否比另一个估计量,好”？
多个估计量时,哪一个估计量更好？
这就需要讨论以下几个问题,
(1)我们希望一个“好的”估计量具有什么特性？
(3)应该 如何寻求一个合理的估计量？
自然要问,
估计量的评选标准
计算简单
无需总体分布
使用了总体分布,质量好
不唯一、不够稳定
计算困难
在介绍估计量优良性的准则之前，我们必须强调指出：
评价一个估计量的好坏,不能仅仅依据一次试验的结
果,而必须由多次试验结果来衡量,
这是因为估计量是样本的函数,是随机变量,
§ 3 估计量的几个评选标准
常用的几条标准是,1,无偏性
2,有效性
3,一致性
我们重点介绍前面两个标准,
所以,由不同
的观测结果,就会求得不同的参数估计值,
因此一个好的估计,应在多次试验中体现出优良性,
??
?
所谓无偏估计量就是如果相互独立地多次用无偏
估计量进行实际估计时,
对同一
统计问题大量重复使用不会产生系统偏差,
所得的 诸估计值的算术平均值 与真值基本
相同,
即它的期望值等于未知
参数的真值,
估计量是随机变量,对于不同的样本值会得到不同的估计值,
^则称 ?为 ? 的 无偏估计量,
^ ^定义 设 ? =?(X1,?,Xn )是未知参数 ?的一个估计量,
^若 E(?)=?,
1．无偏性
我们希望估计值在未知参数真值附近摆动,
这就导致 无偏性 这个标准的产生,,
? ?? ??
真值
? ?? ? ? ??? ? ? ?
^否则称 ?为 ?的 有偏估计量,
即 没有系统性的偏差,
直观上看,
例如, 用样本均值作为总体均值的估计时, 虽无法说明一次
估计所产生的偏差,
无偏性是对估计量的一个常见而重要的要求,
但这种偏差随机地在 0 的周围波动,
─样本均值 X是 总体均值
EX 的无偏估计量,
例 1 设总体 X 的 k 阶原点矩 E(X k)= ?k (k?1)存在,
X1,?,Xn 是总体 X 的样本,证明, 样本 k 阶原点矩,?
?
? n
i
kik XnA
1
1
是参数 ?k 的无偏估计量,
证 由于样本 X1,?,Xn 与总体 X 同分布,
,)()( kkki XEXE ???? ( k ?1,i = 1,2,?,n )
又 )1(
1??
? n
i
kik XnEEA,1
kknn ?? ????
所以 样本 k 阶原点矩 Ak 是 参数 ?k(总体 k 阶原点矩 E(Xk))的无偏
估计量,
特别地,只要总体 X 的数学期望存在,
用 B2 作为总体方差 ?2 的估计量产生
的偏差是很小的,
X1,?,Xn是总体
X 的样本,
但当 n→ ?时,总有
例 2 设总体 X的方差 DX=? 2 存在,
证明, 样本方差 ?
?
??? n
i i XXn
S
1
22 )(11 是 ?
2的无偏估计量,
证,)( 22 ??SE? ?? 2,
而 样本方差的异型 Sn2 是总体方差 ?2 的有偏估计量,
)( 22 nSEEB ? 21 ?nn ??
所以 样本方差 S 2 是 总体方差 ?2的无偏估计量 ;
尽管 B2 不 是总体方差 ?2 的无偏估计量,
我们称 B2 是总体方差 ?2 的 渐进无偏估计量,
?? ?? ni i XXnB 1 22 )(1 不是 ?
2的无偏估计量,
,lim 22 ???? EBn
这表明样本容量很大时,
无偏估计量的函数未必是无偏估计量
显然无偏估计又以方差小者为好,
的大小来决定二者谁更优,
21 )?( ?? ?E 和
^ ^若 ?1 和 ?2 都是参数 ?的无偏估计量,我们还可以通过比较
22 )?( ?? ?E
2,有效性
^ ^即比较 D(?1)和 D(?2)的大小,
这就产生了 有效性 这一概念,
我们知道,一个未知参数往往有不止一个无偏估计,
^ ^D(?1 )< D(?2 ),
若对任意样本容量的 n,总有
.
真值
? ? ?? ? ????? ? ???
真值
,?? ?? ? ???? ? ? ?? ?
^蓝色是采用估计量 ?1,用 14 组样本得到的 14 个估计值,
^红色是采用估计量 ?2,用 14 组样本得到的 14 个估计值,
^ ^ ^ ^定义 设 ?1=?1(X1,?,Xn ) 和 ?2=?2(X1,?,Xn ),
^ ^ 则称 ?1 较 ?2 有效,
都是未知参数 ?的无偏估计量,
稳定在真值附近,波动较小
X1,?,Xn(n>2)
是总体 X的样本,
例 3 设 总体 X的方差 DX=? 2 存在,
问总体均值 ?的无偏估计量 Xi (i=1,2,?,n)与其样
本均值 哪一个更有效？
??? ni iXnX 11
解,)( 2??? DXXD
i?
─故 X 作为 ? 的估计量比 X
i (i=1,2,?,n)有效,
,1 2nDXnXD ???
,iDXXD ?? (i=1,2,?,n)
符合常识 ! !
X1,?,Xn 是总
体 X的样本,
─ 样本均值 X是最有效的,
例 4 设总体 X 的均值和方差均存在,
C1,C2,?,Cn 为不全相同且满足 的任一组常数,1
1 ???
n
i iC
证明, (1) 样本的线性函数 是总体均值 ?的无偏估计量 ;
证 (1)
i
n
i ii
n
i i
EXCXCE ??
??
??
11
)(?
2
1
)(1 ?
?
? n
i i
C
是 ? 的无偏估计量 ;
这表明,在 ?的所有线性无偏估计量中,
??ni ii XC1
(2) 总体均值的 无偏估计量 较 有效, ?
?
? n
i i
XnX
1
1 ?
?
n
i ii XC1
(2) 由柯西 — 许瓦兹不等式 知
?? ?? ?
?
n
i i
C
1
i
n
i i
XC?
?
?
1
?? ?? ?? ni ini C1 21 21 ??? ni iCn 1 2 nCni i 11 2 ?? ??
i
n
i ii
n
i i
DXCXCD ??
??
???
1
2
1
)( ?
?
? n
i i
C
1
22? n2??,XD?
书上还介绍了估计量的一致性 (相合性 ),请自读,
而区间估计正好弥补了点估计
的这个缺陷,
小结
无偏性
有效性
一致性
—— 估计量的期望值等于未知参数的真值,
为了使估计的结论更可信,需要引入区间估计,
—— 只介绍前两个评选标准
—— 方差更小的无偏估计量,
? 样本 k 阶原点矩是 总体 k 阶原点矩 的无偏估计量 ;
? 样本方差 S 2 是总体方差 ?2 的无偏估计量 ;
? 无偏估计量的函数未必是无偏估计量
─ ? 在 ? 的所有线性无偏估计量中,样本均值 X是最有效的,
参数的点估计是用样本算得的一个值去估计未知参数, 使用
起来把握不大, 点估计值仅仅是未知参数的一个近似值,它没有
反映出这个近似值的误差范围,
正态分布
非正态分布
?
?
?
?
?
?
?
来自一个总体
来自两个总体;),(~)1( 2nNX ??,)1(~)(1)2( 2
1
22 ???
?
nXXn
i i
??
)1(~1)3( ????? ntnS XnSX
n
??
?
?
?
?
?;)1,0(~)( 2
2
2
1
21 N
nm
YX
??
??
?
???不同方差
同 方 差
，)1,1(~2
22
212 ?? nmF
S
S
Y
X
?
?
,)2(~
11
)( 21 ??
?
??? nmt
nmS
YX
?
??
.)1,1(~22 ?? nmFSS
Y
X
Th1&Th2
Th3&Th4
当 n充分大时,近似地有;),(~)1( 2nNX ??,)1,0(~)2( NnSX ??
独立同分布中心极限定理
抽样定理
柯西 — 施瓦兹不等式;)()( 2121 22 dxgdxfdxgf ??? ???
.)()( 2121
1
2
1
2
1
??? ?
?
?
?
?
?
??
i
n
i
n
i n
n baba
其中等号成立 ? 存在两个不全为零的常数 c1,c2,使得
),()( 21 xgcxfc ? 或,21 nn bcac ?
例 2
解
,EX???,22 ?? ??
解之得
若总体的一、二阶原点矩都存在,
令 总体矩 等于 样本矩
XEDXXE 22 )( ??
(均未知 ),
求 ?与 ?2 的矩估计量,
X1,X2,?,Xn 是总体 X 的样本,
需要两个方程,由矩估计法知
?
?
?
?
?
??
?
?
?
?
?
,1
,1
1
222
1
n
i
i
n
i
i
Xn
Xn
??
?
??
?
?
? ?,X?
,1
1
222 ?
?
?? n
i i
XXn?,)(1 1 2?? ?
n
i i X
Xn
??
?
?
?
??
?
?
?
,)(1?
,?
1
22 n
i
i XXn
X
?
?所以所求的矩估计量为
= B2
设总体 X 的均值和方差分别为 ?与 ?2,
