2 - 1
第 2 章 点 估 计 法
2.1 基本概念问题的一般提出,
。统称为估计，简记为的估计值。为）（的估计量、为
）（称。来估计未知参数）（值
，用它的观察）（量要构造一个适当的统计点估计问题就是是相应的一个样本值。
的一个样本，是待估计的参数，
是为已知，的分布函数设总体
,,
,,
,,
,,
,,
,,
);(
1
11
1
1
1
n
nn
n
n
n
xx
XXxx
XX
xx
XXX
xFX
2 - 2
);();( xfxFX 或～总体
2.1.1 点估计的定义定义 2.1.1
的估计值。的值就称为样本的值时，当给定的一个点估计。就称为的真值，则去估计如果用围。有相同的维数与取值范为一统计量，与维或多维）未知参数，为总体分布的（设
1
nXX,，样本?1
抽取 去估计
)(? 1 nXX,，统计量
构造点估计的基本思想是：
2 - 3
).,,(g
),,(g
);(
,,
1
1
1
n
n
n
XX
XX
XF
XX
记为的一个估计量，称其为则的一个估计，可作为若统计量为参数空间，为未知参数，其中
。其分布函数为是总体的一个样本，设即
,),,(?
,,
1
1
的估计值称为是样本的一个观察值。若
n
n
xxg
xx
注,也可用分布律或密度函数代替,);(?XF
2 - 4
2.1.2 无偏估计量对同一参数可以构造多个不同的点估计量去估计，
如何评价估计量的优劣，需要建立评价估计量优劣的标准 。估计量是随机变量，对于不同的样本值就会得到不同的估计值，希望估计值在未知参数真值左右徘徊，即使它的数学期望等于未知参数的真值,这就导致了无偏性这个标准。
即 估计量的数学期望等于被估计的参数。
定义 2.1.2
))?((
.?,,)?(
,),,( 1
称为估计的系统误差的无偏估计量是则称若的估计量为设
E
E
XX n?
2 - 5
无偏估计。
的总是服从什么分布，特别，不论总体 )X(EXX
例 1,存在，又设阶矩的设总体m kk )1k()X(EkX
的一个样本，是总体n21 XX,...,X,X
n1
的无偏估计。阶总体矩是 k
样本矩阶论总体服从什么分布,?
1i
k
ik XnAk试证明不同分布，故有与证明,XX,...,X,X n21
.n,...,2,1i,)X(E)X(E kkki?m
。即有 )X(En1)A(E k
n
1i
k
ik m
2 - 6
例 2,证明 是 的无偏估计量。)( XVar2S
][])([
1
22
1
2
n
i
i
n
i
i XnXEXXE证明：
n
i
i XnEXE
1
22 )()(
,)]()([)]()([ 22 XEXV a rnXEXV a rn
的无偏估计量。是 )(,)()( 22 XVarSXVarSE?\
而,)()(,)()( nXVarXVarXEXE
)()1(])([
1
2 XVarnXXE
n
i
i\?
2 - 7
计。估好无偏估计不一定是）（
般不唯一。对可估参数无偏估计一）（
。无偏估计不一定总存在注
3
2
)1(:
这种方法称为无偏化。
即可。乘以只需要用要使其变为无偏估计,2
1
B
n
n
的估计量，作为如果用知，又由
)(
)(1)(
2
2
XVa rB
XVa r
n
nBE
的无偏估计量。为就可化为无偏估计，即以乘时只需将，要将其化为无偏估计为常数的估计量，且有是一般地，若
C1C1
)0C(
,C)(E
2 - 8
2.1.3 均方误差准则差。是由下式给出的均方误考虑，最常用的标准由于数学处理上的方便响，可以对它求期望，为排除样本随机性的影在实际中是不可行的，直接使用这种自然度量随机性，是未知的，样本又具有由于是个自然度量，评价该估计好坏的一估计假设用
,
定义 2.1.3
2)?(),?(
,
EM S E
的均方误差定义为的一个估计，为为一个一维未知参数设
2 - 9
2
2
)?()?(?
)?(),?(
EEE
EM S E
)?(),?(.
.
,),?(
V a rM S E
M S E
则有则后一项为的无偏估计，是如果平方另一个是估计的偏差的一个是估计量的方差，是由两个量迭加而成
0
22 )?()?()?(?2)?( EEEEEE
2)?()?(?2 EEE?
)?()?(),?( EV a rM S E
0)?()?()?(2 EEE
2 - 10
2.1.4 相合估计及相合渐近正态估计
.
,
,)?(,
,),,(
,
1
这就是相合性概念时通常可以做到这一点但当任意小对所有某一就不可能做到对估计假设用关的估计量是与样本容量有
n
MS En
XX
n
nnn
定义 2.1.4
.?
依概率收敛到时，当布，样本分布族中的任一分若对给定的相合估计，称为待估参数估计量
n
n
n
2 - 11
0?l i m0
n
n
P有对任意
，相合估计满足：根据依概率收敛的定义估计”。相合估计又译作“一致的强相合估计。是称时，当的弱相合估计。是称时，当
,.?
,?
san
n
n
p
n
在统计研究中一般所指的相合性均是指弱相合性，不满足相合性要求的估计一般不予考虑。
2 - 12
tnttp
X
X
UXX
nn
nn
nn
n
0,);(
),0(,,.3
1
1
的密度函数为则的常用估计，是最大次序统计量的一个样本，是来自设例
,0
,
,)1()(
另外由于对任意的的渐进无偏估计但它是的无偏估计，不是因此解：易求出
nn
nn
X
nnXE
2 - 13
的相合估计。是因此
，根据依概率收敛的定义
nn
n
n
n
nnnnnn
X
ndt
nt
XPXPXP
,
)(0
)()(
0
1
必须至少为多少。达到一定精度，
本身不能说明为使是没有意义的，相合性
，相合性意有限的估计量的性质，而对任时映了当必须指出相合性只是反
n
n
n
n
2 - 14
定义 2.1.5
.)()1,0(
,0
,l i m,0
dN
n
n
n
n
n
n
n
使得其中满足若存在一串的相合渐进正态估计，称为估计量相合渐进正态估计简称为 CAN估计态分布。最常用的渐进分布是正来。分布的渐进方差反映出进往往可以由估计量的渐是有差异的。这种差异不止一个，它们之间事实上，相合估计可以
2 - 15
存在，若对任一参数由中心极限定理的一个估计量是的一个样本，是来自设例
)(,)(
)1(,0)(
,
),1(,,.4
1
1
gg
NXn
nXX
BXX
L
n
i
i
n
的渐进正态估计。是则有
)()(
)1()]([,0)()( 2
gXg
gNgXgn L
2 - 16
的相合估计。也是且其渐近方差是的渐近正态估计，是
，）（则，取如
)()Xg(
,
)1(
11
1)(
1
)(
3
2
g
n
X
X
gg
定理 2.1.1 CAN估计一定是相合估计。
（证明见教材 P54）
2 - 17
2.2 无偏估计的方差下界估计。简称为一致最小无偏估计，则这个估计就称为方差一致地小，
其他无偏估计的方差都偏估计，其方差比任意一个无为可估参数，可以找到不唯一，设计时，可估参数的无偏估当样本容量
U M V U
g
n
)(
1
2 - 18
.0);(
),,(
),0(,,.5
1
1
1
tnttp
XXM a xX
UXX
nn
nnn
n
，
密度函数为为充分统计量，其分布由因子分解定理知的一个样本，是来自设例
.
1
1
)(
0
估计的是故
，因的完备统计量。也是因而的，易验证该分布族是完备
U M VUX
n
n
n
n
dt
nt
XE
X
nn
n
n
nn
nn
2 - 19
2.1.1 一维参数无偏估计的方差界存在的任一无偏估计，是
）样本的频率函数为
。一维参数的分布族只依赖于一个设
)()()?(
,;,,(
,,
1
1
ggg
XXf
XX
nn
n
的方差下界。为
）
且称 )?(;,,(ln
)(
2
1
2
g
XXf
E
g
nn
2
1
2;,,(ln
)(
))?((
）
则
nn XXfE
g
gV a r
2 - 20
2
1
2;,,(ln
)(
))?((
）
若
nn XXfE
g
gV a r
偏估计的达到最小方差界的无是则称 )()?( gg
(参见教 P55- P57)
,0);(l o g
)(
nn XfE
,)();()(? )()()(S nnnn gdxxfxg
S S nnnnn dxffdxf 0l o g )()(,1);( )()(S nnn dxxf?
2 - 21
S S nnnnn gdxffgdxfg )(l o g )()(
)();(l o g)(?
)(
)(?
gXfXgE nnn
)();(l o g,)(?c o v
)(
)(?
gXfXg nnn
);(l o gv a r)(?v a r)]?([ )()(2 nnn XfXgg
,l o gl o gv ar
2
nn fEf
2
2
l og
)())?(v ar (
nfE
gg
2 - 22
2
1
4
2
1
4
2
2
1
2
1
1ln
n
XV a r
nXE
X
n
E
f
E
n
i
i
n
i
i
n
i
i
n
,
1
),,,(
.,,.6
1
1
1
n
i
X
nn
n
i
eXXf
i i dXX
则的指数分布，服从均值为，设样本例
)(
ln
)( 2
2
2
XV a r
nf
E
g
n
\
估计。的是的无偏估计是 U M V UXX \,?
1)(g
2
1
1 1
ln,1lnlnln
n
i
i
n
n
i
n
i
i
i
n
X
nfXnXf
2 - 23
2
2
2;(ln
)(
）Xf
nE
g
的方差下界。为 )?(?g
,且称
2
2
2
1;(ln
)(
))
((
,)()()
(,;(
,,,
）
则存在的任一无偏估计，是）
。总体的分布函数为数且只依赖于一个一维参是独立同分布的分布族设样本
Xf
nE
g
gV a r
gggXf
XX
n
偏估计的达到最小方差界的无是则称 )()?( gg
2
2
2;(ln
)(
))?((
）
若
Xf
nE
g
gVa r
2 - 24
1)(1),(ln
222
2
\ XEXEXfE
)?(
),(ln
)(
1)(
2
2
2
V a r
nXf
nE
g
g
\
.? 估计的即为 UM V UX\
),!l n (ln),(ln,
!
),(
.)()?(
,,)()?(
xxxfe
x
xf
n
XDD
XXEE
x
又的无偏估计量。而为知证 由
)( XVa r?Var
估计。的为试证是来自该总体的样本，～总体设例
UM V UX
XXPX n
,,,)(.7 1?
2 - 25
2.1.2 多维参数无偏估计的方差界称为费希尔信息阵阶对称方阵记上的一个开区域，维参数，取值于为
，其中设样本分布有频率函数
)(
),,();(
1
)(
n
k
T
k
n
n
Ik
Rk
xf
的方差阵，，，
向量它实际上是一阶偏导数
T
k
nnn fff
lnlnln
1
ji
n
ijkkijn
fEIII
ln)()()(
2
其中
2 - 26
有一阶偏导数，且它的各分量关于列向量维待估参数为设是正定矩阵。因而对任意
,)(
)(,,)()( 1
kp
pggg Tp
）下有下面的不等式、、条件（条件则在类似于一维场合的的方差阵为记的无偏估计。为设
)()()(
),?(?
)(?,, 1
cba
gVa rg
gggg
T
p
)()()()?( 1 Tn AIAgV a r
,)()()(
j
i
ij
gaAkp
矩阵记
2 - 27
都是未知参数，和其中的一个样本，是来自设例
2
2
1 ),(,,.8
m
mNXX n?
n
i
Xn
i
in
i
eXff
1
2
)(
1
2 2
2
2
1),;(? m
m
,ln,2 )(ln22ln2ln 22
2
1
2
2
2
m?
m nfXnnf nn
i
i
n
46
1
2
22
2
4
1
2
2
2
)(
)(
ln,
)(
)(
ln
m
m
m
n
X
f
X
f
n
i
i
n
n
i
i
n?
.0
)(
ln
,
2)(
ln
,
ln
2
2
422
2
22
2
\
mm
nnn fEnfEnfE
2 - 28
n
nI
n
nI
nn 4
2
1
4
2
20
0)(,
20
0)(
于是有
2
2
2
)(
2
2
2
1
),;(
),(
m
m
m?
X
eXf
因总体分布密度函数为在本例中，若证
22
24
2
2
2
)()(
2
1
2
)(
)(
,
)(
lnln
)(
ij
T
T
IXSVa rI
XX
XS
ff
XS
m
m
m
，
，
2 - 29
4
2
4
2
2
0
0
)()(
2
1
0
0
1
)(
n
n
nIII n同样有
)1,0()(,)0,1()(,,22m?m? AA 对对
nnnAIAgV a r Tn 2421 0120 001)()()()?(
nnnAIAgV a r Tn 4421 21020 010)()()()?(
0212 )(
2
1
2
1
2
)(,1
24
2
22112
424
2
222211
÷
m
m
m
m
XXEII
XVarIXVarI其中
2 - 30
2.3 UMVU估计与充分完备统计量
2.3.1 充分统计量与无偏估计定理 2.3.1
1?)(
,)(v a r)?(v a r
,)(v a r)?(v a r
)()(
,
)(?)(
,
gThP
Thg
Thg
gThT
T
ggg
k
当且仅当成立，”对于某个使得在上述不等式中“
的无偏估计，为的函数存在一个一定为一个充分估计量，则无偏估计的一个为设为（一维）待估函数。
维参数，取值于为决定样本分布的设
( 证明及推论见教材 P65— 66 )
)()(
)()(
,)()()(?
II
gTh
III
T
gT
即：
立，的充分估计量时等号成为当此定理等价于
2 - 31
,
20
0
)(8
),(,,.9
4
2
2
2
1
m?
m
n
n
I
NXX n
知）由例，（记的一个样本，是来自设例?
22
2
121
2
21
2
1
,
2
1
),(
,),(),()(
m
nn
GTnNTTT
sXTTXT
～～独立，且与则定义统计量
222
2
1
2
1
1
2
1
2
2
1
2
2
)(
221
21
2
1
2
1
1
2
);,(
),(
t
nn
n
tn
T et
n
n
e
n
ttp
TT
m
的联合密度函数为故
2 - 32
),(
2
1
ln
2
1
2
)(
ln
2
1
);,(ln
2122
2
2
2
12
21
ttct
nntn
ttp T
m
无关。和与
）（
其中
2
2
21
2
1
ln
2
1
ln
2
3
2
1
ln2ln
2
1
ln
2
1
),(
m
nn
t
nn
n
ttc
4
2
2
1
222
1
2
)1()(
2
ln,)(ln
m
m
m
tntnnptnp TT
2 - 33
.)1()(2)( ln 6 2
2
1
422
2
m
tntnnp T
。一致与有 )(20 0)( 4
2
InnI T
2.3.2 完备统计量
。的完备统计量称为分布族则则一定有足条件，对任一函数满统计量设对某样本布族
FTThP
ThE
TFF
,,10)(
,,0)(
,,
定义 2.3.1
,)(ln,ln 412
2
22
2
m
mm
tnpnp TT
2 - 34
构成一个完备函数族。是必然事件，则的数学期望，的数学期望等于或者说的完备统计量。为为必然事件。
一定有的数学期望等于零，则即是
FTgTh
TgTh
T
ThTh
)()(
)()(
0)()(
F
。的极小方差无偏估计量是
，则使得且存在
，的频率函数族是完备的若充分估计量
。族构成一个完备函数族完备统计量的频率函数
)()?(
)()?()?(
uv
uvEv?
2.3.3 充分完备统计量与 UMVU估计如果一个统计量既是充分的又是完备的，就称为充分完备统计量。基于充分完备统计量的无偏估计一定是 UMVU估计。
2 - 35
定理 2.3.2
估计。的唯一的为则的无偏估计量存在，是充分完备统计量。若即的意义下）估计（在唯一的为的统计量则一定存在一个基于有无偏估计，为待估参数，若，完备统计量为充分设对某样本布族
U M V UgTh
gT
PU M V U
gThT
gg
TFF
)()(
)(
1
)(,)(
)()(
,,
的无偏估计。为则密度为的分布为充分统计量，极大统计量为未知参数，设例
n
Xn
n
n
XExxn
XX
UXX
nn
nn
nn
nnnn
i i d
n
)1(
1
,0
0),0(~,,.10
1
1
2 - 36
估计。的为，完备统计量为所以也即即
U M V U
n
Xn
XhP
badxxxh
nn
nn
n
b
a
)1(
X010)(
00)(
nn
1
n
i
n
i
ii
i i d
n XXTTTNXX
1 1
2
21
2
1,),(,),(,,.11?m～设例?
估计的和为分别和的函数。因此且都是的无偏估计，，是和是充分完备统计量，而
U MVU
SXTTT
SX
2
2
21
22
),(
m
m
定理 2.3.3
为完备统计量。，则和条件中的且满足引理设样本分布为指数族，
),,()2()1(
1.2.1
1 nTTT
00)()()( 10 dxxxhXhEXh nnnnn 满足即设
2 - 37
估计。界的的未达到是估计；界的的达到是
U MVURC
nn
SVa r
U MVURC
n
XVa r
2
44
2
2
2
1
2
)(
)(
m
2.4 极大似然估计
2.4.1 极大似然估计
n
i
ki
nn
kk
xf
XXXXX
xf
X
1
1
11
11
,),,;(
,,,,
,,,),,;(
,
联合密度函数为的的一个样本，则是是待估计的参数，其中设它的密度函数为对于连续型的总体
2 - 38
为样本的似然函数。
称对于给定的一组样本值的一个样本，是待估计的参数，
是其中设它的分布律为对于离散型的总体
n
i
kikn
n
n
kk
xpxxL
xx
XXX
xpxXP
X
1
111
1
1
11
,),,;(),,;,,(
,,,
,,
,,,),,;(
,
为样本的似然函数。
称对于给定的一组样本值
n
i
kikn
n
xfxxL
xx
1
111
1
,),,;(),,;,,(
,,,
2 - 39
定义 2.4.1
估计。简记为的最大似然估计量
）称为参数（，，）（
相应的统计量的最大似然估计值，而分别为取得最大值，则称在如果似然函数
ML
XXXX
xxL
knkn
k
kk
kn
.
,,,,?,,?
,,
,,,,?
),,;,,(
1111
1
11
11
的估计值。作为取到最大值的参数值较大，将使因而是参数值使的函数，是常数，它是参数似然函数而言，
较大，可是对大，即似然函数的值比取到这组值的概率比较以认为经发生的随机事件，可是一组样本值，它是已发生，件比概率小的事件易于根据经验，概率大的事的函数似然函数是待估参数注：
k
k
kn
n
k
LL
xx
xx
,,
,,
,,,,
,,
.2
.,,.1
1
1
11
1
1
2 - 40
2.4.2 最大似然估计的求解方法,
从上述方程组解得,?,,?,? k21
,0L
,0L
,0L
k
2
1
M
必须满足,?,,?,? k21
由微积分的知识可知，
由于 lnL与 L同时达到最大值
,0Lln
,0Lln
,0Lln
k
2
1
M
来代替上式,故可用方程组
2 - 41
例 12.设 服从,是来自 的一个样本,求参数 的最大似然估计量。
X ),1( pB nXX,,1? X
p
似然函数为是一组样本观察值，则设的分布律为由题意知解
n
xx
xx
xppxXPX
,,
.1,0,)1(
,:
1
1
,)1()1(pL(p)
1
1x 11i ppp
xnxn
i
x
n
i
i
n
i
i
i
p),-)ln(1-(n)lnp(L(p)ln
11
xx
n
i i
n
i i
而
2 - 42
XXnpp
n
i
i
1
1?的最大似然估计量为而
xxnpp
n
i
i
1
1?的最大似然估计值为解得
,01)(lndpd 11 p
xn
p
x
pL
n
i i
n
i i?
令
2 - 43
1
1
,,1
,0
10,)1(
)(
.13
n
n
eE
XX
xx
xf
及的最大似然估计量求是取自该总体的样本。，其中未知参数其他函数为：设总体分布的概率密度例
),l n ()1l n (ln
,0
1,,,0,)()1(
),(),(
21
2121
1
n
nn
n
n
xxxnL
xxxxxx
xfxfL
\
其它
解 似然函数为：
2 - 44
.1
)l n (
,1
)l n (
,0)l n (
1
ln
21
21
21
n
n
n
XXX
n
xxx
n
xxx
n
d
Ld
＝－
的最大似然估计量为：所以，
＝－解得
令
.
2
1
)1()(
,
2
1
)]([).,,(
.,,
1
0
1
21
1
21
1
dxxXE
XEXXXEE
XXX
n
n
n
n
n
n
e
e
其中
所以
，＝又因为
2 - 45
的最大似然估计量。求的一个样本值。是来自为未知参数，～设例
2
1
22
,
,,
,,),(.14
m
m?m
Xxx
NX
n?
n
i
i
nn
n
i
i
x
xL
1
2
2
2
2
2
1
2
2
2
)(
2
1
e x p
1
2
1
)(
2
1
e x p
2
1
),(
m
m
m似然函数为
2
2
2 )(
2
1
e x p
2
1
),;( m
m xxf
X 的概率密度为解：
2 - 46
1 n,)(?
1
22?
i
i xxn?
.)(1?,?
1
22?
n
i
i XXnX?m分别为
2?m 的最大似然估计 量，因此得
,1?
1
n
i
i xxnm 代入后一式可得由前一式解得
)(2 1
ln2)2(ln2ln
1
2
2
2
n
i
ix
nnL
m?
从而
,0)()(2 12ln
,0][1ln
1
2
2222
1
2
n
i
i
n
i
i
xnL
nxL
m
m?m
令
2 - 47
的最大似然估计量。和：的一个样本值。求是来自区间上的均匀分布，服从设例
baX
xxbaX n
,,],[.15 1?
其他，
的密度函数为解：
,0
,
1
)(
bxa
ab
xfX
,,1,,
)(
1
),;,,(
,,
1
1
ibxa
ab
baxxL
xx
inn
n 本值，似然函数为（不全相等）是一组样设无解，不存在驻点，由于方程组
0
)(
0
)(
1
1
n
n
ab
n
b
L
ab
n
a
L
2 - 48
2.4.2 最大似然估计的性质,
,m ax?m i n? ii xbxa
ba
,
是的极大似然估计量分别、所以的最大似然估计。是则的最大似然估计中参数形式已知的密度函数是又设具有单值反函数的函数设
)(u)?uu?,
))(;(?,u
),u(),(uu
(
fxfXU
1)
,m ax,m i n,iii xbxabxa 应该有由于考虑边界上的点，
取到最小值，取到最大值当且仅当而 abL?
取到最大值。时当 Lxbxa ii m a x,m i n
2 - 49
,1)()(
)(l o g)(l o g
)(
)()(l o g)()()2
xhxfP
xhExfE
xfX
dxxhxfxhxf
”成立，当且仅当在上述不等式中“
，则为概率分布的频率函数以若随机变量
。场合，积分代表求和）存在有限（在离散分布为两个频率函数，且和设
n
i
i XXn
1
2)(1
的极大似然估计量是不变性，根据极大似然估计量的等等。的极大似然估计量是类似地,
n
i
i XXn
1
22 )(1lnln?
n
i
i XXn
1
222 )(1 的极大似然估计量是例如，在正态密度下
2 - 50
2.5 矩方法与最小二乘法
2.5.1 矩估计法,
)
)
)
,
,
22
11
k21kk
k2122
k2111
kk
n
1i
l
ilk21
l
l
k21
A,A,(Af
A,A,(Af
A,A,(Af
A
A
A
k) 2,1,(l
X
n
1
A,,)E(X
lX ),,,F( x ;
X
M
M
m
m
m
m
可解出,
假定从方程组。
的函数。记也是阶原点矩的则的分布函数为设总体叫矩估计法。知参数的办法这种估计未
kk 分别称为,...,,
,...,?,?
2121 的矩估计，
2 - 51
注,
1.之所以可用样本矩作为相应的总体矩的估计量,
用样本矩的连续函数作为相应的总体矩的连续函数的估计量,其原因在于样本矩 Ak 依概率收敛于相应的总体矩,而样本矩的连续函数依概率收敛于相应的总体矩的连续函数。
,B
,E (X )]-E [X,2
kk
k
kk
m
估计然后用也可以用中心矩某些
2 - 52
.,,X,X,X
,,0,
X 1.
2
n21
22
2
的矩估计求是一个样本又设均未知但且都存在及方差的均值设总体例
m
m
m
例 16,
.
2
n
1i
i
2
n
1i
2
i
2
12
2
1
2
2
22
1
2222
2
1
.)X-X(
n
1
X-X
n
1
-AA?
,XA?
,Aμσ,A
,]E ( X )[D ( X ))E ( X
,E ( X )
,
m
mm
mm
mm
的矩估计为：和则 令解
)( XV ar
2 - 53
).
()2(
)1(
,.,,,,
,0
,0,
x)-6 x (
f ( x )
X,2
21
3
D
XXX
x
n
； 的矩估计量未知参数 求：
为取自该总体的样本。
其它，
的概率密度函数为：设总体例
例 17.
.)?(?V a r
.5/)
(
,
20
)]([)()(,
20
6
)(
,
2
)(,
)(
4)(4)
()2(
2
,2
,
2
,
2
)()1(
2
2
22
2
2
nD
XEXEXDXE
XE
n
XD
XDD
XX
XXE
从而
所以而 因为；＝的矩估计量为 故未知参数＝解得
＝ 令 容易计算出解
)?(?V ar
)(XVar
)(4)?( XVa rVa r因为
)( XVar
2 - 54
， 解之得：故得：
解
,X
n
1
3
,X
2
,
3
dx
1
x)E (X
,
2
dx
1
xE (X ),
n
1i
2
i
2
2
21
2
1
2
1
2
2
21
2
1
2
22
2
1
2
21
1
21
1
.2
X?,}XXn1{12? 212/12
n
1i
2
i2
的矩估计。，求
其它，
若有均匀分布密度：设例
21
211
2
,0
],,[,
1
f ( x )
X,3
x
)(xf
例 18.
2 - 55
2.5.2 最小二乘法最小二乘法是一种常用的方法，最常见于线性模型。
考虑如下模型,
随机误差。的方差为，是均值为的已知函数，为为未知参数，其中满足下列模型设样本
...0,,,1
,,,1)(
,,,1,)(
:,,
2
1
diinie
ni
nieY
YY
i
i
iii
n
m
m
n
i
ii
ii
ii
YQ
y
Y
1
2
)()?(
)(
.)(,
达最小。即达最小。使得每一个差我们希望估计值为由模型计算出的理论为一个样本实测值即
m?
m?
m
估计。为的最小二乘估计，简记称为 LS
2 - 56
估计。估计就是的布时，
正态分曲线拟合，当误差服从的方法，其思想来源于数广泛应用的估计均值参最小二乘法是一种得到
MLLS?
的最小值。、求关于估计就转化为对的求时，当
10
1
2
10
10
)?(
,,,1,)(
m
n
i
ii
ii
xYQ
LS
nix?
02
02
1
10
1
1
10
0
n
i
iii
n
i
ii
xxY
Q
xY
Q
2 - 57
xx
xy
S
S
xY
LS
10
估计为由此方程组可以解得
n
i
i
n
i
i xnxYnY
11
11,其中
n
i
iixy
n
i
ixx YYxxSxxS
11
2 ))((,)(
例 4 （见教材 P84例 2.5.8）
2 - 58
2.6 贝叶斯估计所定义的函数。是由的贝叶斯估计量为损失，那么再设的条件密度，时，是已知设的条件密度，进一步时，已知是的密度，设为的随机样本，是来自密度设
),,(
);
(
),,(
),,()(
)(,,
1
1
1
1
n
n
n
n
xxd
l
Xxxh
X
xxgp
xfXX
定义
极小化。它使 dpdRdREdB )();();()(
2 - 59
ii xnx
n
xx
n
xxg
X
xxf
XX
)1(),,(
10;1,0;)1()(
,,1 9,
1
1
1
的条件密度是，时，因而，已知的随机样本，
是来自密度设例
,10,1)(
,)?(),?( 2
p
l
以的密度是均匀密度，所进一步假定即假定损失是平方误差，
)!1(
])![(])![(
)1(),,(
)1(),,,(
1
0
1
1
n
xnx
dxxk
xxq
ii
xnx
n
xnx
n
ii
ii
且
2 - 60
10,
])![(])![(
)1(
)!1(),,( 1
ii
xnx
n xnxnxxh
ii
所以极小化。
它使来定义的函数，需寻求一个由
d
xnx
n
xxv
xxd
ii
xnx
n
n
ii
1
0
2
1
1
])![(])![(
)1()!1(
)?(
),,;?(
),,(?
)3)(2(
)1()2(
2
1
2?
])![(])!3[(
])!2[(])!1[(
])![(])!2[(
])!1[(])!1[(
2?
),,;?(
2
2
1
nn
xx
n
x
xn
xn
xn
xn
xxv
iii
i
i
i
i
n
2 - 61
计量。也即是此题的贝叶斯估是它的解的导数等于零来获得，对可用值极小化的的函数使作为
2
1
),,;?(
1
n
x
v
xxvx
i
n
)2(
2
1
2/
)(
2
1
2/
1
)(
2
1
1
222
2
)2(
1
)2(
1
),,(
2
1
)(
1,,2
mmm
m
m
m
nxx
n
x
n
n
x
n
iii
ee
xxg
exf
XX
那么的随机样本，
的正态密度是来自方差为设例
2 - 62
mmm
mm
m
m
m
mm
m
dxnnx
xxk
xnnx
xxq
ep
in
n
in
n
]2)1[(
2
1
e x p
2
1
e x p
)2(
1
),,(
]2)1([
2
1
e x p
)2(
1
),,(
2
1
)(
22
2/)1(
1
22
2/)1(
1
2
2
和则有
，
的密度是是随机变量，且假定把积分里的指数配成平方，上式变成
2 - 63
mm dn xnnn xnx in
2
2/1
22
2
2/ 1)1(2
1e xp
)2(
1
12
1e xp
)2(
1
所以大括弧里的量是,)1( 21n
)1(2
1e x p
)2()1(
1),,( 222
2/2/11 n
xnx
nxxk inn
)1(2
1
e x p
)2()1(
1
]2)1([
2
1
e x p
)2(
1
),,(
22
2
2/2/1
22
2/)1(
1
n
xn
x
n
xnnx
xxh
in
in
n
mm
m?
2 - 64
1
1
,
1
),,(
1
)1(
2
1
e x p
)2(
)1(
)1(1
2
)1(
2
1
e x p
)2(
)1(
1
2
2/1
2/1
2
22
2
2/1
2/1
nn
xn
Nxxh
n
xn
n
n
n
xn
n
xn
n
n
n
～即?m
m
m
m
mmmmm
m?
mmmmm
dxxhxxv
xxv
l
nn
n
),,()?(),,;?(
),,;?(
)?(),?(
1
2
1
1
2
值。极小化的使那么贝叶斯估计量就是的平方误差损失函数为假定
2 - 65
2
22
2
2
2
21
21
)1(1
1
1
2
1
)1(
2
1
e x p)?(
)2(
)1(
n
xn
nn
xn
du
n
xn
n
n
m
m
mmm
得值，解方程极小化的要求使
,0
1
2?
2
),,;?(
),,;?(
1
1
n
xnxxv
xxv
n
n
m
m
m
mm
.
1
1
,
1
1
1
1
1
n
i
i
n
i
i
X
n
x
nn
xn
mm
m
的贝叶斯估计量是 第 2章结束
第 2 章 点 估 计 法
2.1 基本概念问题的一般提出,
。统称为估计，简记为的估计值。为）（的估计量、为
）（称。来估计未知参数）（值
，用它的观察）（量要构造一个适当的统计点估计问题就是是相应的一个样本值。
的一个样本，是待估计的参数，
是为已知，的分布函数设总体
,,
,,
,,
,,
,,
,,
);(
1
11
1
1
1
n
nn
n
n
n
xx
XXxx
XX
xx
XXX
xFX
2 - 2
);();( xfxFX 或～总体
2.1.1 点估计的定义定义 2.1.1
的估计值。的值就称为样本的值时，当给定的一个点估计。就称为的真值，则去估计如果用围。有相同的维数与取值范为一统计量，与维或多维）未知参数，为总体分布的（设
1
nXX,，样本?1
抽取 去估计
)(? 1 nXX,，统计量
构造点估计的基本思想是：
2 - 3
).,,(g
),,(g
);(
,,
1
1
1
n
n
n
XX
XX
XF
XX
记为的一个估计量，称其为则的一个估计，可作为若统计量为参数空间，为未知参数，其中
。其分布函数为是总体的一个样本，设即
,),,(?
,,
1
1
的估计值称为是样本的一个观察值。若
n
n
xxg
xx
注,也可用分布律或密度函数代替,);(?XF
2 - 4
2.1.2 无偏估计量对同一参数可以构造多个不同的点估计量去估计，
如何评价估计量的优劣，需要建立评价估计量优劣的标准 。估计量是随机变量，对于不同的样本值就会得到不同的估计值，希望估计值在未知参数真值左右徘徊，即使它的数学期望等于未知参数的真值,这就导致了无偏性这个标准。
即 估计量的数学期望等于被估计的参数。
定义 2.1.2
))?((
.?,,)?(
,),,( 1
称为估计的系统误差的无偏估计量是则称若的估计量为设
E
E
XX n?
2 - 5
无偏估计。
的总是服从什么分布，特别，不论总体 )X(EXX
例 1,存在，又设阶矩的设总体m kk )1k()X(EkX
的一个样本，是总体n21 XX,...,X,X
n1
的无偏估计。阶总体矩是 k
样本矩阶论总体服从什么分布,?
1i
k
ik XnAk试证明不同分布，故有与证明,XX,...,X,X n21
.n,...,2,1i,)X(E)X(E kkki?m
。即有 )X(En1)A(E k
n
1i
k
ik m
2 - 6
例 2,证明 是 的无偏估计量。)( XVar2S
][])([
1
22
1
2
n
i
i
n
i
i XnXEXXE证明：
n
i
i XnEXE
1
22 )()(
,)]()([)]()([ 22 XEXV a rnXEXV a rn
的无偏估计量。是 )(,)()( 22 XVarSXVarSE?\
而,)()(,)()( nXVarXVarXEXE
)()1(])([
1
2 XVarnXXE
n
i
i\?
2 - 7
计。估好无偏估计不一定是）（
般不唯一。对可估参数无偏估计一）（
。无偏估计不一定总存在注
3
2
)1(:
这种方法称为无偏化。
即可。乘以只需要用要使其变为无偏估计,2
1
B
n
n
的估计量，作为如果用知，又由
)(
)(1)(
2
2
XVa rB
XVa r
n
nBE
的无偏估计量。为就可化为无偏估计，即以乘时只需将，要将其化为无偏估计为常数的估计量，且有是一般地，若
C1C1
)0C(
,C)(E
2 - 8
2.1.3 均方误差准则差。是由下式给出的均方误考虑，最常用的标准由于数学处理上的方便响，可以对它求期望，为排除样本随机性的影在实际中是不可行的，直接使用这种自然度量随机性，是未知的，样本又具有由于是个自然度量，评价该估计好坏的一估计假设用
,
定义 2.1.3
2)?(),?(
,
EM S E
的均方误差定义为的一个估计，为为一个一维未知参数设
2 - 9
2
2
)?()?(?
)?(),?(
EEE
EM S E
)?(),?(.
.
,),?(
V a rM S E
M S E
则有则后一项为的无偏估计，是如果平方另一个是估计的偏差的一个是估计量的方差，是由两个量迭加而成
0
22 )?()?()?(?2)?( EEEEEE
2)?()?(?2 EEE?
)?()?(),?( EV a rM S E
0)?()?()?(2 EEE
2 - 10
2.1.4 相合估计及相合渐近正态估计
.
,
,)?(,
,),,(
,
1
这就是相合性概念时通常可以做到这一点但当任意小对所有某一就不可能做到对估计假设用关的估计量是与样本容量有
n
MS En
XX
n
nnn
定义 2.1.4
.?
依概率收敛到时，当布，样本分布族中的任一分若对给定的相合估计，称为待估参数估计量
n
n
n
2 - 11
0?l i m0
n
n
P有对任意
，相合估计满足：根据依概率收敛的定义估计”。相合估计又译作“一致的强相合估计。是称时，当的弱相合估计。是称时，当
,.?
,?
san
n
n
p
n
在统计研究中一般所指的相合性均是指弱相合性，不满足相合性要求的估计一般不予考虑。
2 - 12
tnttp
X
X
UXX
nn
nn
nn
n
0,);(
),0(,,.3
1
1
的密度函数为则的常用估计，是最大次序统计量的一个样本，是来自设例
,0
,
,)1()(
另外由于对任意的的渐进无偏估计但它是的无偏估计，不是因此解：易求出
nn
nn
X
nnXE
2 - 13
的相合估计。是因此
，根据依概率收敛的定义
nn
n
n
n
nnnnnn
X
ndt
nt
XPXPXP
,
)(0
)()(
0
1
必须至少为多少。达到一定精度，
本身不能说明为使是没有意义的，相合性
，相合性意有限的估计量的性质，而对任时映了当必须指出相合性只是反
n
n
n
n
2 - 14
定义 2.1.5
.)()1,0(
,0
,l i m,0
dN
n
n
n
n
n
n
n
使得其中满足若存在一串的相合渐进正态估计，称为估计量相合渐进正态估计简称为 CAN估计态分布。最常用的渐进分布是正来。分布的渐进方差反映出进往往可以由估计量的渐是有差异的。这种差异不止一个，它们之间事实上，相合估计可以
2 - 15
存在，若对任一参数由中心极限定理的一个估计量是的一个样本，是来自设例
)(,)(
)1(,0)(
,
),1(,,.4
1
1
gg
NXn
nXX
BXX
L
n
i
i
n
的渐进正态估计。是则有
)()(
)1()]([,0)()( 2
gXg
gNgXgn L
2 - 16
的相合估计。也是且其渐近方差是的渐近正态估计，是
，）（则，取如
)()Xg(
,
)1(
11
1)(
1
)(
3
2
g
n
X
X
gg
定理 2.1.1 CAN估计一定是相合估计。
（证明见教材 P54）
2 - 17
2.2 无偏估计的方差下界估计。简称为一致最小无偏估计，则这个估计就称为方差一致地小，
其他无偏估计的方差都偏估计，其方差比任意一个无为可估参数，可以找到不唯一，设计时，可估参数的无偏估当样本容量
U M V U
g
n
)(
1
2 - 18
.0);(
),,(
),0(,,.5
1
1
1
tnttp
XXM a xX
UXX
nn
nnn
n
，
密度函数为为充分统计量，其分布由因子分解定理知的一个样本，是来自设例
.
1
1
)(
0
估计的是故
，因的完备统计量。也是因而的，易验证该分布族是完备
U M VUX
n
n
n
n
dt
nt
XE
X
nn
n
n
nn
nn
2 - 19
2.1.1 一维参数无偏估计的方差界存在的任一无偏估计，是
）样本的频率函数为
。一维参数的分布族只依赖于一个设
)()()?(
,;,,(
,,
1
1
ggg
XXf
XX
nn
n
的方差下界。为
）
且称 )?(;,,(ln
)(
2
1
2
g
XXf
E
g
nn
2
1
2;,,(ln
)(
))?((
）
则
nn XXfE
g
gV a r
2 - 20
2
1
2;,,(ln
)(
))?((
）
若
nn XXfE
g
gV a r
偏估计的达到最小方差界的无是则称 )()?( gg
(参见教 P55- P57)
,0);(l o g
)(
nn XfE
,)();()(? )()()(S nnnn gdxxfxg
S S nnnnn dxffdxf 0l o g )()(,1);( )()(S nnn dxxf?
2 - 21
S S nnnnn gdxffgdxfg )(l o g )()(
)();(l o g)(?
)(
)(?
gXfXgE nnn
)();(l o g,)(?c o v
)(
)(?
gXfXg nnn
);(l o gv a r)(?v a r)]?([ )()(2 nnn XfXgg
,l o gl o gv ar
2
nn fEf
2
2
l og
)())?(v ar (
nfE
gg
2 - 22
2
1
4
2
1
4
2
2
1
2
1
1ln
n
XV a r
nXE
X
n
E
f
E
n
i
i
n
i
i
n
i
i
n
,
1
),,,(
.,,.6
1
1
1
n
i
X
nn
n
i
eXXf
i i dXX
则的指数分布，服从均值为，设样本例
)(
ln
)( 2
2
2
XV a r
nf
E
g
n
\
估计。的是的无偏估计是 U M V UXX \,?
1)(g
2
1
1 1
ln,1lnlnln
n
i
i
n
n
i
n
i
i
i
n
X
nfXnXf
2 - 23
2
2
2;(ln
)(
）Xf
nE
g
的方差下界。为 )?(?g
,且称
2
2
2
1;(ln
)(
))
((
,)()()
(,;(
,,,
）
则存在的任一无偏估计，是）
。总体的分布函数为数且只依赖于一个一维参是独立同分布的分布族设样本
Xf
nE
g
gV a r
gggXf
XX
n
偏估计的达到最小方差界的无是则称 )()?( gg
2
2
2;(ln
)(
))?((
）
若
Xf
nE
g
gVa r
2 - 24
1)(1),(ln
222
2
\ XEXEXfE
)?(
),(ln
)(
1)(
2
2
2
V a r
nXf
nE
g
g
\
.? 估计的即为 UM V UX\
),!l n (ln),(ln,
!
),(
.)()?(
,,)()?(
xxxfe
x
xf
n
XDD
XXEE
x
又的无偏估计量。而为知证 由
)( XVa r?Var
估计。的为试证是来自该总体的样本，～总体设例
UM V UX
XXPX n
,,,)(.7 1?
2 - 25
2.1.2 多维参数无偏估计的方差界称为费希尔信息阵阶对称方阵记上的一个开区域，维参数，取值于为
，其中设样本分布有频率函数
)(
),,();(
1
)(
n
k
T
k
n
n
Ik
Rk
xf
的方差阵，，，
向量它实际上是一阶偏导数
T
k
nnn fff
lnlnln
1
ji
n
ijkkijn
fEIII
ln)()()(
2
其中
2 - 26
有一阶偏导数，且它的各分量关于列向量维待估参数为设是正定矩阵。因而对任意
,)(
)(,,)()( 1
kp
pggg Tp
）下有下面的不等式、、条件（条件则在类似于一维场合的的方差阵为记的无偏估计。为设
)()()(
),?(?
)(?,, 1
cba
gVa rg
gggg
T
p
)()()()?( 1 Tn AIAgV a r
,)()()(
j
i
ij
gaAkp
矩阵记
2 - 27
都是未知参数，和其中的一个样本，是来自设例
2
2
1 ),(,,.8
m
mNXX n?
n
i
Xn
i
in
i
eXff
1
2
)(
1
2 2
2
2
1),;(? m
m
,ln,2 )(ln22ln2ln 22
2
1
2
2
2
m?
m nfXnnf nn
i
i
n
46
1
2
22
2
4
1
2
2
2
)(
)(
ln,
)(
)(
ln
m
m
m
n
X
f
X
f
n
i
i
n
n
i
i
n?
.0
)(
ln
,
2)(
ln
,
ln
2
2
422
2
22
2
\
mm
nnn fEnfEnfE
2 - 28
n
nI
n
nI
nn 4
2
1
4
2
20
0)(,
20
0)(
于是有
2
2
2
)(
2
2
2
1
),;(
),(
m
m
m?
X
eXf
因总体分布密度函数为在本例中，若证
22
24
2
2
2
)()(
2
1
2
)(
)(
,
)(
lnln
)(
ij
T
T
IXSVa rI
XX
XS
ff
XS
m
m
m
，
，
2 - 29
4
2
4
2
2
0
0
)()(
2
1
0
0
1
)(
n
n
nIII n同样有
)1,0()(,)0,1()(,,22m?m? AA 对对
nnnAIAgV a r Tn 2421 0120 001)()()()?(
nnnAIAgV a r Tn 4421 21020 010)()()()?(
0212 )(
2
1
2
1
2
)(,1
24
2
22112
424
2
222211
÷
m
m
m
m
XXEII
XVarIXVarI其中
2 - 30
2.3 UMVU估计与充分完备统计量
2.3.1 充分统计量与无偏估计定理 2.3.1
1?)(
,)(v a r)?(v a r
,)(v a r)?(v a r
)()(
,
)(?)(
,
gThP
Thg
Thg
gThT
T
ggg
k
当且仅当成立，”对于某个使得在上述不等式中“
的无偏估计，为的函数存在一个一定为一个充分估计量，则无偏估计的一个为设为（一维）待估函数。
维参数，取值于为决定样本分布的设
( 证明及推论见教材 P65— 66 )
)()(
)()(
,)()()(?
II
gTh
III
T
gT
即：
立，的充分估计量时等号成为当此定理等价于
2 - 31
,
20
0
)(8
),(,,.9
4
2
2
2
1
m?
m
n
n
I
NXX n
知）由例，（记的一个样本，是来自设例?
22
2
121
2
21
2
1
,
2
1
),(
,),(),()(
m
nn
GTnNTTT
sXTTXT
～～独立，且与则定义统计量
222
2
1
2
1
1
2
1
2
2
1
2
2
)(
221
21
2
1
2
1
1
2
);,(
),(
t
nn
n
tn
T et
n
n
e
n
ttp
TT
m
的联合密度函数为故
2 - 32
),(
2
1
ln
2
1
2
)(
ln
2
1
);,(ln
2122
2
2
2
12
21
ttct
nntn
ttp T
m
无关。和与
）（
其中
2
2
21
2
1
ln
2
1
ln
2
3
2
1
ln2ln
2
1
ln
2
1
),(
m
nn
t
nn
n
ttc
4
2
2
1
222
1
2
)1()(
2
ln,)(ln
m
m
m
tntnnptnp TT
2 - 33
.)1()(2)( ln 6 2
2
1
422
2
m
tntnnp T
。一致与有 )(20 0)( 4
2
InnI T
2.3.2 完备统计量
。的完备统计量称为分布族则则一定有足条件，对任一函数满统计量设对某样本布族
FTThP
ThE
TFF
,,10)(
,,0)(
,,
定义 2.3.1
,)(ln,ln 412
2
22
2
m
mm
tnpnp TT
2 - 34
构成一个完备函数族。是必然事件，则的数学期望，的数学期望等于或者说的完备统计量。为为必然事件。
一定有的数学期望等于零，则即是
FTgTh
TgTh
T
ThTh
)()(
)()(
0)()(
F
。的极小方差无偏估计量是
，则使得且存在
，的频率函数族是完备的若充分估计量
。族构成一个完备函数族完备统计量的频率函数
)()?(
)()?()?(
uv
uvEv?
2.3.3 充分完备统计量与 UMVU估计如果一个统计量既是充分的又是完备的，就称为充分完备统计量。基于充分完备统计量的无偏估计一定是 UMVU估计。
2 - 35
定理 2.3.2
估计。的唯一的为则的无偏估计量存在，是充分完备统计量。若即的意义下）估计（在唯一的为的统计量则一定存在一个基于有无偏估计，为待估参数，若，完备统计量为充分设对某样本布族
U M V UgTh
gT
PU M V U
gThT
gg
TFF
)()(
)(
1
)(,)(
)()(
,,
的无偏估计。为则密度为的分布为充分统计量，极大统计量为未知参数，设例
n
Xn
n
n
XExxn
XX
UXX
nn
nn
nn
nnnn
i i d
n
)1(
1
,0
0),0(~,,.10
1
1
2 - 36
估计。的为，完备统计量为所以也即即
U M V U
n
Xn
XhP
badxxxh
nn
nn
n
b
a
)1(
X010)(
00)(
nn
1
n
i
n
i
ii
i i d
n XXTTTNXX
1 1
2
21
2
1,),(,),(,,.11?m～设例?
估计的和为分别和的函数。因此且都是的无偏估计，，是和是充分完备统计量，而
U MVU
SXTTT
SX
2
2
21
22
),(
m
m
定理 2.3.3
为完备统计量。，则和条件中的且满足引理设样本分布为指数族，
),,()2()1(
1.2.1
1 nTTT
00)()()( 10 dxxxhXhEXh nnnnn 满足即设
2 - 37
估计。界的的未达到是估计；界的的达到是
U MVURC
nn
SVa r
U MVURC
n
XVa r
2
44
2
2
2
1
2
)(
)(
m
2.4 极大似然估计
2.4.1 极大似然估计
n
i
ki
nn
kk
xf
XXXXX
xf
X
1
1
11
11
,),,;(
,,,,
,,,),,;(
,
联合密度函数为的的一个样本，则是是待估计的参数，其中设它的密度函数为对于连续型的总体
2 - 38
为样本的似然函数。
称对于给定的一组样本值的一个样本，是待估计的参数，
是其中设它的分布律为对于离散型的总体
n
i
kikn
n
n
kk
xpxxL
xx
XXX
xpxXP
X
1
111
1
1
11
,),,;(),,;,,(
,,,
,,
,,,),,;(
,
为样本的似然函数。
称对于给定的一组样本值
n
i
kikn
n
xfxxL
xx
1
111
1
,),,;(),,;,,(
,,,
2 - 39
定义 2.4.1
估计。简记为的最大似然估计量
）称为参数（，，）（
相应的统计量的最大似然估计值，而分别为取得最大值，则称在如果似然函数
ML
XXXX
xxL
knkn
k
kk
kn
.
,,,,?,,?
,,
,,,,?
),,;,,(
1111
1
11
11
的估计值。作为取到最大值的参数值较大，将使因而是参数值使的函数，是常数，它是参数似然函数而言，
较大，可是对大，即似然函数的值比取到这组值的概率比较以认为经发生的随机事件，可是一组样本值，它是已发生，件比概率小的事件易于根据经验，概率大的事的函数似然函数是待估参数注：
k
k
kn
n
k
LL
xx
xx
,,
,,
,,,,
,,
.2
.,,.1
1
1
11
1
1
2 - 40
2.4.2 最大似然估计的求解方法,
从上述方程组解得,?,,?,? k21
,0L
,0L
,0L
k
2
1
M
必须满足,?,,?,? k21
由微积分的知识可知，
由于 lnL与 L同时达到最大值
,0Lln
,0Lln
,0Lln
k
2
1
M
来代替上式,故可用方程组
2 - 41
例 12.设 服从,是来自 的一个样本,求参数 的最大似然估计量。
X ),1( pB nXX,,1? X
p
似然函数为是一组样本观察值，则设的分布律为由题意知解
n
xx
xx
xppxXPX
,,
.1,0,)1(
,:
1
1
,)1()1(pL(p)
1
1x 11i ppp
xnxn
i
x
n
i
i
n
i
i
i
p),-)ln(1-(n)lnp(L(p)ln
11
xx
n
i i
n
i i
而
2 - 42
XXnpp
n
i
i
1
1?的最大似然估计量为而
xxnpp
n
i
i
1
1?的最大似然估计值为解得
,01)(lndpd 11 p
xn
p
x
pL
n
i i
n
i i?
令
2 - 43
1
1
,,1
,0
10,)1(
)(
.13
n
n
eE
XX
xx
xf
及的最大似然估计量求是取自该总体的样本。，其中未知参数其他函数为：设总体分布的概率密度例
),l n ()1l n (ln
,0
1,,,0,)()1(
),(),(
21
2121
1
n
nn
n
n
xxxnL
xxxxxx
xfxfL
\
其它
解 似然函数为：
2 - 44
.1
)l n (
,1
)l n (
,0)l n (
1
ln
21
21
21
n
n
n
XXX
n
xxx
n
xxx
n
d
Ld
＝－
的最大似然估计量为：所以，
＝－解得
令
.
2
1
)1()(
,
2
1
)]([).,,(
.,,
1
0
1
21
1
21
1
dxxXE
XEXXXEE
XXX
n
n
n
n
n
n
e
e
其中
所以
，＝又因为
2 - 45
的最大似然估计量。求的一个样本值。是来自为未知参数，～设例
2
1
22
,
,,
,,),(.14
m
m?m
Xxx
NX
n?
n
i
i
nn
n
i
i
x
xL
1
2
2
2
2
2
1
2
2
2
)(
2
1
e x p
1
2
1
)(
2
1
e x p
2
1
),(
m
m
m似然函数为
2
2
2 )(
2
1
e x p
2
1
),;( m
m xxf
X 的概率密度为解：
2 - 46
1 n,)(?
1
22?
i
i xxn?
.)(1?,?
1
22?
n
i
i XXnX?m分别为
2?m 的最大似然估计 量，因此得
,1?
1
n
i
i xxnm 代入后一式可得由前一式解得
)(2 1
ln2)2(ln2ln
1
2
2
2
n
i
ix
nnL
m?
从而
,0)()(2 12ln
,0][1ln
1
2
2222
1
2
n
i
i
n
i
i
xnL
nxL
m
m?m
令
2 - 47
的最大似然估计量。和：的一个样本值。求是来自区间上的均匀分布，服从设例
baX
xxbaX n
,,],[.15 1?
其他，
的密度函数为解：
,0
,
1
)(
bxa
ab
xfX
,,1,,
)(
1
),;,,(
,,
1
1
ibxa
ab
baxxL
xx
inn
n 本值，似然函数为（不全相等）是一组样设无解，不存在驻点，由于方程组
0
)(
0
)(
1
1
n
n
ab
n
b
L
ab
n
a
L
2 - 48
2.4.2 最大似然估计的性质,
,m ax?m i n? ii xbxa
ba
,
是的极大似然估计量分别、所以的最大似然估计。是则的最大似然估计中参数形式已知的密度函数是又设具有单值反函数的函数设
)(u)?uu?,
))(;(?,u
),u(),(uu
(
fxfXU
1)
,m ax,m i n,iii xbxabxa 应该有由于考虑边界上的点，
取到最小值，取到最大值当且仅当而 abL?
取到最大值。时当 Lxbxa ii m a x,m i n
2 - 49
,1)()(
)(l o g)(l o g
)(
)()(l o g)()()2
xhxfP
xhExfE
xfX
dxxhxfxhxf
”成立，当且仅当在上述不等式中“
，则为概率分布的频率函数以若随机变量
。场合，积分代表求和）存在有限（在离散分布为两个频率函数，且和设
n
i
i XXn
1
2)(1
的极大似然估计量是不变性，根据极大似然估计量的等等。的极大似然估计量是类似地,
n
i
i XXn
1
22 )(1lnln?
n
i
i XXn
1
222 )(1 的极大似然估计量是例如，在正态密度下
2 - 50
2.5 矩方法与最小二乘法
2.5.1 矩估计法,
)
)
)
,
,
22
11
k21kk
k2122
k2111
kk
n
1i
l
ilk21
l
l
k21
A,A,(Af
A,A,(Af
A,A,(Af
A
A
A
k) 2,1,(l
X
n
1
A,,)E(X
lX ),,,F( x ;
X
M
M
m
m
m
m
可解出,
假定从方程组。
的函数。记也是阶原点矩的则的分布函数为设总体叫矩估计法。知参数的办法这种估计未
kk 分别称为,...,,
,...,?,?
2121 的矩估计，
2 - 51
注,
1.之所以可用样本矩作为相应的总体矩的估计量,
用样本矩的连续函数作为相应的总体矩的连续函数的估计量,其原因在于样本矩 Ak 依概率收敛于相应的总体矩,而样本矩的连续函数依概率收敛于相应的总体矩的连续函数。
,B
,E (X )]-E [X,2
kk
k
kk
m
估计然后用也可以用中心矩某些
2 - 52
.,,X,X,X
,,0,
X 1.
2
n21
22
2
的矩估计求是一个样本又设均未知但且都存在及方差的均值设总体例
m
m
m
例 16,
.
2
n
1i
i
2
n
1i
2
i
2
12
2
1
2
2
22
1
2222
2
1
.)X-X(
n
1
X-X
n
1
-AA?
,XA?
,Aμσ,A
,]E ( X )[D ( X ))E ( X
,E ( X )
,
m
mm
mm
mm
的矩估计为：和则 令解
)( XV ar
2 - 53
).
()2(
)1(
,.,,,,
,0
,0,
x)-6 x (
f ( x )
X,2
21
3
D
XXX
x
n
； 的矩估计量未知参数 求：
为取自该总体的样本。
其它，
的概率密度函数为：设总体例
例 17.
.)?(?V a r
.5/)
(
,
20
)]([)()(,
20
6
)(
,
2
)(,
)(
4)(4)
()2(
2
,2
,
2
,
2
)()1(
2
2
22
2
2
nD
XEXEXDXE
XE
n
XD
XDD
XX
XXE
从而
所以而 因为；＝的矩估计量为 故未知参数＝解得
＝ 令 容易计算出解
)?(?V ar
)(XVar
)(4)?( XVa rVa r因为
)( XVar
2 - 54
， 解之得：故得：
解
,X
n
1
3
,X
2
,
3
dx
1
x)E (X
,
2
dx
1
xE (X ),
n
1i
2
i
2
2
21
2
1
2
1
2
2
21
2
1
2
22
2
1
2
21
1
21
1
.2
X?,}XXn1{12? 212/12
n
1i
2
i2
的矩估计。，求
其它，
若有均匀分布密度：设例
21
211
2
,0
],,[,
1
f ( x )
X,3
x
)(xf
例 18.
2 - 55
2.5.2 最小二乘法最小二乘法是一种常用的方法，最常见于线性模型。
考虑如下模型,
随机误差。的方差为，是均值为的已知函数，为为未知参数，其中满足下列模型设样本
...0,,,1
,,,1)(
,,,1,)(
:,,
2
1
diinie
ni
nieY
YY
i
i
iii
n
m
m
n
i
ii
ii
ii
YQ
y
Y
1
2
)()?(
)(
.)(,
达最小。即达最小。使得每一个差我们希望估计值为由模型计算出的理论为一个样本实测值即
m?
m?
m
估计。为的最小二乘估计，简记称为 LS
2 - 56
估计。估计就是的布时，
正态分曲线拟合，当误差服从的方法，其思想来源于数广泛应用的估计均值参最小二乘法是一种得到
MLLS?
的最小值。、求关于估计就转化为对的求时，当
10
1
2
10
10
)?(
,,,1,)(
m
n
i
ii
ii
xYQ
LS
nix?
02
02
1
10
1
1
10
0
n
i
iii
n
i
ii
xxY
Q
xY
Q
2 - 57
xx
xy
S
S
xY
LS
10
估计为由此方程组可以解得
n
i
i
n
i
i xnxYnY
11
11,其中
n
i
iixy
n
i
ixx YYxxSxxS
11
2 ))((,)(
例 4 （见教材 P84例 2.5.8）
2 - 58
2.6 贝叶斯估计所定义的函数。是由的贝叶斯估计量为损失，那么再设的条件密度，时，是已知设的条件密度，进一步时，已知是的密度，设为的随机样本，是来自密度设
),,(
);
(
),,(
),,()(
)(,,
1
1
1
1
n
n
n
n
xxd
l
Xxxh
X
xxgp
xfXX
定义
极小化。它使 dpdRdREdB )();();()(
2 - 59
ii xnx
n
xx
n
xxg
X
xxf
XX
)1(),,(
10;1,0;)1()(
,,1 9,
1
1
1
的条件密度是，时，因而，已知的随机样本，
是来自密度设例
,10,1)(
,)?(),?( 2
p
l
以的密度是均匀密度，所进一步假定即假定损失是平方误差，
)!1(
])![(])![(
)1(),,(
)1(),,,(
1
0
1
1
n
xnx
dxxk
xxq
ii
xnx
n
xnx
n
ii
ii
且
2 - 60
10,
])![(])![(
)1(
)!1(),,( 1
ii
xnx
n xnxnxxh
ii
所以极小化。
它使来定义的函数，需寻求一个由
d
xnx
n
xxv
xxd
ii
xnx
n
n
ii
1
0
2
1
1
])![(])![(
)1()!1(
)?(
),,;?(
),,(?
)3)(2(
)1()2(
2
1
2?
])![(])!3[(
])!2[(])!1[(
])![(])!2[(
])!1[(])!1[(
2?
),,;?(
2
2
1
nn
xx
n
x
xn
xn
xn
xn
xxv
iii
i
i
i
i
n
2 - 61
计量。也即是此题的贝叶斯估是它的解的导数等于零来获得，对可用值极小化的的函数使作为
2
1
),,;?(
1
n
x
v
xxvx
i
n
)2(
2
1
2/
)(
2
1
2/
1
)(
2
1
1
222
2
)2(
1
)2(
1
),,(
2
1
)(
1,,2
mmm
m
m
m
nxx
n
x
n
n
x
n
iii
ee
xxg
exf
XX
那么的随机样本，
的正态密度是来自方差为设例
2 - 62
mmm
mm
m
m
m
mm
m
dxnnx
xxk
xnnx
xxq
ep
in
n
in
n
]2)1[(
2
1
e x p
2
1
e x p
)2(
1
),,(
]2)1([
2
1
e x p
)2(
1
),,(
2
1
)(
22
2/)1(
1
22
2/)1(
1
2
2
和则有
，
的密度是是随机变量，且假定把积分里的指数配成平方，上式变成
2 - 63
mm dn xnnn xnx in
2
2/1
22
2
2/ 1)1(2
1e xp
)2(
1
12
1e xp
)2(
1
所以大括弧里的量是,)1( 21n
)1(2
1e x p
)2()1(
1),,( 222
2/2/11 n
xnx
nxxk inn
)1(2
1
e x p
)2()1(
1
]2)1([
2
1
e x p
)2(
1
),,(
22
2
2/2/1
22
2/)1(
1
n
xn
x
n
xnnx
xxh
in
in
n
mm
m?
2 - 64
1
1
,
1
),,(
1
)1(
2
1
e x p
)2(
)1(
)1(1
2
)1(
2
1
e x p
)2(
)1(
1
2
2/1
2/1
2
22
2
2/1
2/1
nn
xn
Nxxh
n
xn
n
n
n
xn
n
xn
n
n
n
～即?m
m
m
m
mmmmm
m?
mmmmm
dxxhxxv
xxv
l
nn
n
),,()?(),,;?(
),,;?(
)?(),?(
1
2
1
1
2
值。极小化的使那么贝叶斯估计量就是的平方误差损失函数为假定
2 - 65
2
22
2
2
2
21
21
)1(1
1
1
2
1
)1(
2
1
e x p)?(
)2(
)1(
n
xn
nn
xn
du
n
xn
n
n
m
m
mmm
得值，解方程极小化的要求使
,0
1
2?
2
),,;?(
),,;?(
1
1
n
xnxxv
xxv
n
n
m
m
m
mm
.
1
1
,
1
1
1
1
1
n
i
i
n
i
i
X
n
x
nn
xn
mm
m
的贝叶斯估计量是 第 2章结束
