§ 6.2 估计量的评价标准
6.2.1 无偏估计
定义6.2 设是参数(
n
XXX,...,

2,1
θθ = )θ的估计量，如果
( ) θθ =
E （6.3）
则称是θ
θ的无偏估计（量）。
如果有θ的一列估计()
nnn
XXX,..,,

,21
θθ = ( ),,...2,1=n满足关系式
( ) θθ =
∞→
n
n
E
lim （6.4）
则称是
n
θ
θ的渐近无偏估计（量）。
一个估计量如果不是无偏估计量，就称这个估计量是有偏的，且称θ
( ) θθ?
E
估计量的偏差。无偏性虽然是评价估计量的一个重要标准，而且在许多场合是合理的，必要的。然而，有时一个参数的无偏估计可能不存在。例如，设总体
θ
X～
(1,)θN,则θ就没有无偏估计。有时无偏估计可能明显不合理。例如，设X
1
是来自泊松总体()λP的一个样本，可以证明( )
1
2
X
是的无偏估计，但这个无偏估计明显不合理，因为当X取奇数值时，估计值为负数，用一个负数估计明显不合理，有时对同一个参数可以有而后内多个无偏估计，如上例。这些说明仅有无偏性要求是不够的。
λ2?
e
1
λ2?
e
于是，人们又在无偏性的基础上增加了对方差的要求。若估计量的方差越小。
表明该估计量的取值（即估计值）围绕着待估参数的波动就越小，也就是更为理想的估计量。为此，引入最小方差无偏估计。
6.2.2小方差无偏估计
定义 6.3 设均为
21

θθ和θ的无偏估计量，若对任意样本容量有 n
( )
1
θD ( )
2
θD< () 5.6
则称有效。如果存在
21

θθ比θ的一个无偏估计量，使对
0
θ θ的任意无偏估计量，
都有
θ
( ) ( )θθ

0
DD ≤ ()6.6
1
则称 是
0
θ θ的最小方差无偏估计（量），缩写为。 MVUE
定理 6.1 ( )不等式CramerRao? 设H是实数轴上的一个开区间，总体X的分布密度为()θ;xp，H∈θ，( )
n
XX,X,...,
21
是来自总体X一个样本，
是参数
=
n
XXX,...,,

21
θθ θ的一个无偏估计量，且满足条件,
）（1 集合 S (){}0; ≠θxpxdef 与θ无关；
）（2
()
θ
θ
;xp
存在且对H中一切θ有
()
()
()()=
=
=
∫∫∫∫
∞+
∞?
∞+
∞?
∞+
∞=
∞+
∞?
nn
dxdxLxxxdx
xp
dxxp,..,...,,
...;
121
θθ
θθ
θ
θ
θ
()()
nn
dxdxLxxx,..,...,,
...
121
θ
θ
θ
∫∫
+∞
∞?
+∞
∞?
其中()θL (
∏
=
=
n
i
xp
1;θ)；
I())3( θ def
( )
0;ln
2
>
θ
θxp
E （6.7）
则对一切H∈θ，有
()
()θ
θ
nI
D
1
≥ （6.8 ）
不等式（6.8） 的右端项称为罗—克拉美下界，( )θI 称为Fisher信息量，还可证明
()θI的又一表达式为
()θI
( )
=
2
2;ln
θ
θXp
E (6.9)
式(6.9)有时比式（6.7）更易于计算，但必须满足( ) 0>θI
值得注意的是，对于离散总体情形，设总体X的分布律为
}{ ( )θ;xpxXP ==
且满足类似上述定理的条件，则罗—克拉美不等式依然成立。满足罗—克拉美不等式成立的条件的估计称为正规估计。从而，若为正规估计且θ
( )θ
D达到罗
2
—克拉美下界，即( )θ
D =1/ ()[]则必为θ的最小方差无偏估计。
X
2
θnI θ
6.2.3 有效估计
定义 6.4 设是θ
θ的任一无偏估计量，称
( )θ
e
()
()θ
θ
1
D
nI
def
（6.10）
为估计量的效率。 θ
显然θ的任一无偏估计量的效率 θ
( ) 1
=θe （6.11）
则称为θ
θ的有效估计（量），如果
( ) 1
lim =
∞→
θe
n
(6.12)
则称为θ
θ的渐近有效估计（量）。
由式（6.10）和式（6.11）可知，如果为θ
θ的有效估计，则它也是最小方差无偏估计。但反之却不一定成立。
6.2.4相合估计（一致估计）
我们不仅要求一个估计量是无偏的，且有较小的方差，还希望当样本容量n
充分大时，估计量能在某种意义下收敛于被估计参数，这就是所谓相合性（或一致性）概念。
定义6.6 设是未知参数()
nnn
X θ的估计序列，如果依概率收敛于
n
θ
θ，即对任意0>ε，有
X,...,,

1
θθ =
{ } 1
lim =<?
∞→
εθθ
n
n
P { }( )0
lim =≥?
∞→
εθθ
n
n
P
则称是
n
θ
θ的相合估计（量）（或一致估计量）。
定理6.2 设是
n
θ
θ的一个估计量，若
( ) θθ =
∞→
n
n
E
lim 且 ( ) 0
lim =
∞→
n
n
Dθ
则是
n
θ
θ的相合估计（或一致估计）。
证明 由于
3
{ }εθθ ≥?≤
n
P
0 ( )
2
2
1
θθ
ε
≤
n
E
( ) ( )[]
2
2

1
θθθθ
ε
+?=
nnn
EEE
= ( )() ( )( ) ( )( )()()
++? θθθθθθθθ
ε
nnnnnn
EEEEE

2

1
2
2
= () ( )( )
+
2
2

1
θθθ
ε
nn
ED
令 且有定理的假设，得 ∞→n
{ } 0
lim =≥?
∞→
εθθ
n
n
P
即的相合估计。 θθ是
n
例6.12 设总体X的一阶和二阶矩存在,分布是任意的,记μ=)(XE,,
则样本均值
2
)( σ=XD
X是μ的无偏估计,样本方差是的渐进无偏估计,修正样本方差是无偏估计,
2
n
S
2
δ
2
n
S
2
δ
证明 由式（5.7）知 μ=)( XE,
22
1
)( σ
n
n
SE
n
=,
2
)(
2
σ=
n
SE
所以,X和均为无偏估计量,而
2
n
S
222
1
lim)(lim σσ =
=
∞→∞→
n
n
SE
n
n
n
故是的渐进无偏估计,
2
n
S
2
σ
例6.13 设总体X服从区间[0,θ ]上的均匀分布,)是总体,,(
21 n
XXX"X的一个样本,试证,参数θ是矩估计量=2
1
θ X是θ的无偏估计；θ的最大似然估计
= =是
L
θ
ni
i
X
≤≤1
max
)(n
X θ的渐进无偏估计,
证明 θ
θ
θ =×====
2
2)(2)(2)2()
(
1
XEXEXEE，故θ的矩估计是无偏估计量,由例5.4知
1
θ
≤≤
=
其他0
0
1
)(
θ
θ
xx
n
p
n
n
X
n
于是
∫
+∞
∞?
== dxxxpXEE
nXnL
)()()
(
)()(
θ
4
θθ
θ
θ
≠
+
==
∫
1
0
n
n
dxx
n
n
n
所以是
L
θ
θ的有偏估计量,但是
θθθ =
+
=
∞→∞→
1
lim)
(lim
n
n
E
n
L
n
即是
L
θ
θ的渐进无偏估计,
虽然是
L
θ
θ的有偏估计量,但只要修正为
)(2
1
1
nL
X
n
n
n
n +
=
+
= θθ
那么也是
2
θ θ的无偏估计量,
由此可知,一个未知参数可能有不止一个无偏估计量.其实,由和还可以构造出无穷多个无偏估计量,例如,设
1
θ
2
θ
1
α和
2
α为满足1
21
=+αα的任意常数,则
+都是无偏估计量,
2211

θαθα +
例6.14设总体X服从区间[0,θ ]上的均匀分布是总体),,(
21 n
XXX"X的一个样本.由例6.13知,矩估计X2
1
=θ和修正的最大似然估计
)(2
1
n
X
n
n
+
=θ均为θ的无偏估计,和哪个更有效？
1
θ
2
θ
解
nnn
XD
XDXDD
312
4)(
4)(4)2()
(
22
1
θθ
θ =====
=
+
=
+
= )(
)1(
)
1
()
(
)(
2
2
)(2 nn
XD
n
n
X
n
n
DD θ
]))(()([
)1(
2
)(
2
)(
2
2
nn
XEXE
n
n
+
由例6.13知
θ
1
)(
)(
+
=
n
n
XE
n
而
2
0
1
)(
2
)(
2
)()( θ
θ
θ
+
===
∫∫
+
∞+
∞?
n
n
dxx
n
dxxxpXE
n
n
nXn
于是,得
22
2
2
2
2
2
2
)2(
1
]
)1(2
[
)1(
)
( θθθθ
+
=
+
+
+
=
nnn
n
n
n
n
n
D
5
显然当 时 2≥n
)
(
)2(3
)
(
2
22
1
θ
θθ
θ D
nnn
D =
+
>=
即比有效,
2
θ
1
θ
例6.15 设是来自泊松分布),,(
21 n
XXX")(λP (λ >0)的一个样本,试证X是λ
的最小方差无偏估计,
证明 X的分布律为
);(
!
}{ λ
λ
λ
xpe
x
xXP
def
x
===
λ== )()( XEXE
n
XD
n
XD
λ
== )(
1
)(
!lnln);(ln xxxp= λλλ
因此
22
]1[]
);(ln
[)(?=
=
λλ
λ
λ
X
E
xp
EI =
22
2
2
)(
1
][
1
λ
λ
λ
λ
λ
==? XDXE =
λ
1
故有
nnI
XD
λ
λ
==
)(
1
)(
即X的方差达到了罗-克拉美下界,所以,X是λ的最小方差无偏估计,
例6.16 总体X的分布密度为
≤
>
=
00
0
1
);(
x
xe
xp
x
θ
θ
θ
θ >0为未知参数,为总体),,(
21 n
XXX"X的样本,证明=θ
X是θ的最小方差无偏估计,
证明 =dxxxpXE
j
∫
+∞
∞?
= )()( θ dxe
x
x
θ
θ
∞+
∫
0
=θ
=dxxpxXE
j
∫
+∞
∞?
= )()(
22
θ dxe
x
x
θ
θ
∞+
∫
0
2
=2
2
θ
6
=2 - =
22
)()()( EXXEXD?=
2
θ
2
θ
2
θ
故
n
XD
n
XD
2
)(
1
)(
θ
==
而
θ
θθ
x
xp
j
= ln)(ln
=+?=
=
2
2
2
]
1
[)
);(ln
()(
θθθ
θ
θ
X
E
Xp
EI
24
2
4
1
)(
1
][
1
θθ
θ
θ
==? XDXE
所以
nnI
XD
2
)(
1
)(
θ
θ
==
即X的方差达到罗-克拉美下界,所以,X是θ的最小方差无偏估计,
例 6.17 设是来自正态总体的一个样本,证明),,(
21 n
XXX"),(
2
σμN X是μ的有效估计量；是的渐进有效估计量,
2
*
n
S
2
σ
证明 总体X的分布密度为
2
2
2
)(
2
2
1
),;(
σ
μ
σπ
σμ
=
x
exp
2
2
22
2
)(
ln
2
1
2ln),;(ln
σ
μ
σπσμ
=
x
xp
所以
=
==
2
2
2
2
][]
),;(ln
[)(
σ
μ
μ
σμ
μ
X
E
d
Xpd
EI
24
2
4
1
)(
1
)(
1
σσ
μ
σ
==? XDXE
而
2
1
)(
1
)( σ
n
XD
n
XD ==
故有
n
n
XD
nI
Xe
2
2
)(
)](/[1
)(
σ
σ
μ
==
即X是μ的有效估计.由于
2
2
2
2
1
),;(ln
σ
σμ
σ
=
xp +
4
2
2
)(
σ
μ?x
7
4
2
22
2
1
),;(ln
)( σ
σμ
σ
=
xp -
6
2
)(
σ
μ?x
根据式(6.9)
=
= )],;(ln
)(
[)(
2
22
2
2
σμ
σ
σ XpEI
6
2
)(
σ
μ?XE
-
4
2
1
σ
=
4
2
1
σ
又由例6.12知是的无偏估计,并且由定理5.8
2
*
n
S
2
δ
)1(~
)1(
2
2
*
2
n
Sn
n
χ
σ
再由分布的性质1知
2
χ
)1(2]
)1(
[
2
*
2
=
n
Sn
D
n
σ
因此
1
2
)(
4
*
2
=
n
SD
n
σ
所以
1
1
)1(
2
2
)(
)(
1
)(
4
4
*
2
*
2
2
→
=
==
n
n
n
n
SD
nI
Se
n
n
σ
σ
σ
)( ∞→n
即是的渐进有效估计量.由于
2
*
n
S
2
σ )(
2
*
n
Se ≠ 1,不是的有效估计量,但是可以证明是的最小方差无偏估计,
2
*
n
S
2
σ
2
*
n
S
2
σ
例 6.18 设总体,)为总体),(~ pNBX,,(
21 n
XXX"X的一个样本,试证
X
N
p
1
=是的有效估计量,p
证明 总体X的分布律为
);()1(}{ pxPppCxXP
def
xNxx
N
=?==
)1ln()(lnln);(ln pxNpxCpxP
x
N
++=
所以
=
==
22
]
1
[]
)(ln
[ln)(
p
XN
p
X
E
dp
pXPd
PpI
j
8
=
=?
22
2
22
)1(
)(
][
)1(
1
pp
XD
NpXE
pp
)1()1(
)1(
22
pp
N
pp
pNp
=
又
p
N
Np
XE
N
XE
N
X
N
EpE ===== )(
1
)(
1
)
1
()?(
=====
n
XD
N
XE
N
XE
N
X
N
DpD
)(1
)(
1
)(
1
)
1
()?(
222
Nn
pp
nN
pNp )1()1(
2
=
所以
1
)?(
)]([
1
)?( ==
pD
pnI
pe
即=p?
N
1
X是的有效估计量 p
例 6.19 若总体X的和存在,则样本均值)(XE )(XD X是总体均值的相合估计,
)(XE
解 )()( XEXE =
0
)(
lim)(lim ==
∞→∞→
n
XD
XD
nn
一般地,样本的k阶原点矩
∑
=
=
n
i
k
ik
X
n
A
1
1
是总体X的阶原点矩的相合估计.由此可见,矩估计往往是相合估计,
k )(
k
XE
例6.20 设总体X的二阶矩存在,总体),,(
21 n
XXX"X的样本,试证,,2,1"=n
∑
=
+
=
n
i
in
iX
nn
1
)1(
2
μ
是总体均值μ的相合估计,
证明 =
+
=
+
=
∑∑
==
)(
)1(
2
)
)1(
2
()?(
11
n
i
i
n
i
in
XiE
nn
iX
nn
EE μ
μμμ =
+
+
=
+
∑
=
2
)1(
)1(
2
)1(
2
1
nn
nn
i
nn
n
i
9
=
+
=
+
=
∑∑
==
)()
)1(
2
()
)1(
2
()?(
1
22
1
n
i
i
n
i
in
XDi
nn
iX
nn
DD μ
=
+
∑
=
)(
)1(
4
1
2
22
n
i
i
XDi
nn
=
++
+
)(
6
)12)(1(
)1(
4
22
XD
nnn
nn
0
)1(3
)12(2
→
+
+
nn
DXn
)( ∞→n
所以
n
μ?是μ的相合估计,
10