第七章 参数估计
点估计
矩估计
最大似然估计
估计量的评选标准
区间估计
均值的估计
方差的估计
§ 7.1 点估计一、参数估计的概念 (p177)
总体 X的分布函数为 F(x;θ),θ为未知参数,X
1
,
…
,X
n
是 X的一个样本,x
1
,
…
,x
n
是相应的样本值
).,,(g
1 n
XX L=θ? 点估计问题：构造统计量用它的观察值 ).,,(g
1 n
xx L=θ
作为未知参数 θ的近似值。
),,(
1 n
XX Lθ
,θ的估计量
),,(
1 n
xx Lθ
,θ的估计值
∧
θ
统称估计简记为
由于 g(x
1,
…
x
n
) 是实数域上的一个点，现用它来估计 θ,故称这种估计为点估计。
对于不同的样本值,θ的估计值一般是不同的。
点估计的经典方法是矩估计法与极大似然估计法。
二、矩估计法（简称,矩法,）
各阶原点矩
∑
=
=
n
i
i
X
n
A
1
2
2
1
μ
k
=E(X
k
)
总体样本
μ
2
=E(X
2
)
μ
1
=E(X
1
)
∑
=
=
n
i
k
i
k
X
n
A
1
1
∑
=
=
n
i
i
X
n
A
1
1
1
1
以样本矩作为相应的总体矩的估计量。
样本矩的连续函数 →总体矩的连续函数原理：p160-161
矩估计的方法：
（1）写出总体的 E(X),E(X
2
)等（表达式中含有要估计的参数）。
（2）将上述 E(X),E(X
2
)等看成方程或方程组，解出未知参数（用 E(X),E(X
2
)等表达）。
（3）将样本矩A
1
代替 E(X)，A
2
代替 E(X
2
)等，并整理，得到未知参数的矩估计量。
（4）将矩估计量中大写的 X改称小写的 x，即得矩估计值。
μ
1
=E(X
1
)=E(X)
XX
n
A
n
i
i
==
∑
=1
1
1
1
μ
2
=E(X
2
)=D(X)+[E(X)]
2
P179 例3：设X
1
,
…
,X
n
为取自正态总体 的样本，
求参数 的矩估计。
2
,σμ
),(
2
σμN
注：
,),,(~,,
1
babaUXX
iid
n
<L
P178 例2：设求a,b的矩估计量注：无论总体是何种分布，设总体期望、方差存在，则 E(X)的矩估计量为
X=μ
D(X)的矩估计量为
∑∑
==
=?=
n
i
i
n
i
i
XX
n
XX
n
1
2
1
22
1
)(
1
σ
证明见P179 例3。
三、最大似然估计法
1、最大似然思想有两个射手，一人的命中率为0.9,另一人的命中率为0.1,现在他们中的一个向目标射击了一发，结果命中了，估计是谁射击的？
一般说，事件A发生的概率与参数 θ∈Θ有关,θ取值不同，则P(A)也不同。因而应记事件A发生的概率为P(A| θ).若A发生了，则认为此时的 θ值应是在 Θ中使P(A| θ)达到最大的那一个。这就是最大似然思想的最大似然估计。求参数设 ppbXX
iid
n
),,1(~,,
1
L
解：设x
1
,x
2
,…,x
n
是样本值。X的分布律为：
LL,)1(}{
22
1
22
xx
ppxXP
==
11
1
11
)1(}{
xx
ppxXP
==
1,0,)1(}{
1
=?==
xppxXP
xx
于是
},,,{
2211 nn
xXxXxXP === L
}{}{}{
2211 nn
xXPxXPxXP ==== L
nn
xxxx
pppp
=
11
)1()1(
11
L
记为 L(p)
独立这一概率值 L(p)随 p的取值而变化。因为 X
1
=x
1
,
X
2
=x
2
,…,X
n
=x
n
已经得到，即事件 X
1
=x
1
,
X
2
=x
2
,…,X
n
=x
n
已经发生，所以可以认为
∏
=
==
===
n
i
xx
nn
ii
pppL
xXxXxXP
1
1
2211
)1()(
},,,{ L
在p的取值范围内是最大的，所以通过计算 p为何值时,L(p)最大，就可求出 p的估计。
求导 →求 p为何值时 L(p)最大。
取对数 →方便求导。
具体过程见P182，例4。
为样本的为样本的 似然函数 。
∏
=
==
Θ∈
n
i
in
iid
n
xpxxLL
xpXX
1
1
1
);();,,()(
,),;(~,,
θθθ
θθ
L
L
称设离散型：
∏
=
=
n
i
i
xfL
1
);()( θθ
注,x
1
,x
2
,…x
n
是已知的样本值，为常数。
连续型：
连续型,似然函数 的定义为：
∏
=
==
Θ∈
n
i
in
iid
n
xfxxLL
xfXX
1
1
1
);();,,()(
,),;(~,,
θθθ
θθ
L
L设
∏
=
=
n
i
i
xfL
1
);()( θθ
似然函数
总体X为离散型时,L(θ)是事件{ X
1
=x
1
,…,X
n
=x
n
}发生的概率。
,);()(
1
∏
=
=
n
i
i
xpL θθ
总体X为连续型时，设点 （ x
1
,…,x
n
）的领域为边长分别为 dx
1
,…,dx
n
的 n 维立方体。
随机点（ X
1
,…,X
n
）该领域内的概率近似为：
。
∏
=
n
i
ii
dxxf
1
);( θ
∏
改变，不随但 θ
i
dx
)();(
1
θθ Lxf
n
i
i
=
∏
=
故只需考虑函数
,
^
Θ∈θ
定义：若有
),()(max)(
^
θθθ
θ
θ
LSupLL
Θ∈
Θ∈
==
或使得则称 为 θ的最大似然估计.
∧
θ
的是有关，常记为与这样得到的
θθ
θ
),,,(
,,
21
21
n
n
xxx
xxx
L
L
最大似然估计值的是 θθ ),,(
21 n
XXX L
最大似然估计量
3、求极大似然估计的步骤
(1) 写出似然函数
(2) 取对数，写出
)(ln θL
0
)]([ln
=
θ
θ
d
Ld
(3) 列对数似然方程若该方程有解，则其解就是 θ的最大似然估计值。
),,(
1 n
xx Lθθ =
,);()(
1
∏
=
=
n
i
i
xpL θθ
∏
=
=
n
i
i
xfL
1
);()( θθ
注 1：若概率函数中含有多个未知参数，则可解方程组
.,,1,
0
ln
,0
^
mj
LL
j
j
jj
L=
=
=
θθ
θθ
的最大似然估计得出各个或
p183 例5：正态分布两个参数的最大似然估计注 2：最大似然估计具有下述性质：
若 是未知参数 θ的最大似然估计，
g(θ)是 θ的严格单调函数，
则 g(θ)的最大似然估计为 g( ),
∧
θ
∧
θ
2
2
σσ
σ
的最大似然估计为：标准差为：设方差的最大似然估计应用1：
应用2：求概率值的最大似然估计。
例：设总体服从参数为 λ的指数分布,X
1
,…,X
n
为样本，a>0为一给定实数。求 P{X<a}的最大似然估计。
解：先求参数 λ的极大似然估计。
≤
>
=
00
0,
1
)(
1
x
xe
xf
x
λ
λ
≤
>?
=
00
0,1
)(
1
x
xe
xF
x
λ
.1
1)()(
X
a
a
ep
eaFaXPp
=
==<=
λ
.
0
1)(ln
1
ln)(ln
11
)(
1
2
1
1
1
1
X
x
n
d
Ld
xnL
eeL
n
i
i
n
i
i
x
n
n
i
x
ii
=
=+?=
=
∑
=
=
∑
∑
∏
=
=
=
λ
λλλ
λ
λ
λλ
λλ
λ
λλ
再求概率值的估计注 3：由似然方程解不出 θ的似然估计时，可由定义通过分析直接推求
)(max θ
θ
L
Θ∈
例：p183例6
例：设X
1
,
…
,X
n
为取自 U(0,θ)总体的样本,θ>0未知，求参数 θ 的极大似然估计。
考题：P93，填充题9。
设总体的概率分布为利用样本值3,1,3,0,
3,1,2，求得极大似然估计中的似然函数
L(θ)=
X 0 1 2 3
P θθ(1-θ) θ
2
1-2θ
(1-2θ)[θ(1-θ)](1-2θ)θ(1-2θ)θθ
2
§7.3 估计量的评选标准点估计问题：构造统计量 ).,,(g
1 n
XX L=θ
).,,(g
1 n
xx L=θ
作为未知参数 θ的近似值。
用它的观察值
),,(
),,(
11 nn
XXXXg LL θθ ==
是随机变量X
1
,…,X
n
的函数，所以它也是随机变量。
估计量
∴估计量 有自己的期望,方差 。
θ
)
(θE )
(θD
评选标准分别就估计量的期望、方差、收敛性来讨论哪些估计量是“好的”。
一、无偏性
.,)(
)(,),,(
^^
^
1
^^
的无偏估计量是则称存在，且若的估计量为设
θθθθ
θθθθ
=
=
E
EXX
n
L
的估计的系统误差。作为：以 θθθθ
)
(?E
无偏估计的实际意义就是无系统误差。
由 P168 (2.19)(2.20) 式 可得：
.
1
)(
1
),()(
1
1
)(
),()(
2
1
2
2
1
22
σ
σ
μ
n
n
XX
n
E
XDXX
n
ESE
XEXE
n
i
i
n
i
i
=?
==?
=
==
∑
∑
=
=
1,是总体期望 E(X)的无偏估计 。
X
2
S
是总体方差 D(X)的无偏估计 。
,0设
1
θ),U(~,X,X
iid
n
L思考题：
*考察 θ的矩估计和极大似然估计的无偏性
2.k阶样本矩是k阶总体矩的无偏估计。 (p189例1)
注：一个未知参数可以有不同的无偏估计量。(p189例2)
解：矩估计：
.)(2)(2)
(
.2
,,
2
)(
1
θθ
θ
θ
===
=∴==
XEXEE
XXAXE
θ的矩估计量是无偏的。
最大似然估计：由p183例6，
i
ni
X
≤≤
=
1
max
θ
() ( ) )()()(,)()(
1
xfxFnxfxFxF
X
n
X
n
X
==
因为X
i
独立，与X同分布，所以 的分布函数、密度为：
≥
<<
≤
=
<<
=
θ
θ
θ
θ
θ
x
x
x
x
xF
others
x
xf
XX
1
0
00
)(
0
0
1
)(
<<=
=
others
x
nxx
n
xf
n
n
n
0
0
1
)(
)(
1
1
θ
θθθ
θ
∫∫
+
===
∞
∞?
θ
θ
θ
θ
0
1
1
)()
(
n
n
dx
nx
xdxxxfE
n
n
所以,θ的最大似然估计量不是无偏估计量，
是有偏的。
二、有效性
.),()(,
),,(),,(
2
^
1
^
2
^
1
^
1
2
^
2
^
1
1
^
1
^
有效较则称若有的两个无偏估计分别是参数与设
θθθθθ
θθθθ
DD
XXXX
nn
<
== LL
例：设 X~N(μ,σ
2
),X
1
,X
2
,X
3
为样本，则
)2(
4
1
3212
XXX ++=μ
)(
3
1
3211
XXX ++=μ
是 μ的 估计量,比 有效。
的无偏估计。都是解,μμμμμμ
2121
,)
()
( ∴== EE
有效。比
21
2
2
2
1
,
8
3
)
(,
3
1
)
( μμσμσμ ∴== DD
的无偏估计。是解：
2
222
2
2
1
2
2
2
1
22
2
2
1
2
2
2
1
,)()()(
)()(
,)()(,
σ
σσ
σ
Z
baSbESaE
bSaSEZE
SESEbSaSZ
∴
=+=+=
+=∴
==+=
最小。使、并确定的无偏估计量。是，，、
。试证对任意常数、方差为两个独立样本。其样本的、中抽取容量为、分别从总体
)(,
1
),(),(*
22
2
2
1
2
2
2
1
21
2
2
2
1
ZDba
bSaSZbaba
SS
nnNN
σ
σμσμ
+==+
（2）
。于是可得最小，令要使
2
1
,
2
1
,0)(')(
)(
1
2
1
2
)1(
)()()(
,
1
2
)(,
1
2
)(
21
1
21
2
2
4
2
1
4
2
2
2
22
1
2
2
4
2
2
1
4
2
1
+
=
+
=
=
=
+
=
+=∴
=
=
nn
n
a
nn
n
b
bgZD
bg
n
b
n
b
SDbSDaZD
n
SD
n
SD
σσ
σσ
Q
注：此式即为Sw中的系数。
设 分别为取自总体X的容量为 n
1
,n
2
的两个样本的样本均值，求证：对任意实数 a>0,b>0,a+b=1，
统计量 都是 E(X)的无偏估计，并求 a,b
使 D(Y)达到最小。
21
,XX
21
XbXaY +=
类似题：p210/EX 12
21
2
21
1
,
nn
n
b
nn
n
a
+
=
+
=答案：
三、相合性（一致性）
),,,(
21 n
XXX Lθ
设 为参数 θ的估计量，若对于任意的,当n →∞时，
依概率收敛于 θ，则称 为 θ的相合估计量.
Θ∈θ
),,,(
21 n
XXX Lθ
θ
注：若估计量不具有相合性，那么不论将样本容量n取得多么大，都不能将 θ估计的足够精确
.1}|
{|lim,0 =<?>?Θ∈?
∞→
εθθεθ P
n
都满足：
*例：设 已知0<p<1,求p的极大似然估计，并讨论所求估计量的一致性。
),,(
~
1
pmBXX
iid
n
，,L
的相合估计量。是由切比雪夫不等式，
，
p
n
m
n
mpq
m
XD
mmpXPpX
m
P
n
mpq
XDmpXEXE
MLE
2222
p
)(,11
)(
1
}{
1
.)(,)()(0
∴
∞→→?=?≥
<?=
<?
===>?
εε
εε
εQ
.
1
p
MLE
X
m
=
解：由p208 EX2(3):
§7.4 区间估计一、概念
θθ,
αθθθ?=<< 1}{P
),( θθ
点估计：得到参数 θ的近似值。但估计值会随样本值的不同而改变。另外，人们在测量或计算时，
常不以得到近似值为满足，还需估计误差。
区间估计：在一定的可靠程度下，指出被估计的总体参数的可能的数值范围 ——
找两个统计量,
使这个区间以较大的概率包含参数的真值。即：
置信区间 定义 p191
设总体X的分布函数 F(x;θ)含有未知参数 θ，对于给定值 α（0< α<1),若由样本X
1
,
…
,X
n
确定的两个统计量，使则称随机区间 为 θ的置信度为1?α的置信区间。
θθ,
αθθθ?≥<< 1}{P
),( θθ
注,F(x;θ)也可换成概率密度或分布律。
α：预先给定的一个小正数。1- α：置信度，置信水平双侧置信区间的置信下（上）限
:）（ θθ
X为连续型随机变量，按
αθθθ?≥<< 1}{P
αθθθ?=<< 1}{P
X为离散型随机变量，按且尽可能接近1- α
αθθθ?≥<< 1}{P
的含义：
以相同的样本容量反复抽样多次，每次得到一区间。
在这些区间中，包含 θ的真值约为 100(1- α)%，不包含 θ的真值约仅为 100 α%。
或：对某个区间而言，“它包含 θ的真值”，这一陈述的可信程度为1- α
注2：
注1：
同一个总体，相同的样本容量，同一置信水平下，
置信区间的大小表示估计的精确性。
区间短，估计的精度高；区间长，估计的精度低。
§ 7.5 正态总体参数的区间估计
.1
,,),(
1
2
1
~
置信区间的求出
，，由观测值给定，，，设
αμ
ασμ
n
iid
n
xxNXX LL
1,σ
2
已知
αμμ?=+<<? 1}{ bXaXPX 的关系，与由
αμ?=<?<? 1}{ aXbP
α
σσ
μ
σ
=
<
<
1
/// n
a
n
X
n
b
P
α/2
α/2
2
α
z?
2
0
α
z
1-α
可取
2
α
z?
2
α
σ
z
n
ba ==
)1,0(~
X
U N
n
σ
μ?
=Q
α
σσ
μ
σ
=
<
<
1
/// n
a
n
X
n
b
P
2
α
z
αμ?=+<<? 1}{ bXaXP
解得公式,μ的置信度为1?α的置信区间为
),(
2/2/ αα
σσ
z
n
Xz
n
X +?
645.1
05.0
2
==zz
α
96.1
025.0
2
==zz
α
常用的分位点,（自证，见p61）
α=0.01
α=0.1
α=0.05
58.2
005.0
2
==zz
α
1-α= 0.99
1-α= 0.95
1-α= 0.90
(证明：p192)
(1-θ)α
θα
αθ)1(?
z
θα
z0
1-α
注,μ的1?α置信区间不唯一。
),(,10
)1( θααθ
σσ
θ z
n
Xz
n
X +?<<?
都是 μ的1?α置信区间。但 θ=1/2
时，即取对称区间时，置信区间的长最短。
α=0.05时，
),(
04.001.0
z
n
Xz
n
X
σσ
+?
),(
025.0025.0
z
n
Xz
n
X
σσ
+?
都是 μ的95%置信区间例：已知总体服从 N(μ,0.01
2
)，抽取16个样本，得到样本均数为2.125，求 μ的置信度为90%的置信区间。
。),(
2/2/ αα
σσ
z
n
Xz
n
X +?
125.2=x
01.0=σ
10.0=α
645.1
05.0
2
== zz
α
)129.2,121.2(),(
2/2/
=+?∴
αα
σσ
z
n
xz
n
x
解：公式为：
是 μ的置信度为90%的置信区间
2、σ
2
未知
)1(~
/
,,?
= nt
nS
X
Tvr
μ
引进
1)}1({
2/
，令 α
α
=?< ntTP
)1(
2
nt
α
)1(0
2
nt
α
1-α
αμ
αα
=
+<< 1)1()1(
22
n
S
ntX
n
S
ntXP
)1,0(~
X
U N
n
σ
μ?
=Q
下限上限
))1(),1( (
22
+ nt
n
S
Xnt
n
S
X
αα
μ的1?α置信区间为
（σ
2
未知）
),(
2
2
α
σσ
α
z
n
Xz
n
X +?（σ
2
已知）
解:
σ未知时,μ的置信度为1?α的置信区间为
。))1(),1((
2/2/
+ nt
n
S
Xnt
n
S
X
αα 125.2=x
017.0=s
10.0=α
7531.1)15()1(
05.0
2
==? tnt
α
)132.2,118.2())1(),1((
2/2/
=?+ nt
n
s
xnt
n
s
x
αα
例,已知总体服从正态分布。抽取16个样本，得到样本均数为2.125，样本标准差为0.017。求 μ的置信度为90%的置信区间。
二、单正态总体方差的置信区间
）的置信区间。（或，推求，观测值
，由，给定置信度，，，设
，
σσ
α?σμ
2
n1
2
iid
n1
xx
1)(NXX
~
L
L
假定 μ未知，
)1(~
1)S-(n
r.v
2
2
2
2
= nχ
σ
χ引进
1-α
2
α
2
α
)1(
2
2
n
α
χ)1(
2
2
1
n
α
χ
分位点定义：
{ } αχχ
α
=>
22
P
2
2
2
2
α
χχ
α
=
>P
绿= α/2
白+兰=1- α/2
2
1
2
2
1
2
α
χχ
α
=
>
P
S
2
的置信度为1?α的置信区间为
αχχχ
αα
=
<<? 1)1()1(
2
2
22
2
-1
nnP
α
χ
σ
χ
αα
=
<<
1
)1(
1)S-(n
)1(
1)S-(n
P
2
2
1
2
2
2
2
2
nn
可得
)1(
1)S-(n
,
)1(
1)S-(n
2
2
1
2
2
2
2
nn
αα
χχ
注：开根号后即得标准差的置信区间。
三、双正态总体均值差的置信区间的置信区间。，求度两样本独立。给定置信
，，，，，，，设
21
2
221
2
111
1
)()(
~~
21
μμα
σμσμ
NYYNXX
iid
n
iid
n
LL
已知
2
2
2
1
,.1 σσ
，，，,)()(
2
2
2
2
1
2
1
1
~~
n
NY
n
NX
σ
μ
σ
μ
，,)(
2
2
2
1
2
1
21
~
nn
NYX
σσ
μμ +
)10(
)()(
~
2
2
2
1
2
1
21
，N
nn
YX
σσ
μμ
+
μ
1
-μ
2
的一个置信水平为1-α的置信区间为：
+±?
2
2
2
1
2
1
2
nn
zYX
σσ
α
22
2
2
1
2
2
2
1
.2 σσσσσ ==未知，但假定、
)2(~
/1/1
)(X
T
21
21
21
+
+
= nnt
nnS
Y
w
μμ
引进可解得 μ
1
-μ
2
的置信区间
( )
21212/
/1/1)2( nnSnntYX
w
+?+±?
α
2
)1()1(
21
2
22
2
11
2
+
+?
=
nn
SnSn
S
w
其中
2
ww
SS =
四、双正态总体方差比的置信区间的置信区间。，求出，，
，，，由观测值度两样本独立。给定置信
，，，，，，，设
2
2
2
1
n1
n1
2
22
iid
n1
2
11
iid
n1
2
1
21
yy;xx1
),(NYY)(NXX
~~
σ
σ
α?
σμσμ
L
L
LL
假定 μ
1
,μ
2
未知
)1,1(~
S
S
F
21
2
2
2
2
2
1
2
1
= nnF
σ
σ
引进
)
)1,1(F
,
1,1(
(
1
21/2-1
2
2
2
1
212/
2
2
2
1
2
2
2
1
nn
SS
nnF
SS
αα
α
σ
σ
）
置信区间的可解得
α
αα
=<< 1)}1,1()1,1(P{F
212/21/2-1
nnFFnn由注意,查表时，
),(
1
),(
12
2
21
2
1
nnF
nnF
α
α
=
§7.7 单侧置信区间双侧 置信区间 满足
αθθθ?≥<< 1}{P
),( θθ
αθθ?≥< 1}{P
如果只要求得到 单侧 置信区间：
),( θ?∞
为单侧置信上限
θ
αθθ?≥> 1}{P
θ
如果只要求
),( +∞θ
得到 单侧 置信区间：
为单侧置信下限定义：p202-203
公式：p205表格下面以方差的单侧置信区间为例进行说明。
1-α
α )1(
2
2
n
α
χ
)1(
2
n
α
χ
1-α
α
σ
2
的单侧置信区间
)1(
1)S-(n
,0
2
1
2
n
α
χ
)1(
1)S-(n
,
)1(
1)S-(n
2
2
1
2
2
2
2
nn
αα
χχ
σ
2
的双侧置信区间注：有些单侧置信区间的另一侧为 ∞。
练习1。考题P151，填充题10。
设 X~N(μ,σ
2
)，其中 μ和 σ
2
均未知。若样本容量和样本值不变，则 μ的置信区间的长度 L与置信水平 1-α的关系是：当 1-α缩小时,L
缩小。
。))1(),1((
2/2/
+ nt
n
S
Xnt
n
S
X
αα
)1(
2
nt
α
。，,↓?=∴↓?↓? )1(
2
)1(1
22
nt
n
S
Lnt
αα
α
练习2。考题P151，填充题11。
设 X~N(μ,σ
2
)，其中 σ
2
已知,μ未知。为使 μ的置信水平为 1-α的置信区间的长度不大于 L，这样本容量 n至少应取
2
2/
2
L
z
α
σ
),(
2
2
α
σσ
α
z
n
Xz
n
X +?
置信区间长度为：
2
2
α
σ
z
n
小结点估计矩估计极大似然估计抽样分布定理 区间估计
p205公式：
总体样本统计量
点估计
矩估计
最大似然估计
估计量的评选标准
区间估计
均值的估计
方差的估计
§ 7.1 点估计一、参数估计的概念 (p177)
总体 X的分布函数为 F(x;θ),θ为未知参数,X
1
,
…
,X
n
是 X的一个样本,x
1
,
…
,x
n
是相应的样本值
).,,(g
1 n
XX L=θ? 点估计问题：构造统计量用它的观察值 ).,,(g
1 n
xx L=θ
作为未知参数 θ的近似值。
),,(
1 n
XX Lθ
,θ的估计量
),,(
1 n
xx Lθ
,θ的估计值
∧
θ
统称估计简记为
由于 g(x
1,
…
x
n
) 是实数域上的一个点，现用它来估计 θ,故称这种估计为点估计。
对于不同的样本值,θ的估计值一般是不同的。
点估计的经典方法是矩估计法与极大似然估计法。
二、矩估计法（简称,矩法,）
各阶原点矩
∑
=
=
n
i
i
X
n
A
1
2
2
1
μ
k
=E(X
k
)
总体样本
μ
2
=E(X
2
)
μ
1
=E(X
1
)
∑
=
=
n
i
k
i
k
X
n
A
1
1
∑
=
=
n
i
i
X
n
A
1
1
1
1
以样本矩作为相应的总体矩的估计量。
样本矩的连续函数 →总体矩的连续函数原理：p160-161
矩估计的方法：
（1）写出总体的 E(X),E(X
2
)等（表达式中含有要估计的参数）。
（2）将上述 E(X),E(X
2
)等看成方程或方程组，解出未知参数（用 E(X),E(X
2
)等表达）。
（3）将样本矩A
1
代替 E(X)，A
2
代替 E(X
2
)等，并整理，得到未知参数的矩估计量。
（4）将矩估计量中大写的 X改称小写的 x，即得矩估计值。
μ
1
=E(X
1
)=E(X)
XX
n
A
n
i
i
==
∑
=1
1
1
1
μ
2
=E(X
2
)=D(X)+[E(X)]
2
P179 例3：设X
1
,
…
,X
n
为取自正态总体 的样本，
求参数 的矩估计。
2
,σμ
),(
2
σμN
注：
,),,(~,,
1
babaUXX
iid
n
<L
P178 例2：设求a,b的矩估计量注：无论总体是何种分布，设总体期望、方差存在，则 E(X)的矩估计量为
X=μ
D(X)的矩估计量为
∑∑
==
=?=
n
i
i
n
i
i
XX
n
XX
n
1
2
1
22
1
)(
1
σ
证明见P179 例3。
三、最大似然估计法
1、最大似然思想有两个射手，一人的命中率为0.9,另一人的命中率为0.1,现在他们中的一个向目标射击了一发，结果命中了，估计是谁射击的？
一般说，事件A发生的概率与参数 θ∈Θ有关,θ取值不同，则P(A)也不同。因而应记事件A发生的概率为P(A| θ).若A发生了，则认为此时的 θ值应是在 Θ中使P(A| θ)达到最大的那一个。这就是最大似然思想的最大似然估计。求参数设 ppbXX
iid
n
),,1(~,,
1
L
解：设x
1
,x
2
,…,x
n
是样本值。X的分布律为：
LL,)1(}{
22
1
22
xx
ppxXP
==
11
1
11
)1(}{
xx
ppxXP
==
1,0,)1(}{
1
=?==
xppxXP
xx
于是
},,,{
2211 nn
xXxXxXP === L
}{}{}{
2211 nn
xXPxXPxXP ==== L
nn
xxxx
pppp
=
11
)1()1(
11
L
记为 L(p)
独立这一概率值 L(p)随 p的取值而变化。因为 X
1
=x
1
,
X
2
=x
2
,…,X
n
=x
n
已经得到，即事件 X
1
=x
1
,
X
2
=x
2
,…,X
n
=x
n
已经发生，所以可以认为
∏
=
==
===
n
i
xx
nn
ii
pppL
xXxXxXP
1
1
2211
)1()(
},,,{ L
在p的取值范围内是最大的，所以通过计算 p为何值时,L(p)最大，就可求出 p的估计。
求导 →求 p为何值时 L(p)最大。
取对数 →方便求导。
具体过程见P182，例4。
为样本的为样本的 似然函数 。
∏
=
==
Θ∈
n
i
in
iid
n
xpxxLL
xpXX
1
1
1
);();,,()(
,),;(~,,
θθθ
θθ
L
L
称设离散型：
∏
=
=
n
i
i
xfL
1
);()( θθ
注,x
1
,x
2
,…x
n
是已知的样本值，为常数。
连续型：
连续型,似然函数 的定义为：
∏
=
==
Θ∈
n
i
in
iid
n
xfxxLL
xfXX
1
1
1
);();,,()(
,),;(~,,
θθθ
θθ
L
L设
∏
=
=
n
i
i
xfL
1
);()( θθ
似然函数
总体X为离散型时,L(θ)是事件{ X
1
=x
1
,…,X
n
=x
n
}发生的概率。
,);()(
1
∏
=
=
n
i
i
xpL θθ
总体X为连续型时，设点 （ x
1
,…,x
n
）的领域为边长分别为 dx
1
,…,dx
n
的 n 维立方体。
随机点（ X
1
,…,X
n
）该领域内的概率近似为：
。
∏
=
n
i
ii
dxxf
1
);( θ
∏
改变，不随但 θ
i
dx
)();(
1
θθ Lxf
n
i
i
=
∏
=
故只需考虑函数
,
^
Θ∈θ
定义：若有
),()(max)(
^
θθθ
θ
θ
LSupLL
Θ∈
Θ∈
==
或使得则称 为 θ的最大似然估计.
∧
θ
的是有关，常记为与这样得到的
θθ
θ
),,,(
,,
21
21
n
n
xxx
xxx
L
L
最大似然估计值的是 θθ ),,(
21 n
XXX L
最大似然估计量
3、求极大似然估计的步骤
(1) 写出似然函数
(2) 取对数，写出
)(ln θL
0
)]([ln
=
θ
θ
d
Ld
(3) 列对数似然方程若该方程有解，则其解就是 θ的最大似然估计值。
),,(
1 n
xx Lθθ =
,);()(
1
∏
=
=
n
i
i
xpL θθ
∏
=
=
n
i
i
xfL
1
);()( θθ
注 1：若概率函数中含有多个未知参数，则可解方程组
.,,1,
0
ln
,0
^
mj
LL
j
j
jj
L=
=
=
θθ
θθ
的最大似然估计得出各个或
p183 例5：正态分布两个参数的最大似然估计注 2：最大似然估计具有下述性质：
若 是未知参数 θ的最大似然估计，
g(θ)是 θ的严格单调函数，
则 g(θ)的最大似然估计为 g( ),
∧
θ
∧
θ
2
2
σσ
σ
的最大似然估计为：标准差为：设方差的最大似然估计应用1：
应用2：求概率值的最大似然估计。
例：设总体服从参数为 λ的指数分布,X
1
,…,X
n
为样本，a>0为一给定实数。求 P{X<a}的最大似然估计。
解：先求参数 λ的极大似然估计。
≤
>
=
00
0,
1
)(
1
x
xe
xf
x
λ
λ
≤
>?
=
00
0,1
)(
1
x
xe
xF
x
λ
.1
1)()(
X
a
a
ep
eaFaXPp
=
==<=
λ
.
0
1)(ln
1
ln)(ln
11
)(
1
2
1
1
1
1
X
x
n
d
Ld
xnL
eeL
n
i
i
n
i
i
x
n
n
i
x
ii
=
=+?=
=
∑
=
=
∑
∑
∏
=
=
=
λ
λλλ
λ
λ
λλ
λλ
λ
λλ
再求概率值的估计注 3：由似然方程解不出 θ的似然估计时，可由定义通过分析直接推求
)(max θ
θ
L
Θ∈
例：p183例6
例：设X
1
,
…
,X
n
为取自 U(0,θ)总体的样本,θ>0未知，求参数 θ 的极大似然估计。
考题：P93，填充题9。
设总体的概率分布为利用样本值3,1,3,0,
3,1,2，求得极大似然估计中的似然函数
L(θ)=
X 0 1 2 3
P θθ(1-θ) θ
2
1-2θ
(1-2θ)[θ(1-θ)](1-2θ)θ(1-2θ)θθ
2
§7.3 估计量的评选标准点估计问题：构造统计量 ).,,(g
1 n
XX L=θ
).,,(g
1 n
xx L=θ
作为未知参数 θ的近似值。
用它的观察值
),,(
),,(
11 nn
XXXXg LL θθ ==
是随机变量X
1
,…,X
n
的函数，所以它也是随机变量。
估计量
∴估计量 有自己的期望,方差 。
θ
)
(θE )
(θD
评选标准分别就估计量的期望、方差、收敛性来讨论哪些估计量是“好的”。
一、无偏性
.,)(
)(,),,(
^^
^
1
^^
的无偏估计量是则称存在，且若的估计量为设
θθθθ
θθθθ
=
=
E
EXX
n
L
的估计的系统误差。作为：以 θθθθ
)
(?E
无偏估计的实际意义就是无系统误差。
由 P168 (2.19)(2.20) 式 可得：
.
1
)(
1
),()(
1
1
)(
),()(
2
1
2
2
1
22
σ
σ
μ
n
n
XX
n
E
XDXX
n
ESE
XEXE
n
i
i
n
i
i
=?
==?
=
==
∑
∑
=
=
1,是总体期望 E(X)的无偏估计 。
X
2
S
是总体方差 D(X)的无偏估计 。
,0设
1
θ),U(~,X,X
iid
n
L思考题：
*考察 θ的矩估计和极大似然估计的无偏性
2.k阶样本矩是k阶总体矩的无偏估计。 (p189例1)
注：一个未知参数可以有不同的无偏估计量。(p189例2)
解：矩估计：
.)(2)(2)
(
.2
,,
2
)(
1
θθ
θ
θ
===
=∴==
XEXEE
XXAXE
θ的矩估计量是无偏的。
最大似然估计：由p183例6，
i
ni
X
≤≤
=
1
max
θ
() ( ) )()()(,)()(
1
xfxFnxfxFxF
X
n
X
n
X
==
因为X
i
独立，与X同分布，所以 的分布函数、密度为：
≥
<<
≤
=
<<
=
θ
θ
θ
θ
θ
x
x
x
x
xF
others
x
xf
XX
1
0
00
)(
0
0
1
)(
<<=
=
others
x
nxx
n
xf
n
n
n
0
0
1
)(
)(
1
1
θ
θθθ
θ
∫∫
+
===
∞
∞?
θ
θ
θ
θ
0
1
1
)()
(
n
n
dx
nx
xdxxxfE
n
n
所以,θ的最大似然估计量不是无偏估计量，
是有偏的。
二、有效性
.),()(,
),,(),,(
2
^
1
^
2
^
1
^
1
2
^
2
^
1
1
^
1
^
有效较则称若有的两个无偏估计分别是参数与设
θθθθθ
θθθθ
DD
XXXX
nn
<
== LL
例：设 X~N(μ,σ
2
),X
1
,X
2
,X
3
为样本，则
)2(
4
1
3212
XXX ++=μ
)(
3
1
3211
XXX ++=μ
是 μ的 估计量,比 有效。
的无偏估计。都是解,μμμμμμ
2121
,)
()
( ∴== EE
有效。比
21
2
2
2
1
,
8
3
)
(,
3
1
)
( μμσμσμ ∴== DD
的无偏估计。是解：
2
222
2
2
1
2
2
2
1
22
2
2
1
2
2
2
1
,)()()(
)()(
,)()(,
σ
σσ
σ
Z
baSbESaE
bSaSEZE
SESEbSaSZ
∴
=+=+=
+=∴
==+=
最小。使、并确定的无偏估计量。是，，、
。试证对任意常数、方差为两个独立样本。其样本的、中抽取容量为、分别从总体
)(,
1
),(),(*
22
2
2
1
2
2
2
1
21
2
2
2
1
ZDba
bSaSZbaba
SS
nnNN
σ
σμσμ
+==+
（2）
。于是可得最小，令要使
2
1
,
2
1
,0)(')(
)(
1
2
1
2
)1(
)()()(
,
1
2
)(,
1
2
)(
21
1
21
2
2
4
2
1
4
2
2
2
22
1
2
2
4
2
2
1
4
2
1
+
=
+
=
=
=
+
=
+=∴
=
=
nn
n
a
nn
n
b
bgZD
bg
n
b
n
b
SDbSDaZD
n
SD
n
SD
σσ
σσ
Q
注：此式即为Sw中的系数。
设 分别为取自总体X的容量为 n
1
,n
2
的两个样本的样本均值，求证：对任意实数 a>0,b>0,a+b=1，
统计量 都是 E(X)的无偏估计，并求 a,b
使 D(Y)达到最小。
21
,XX
21
XbXaY +=
类似题：p210/EX 12
21
2
21
1
,
nn
n
b
nn
n
a
+
=
+
=答案：
三、相合性（一致性）
),,,(
21 n
XXX Lθ
设 为参数 θ的估计量，若对于任意的,当n →∞时，
依概率收敛于 θ，则称 为 θ的相合估计量.
Θ∈θ
),,,(
21 n
XXX Lθ
θ
注：若估计量不具有相合性，那么不论将样本容量n取得多么大，都不能将 θ估计的足够精确
.1}|
{|lim,0 =<?>?Θ∈?
∞→
εθθεθ P
n
都满足：
*例：设 已知0<p<1,求p的极大似然估计，并讨论所求估计量的一致性。
),,(
~
1
pmBXX
iid
n
，,L
的相合估计量。是由切比雪夫不等式，
，
p
n
m
n
mpq
m
XD
mmpXPpX
m
P
n
mpq
XDmpXEXE
MLE
2222
p
)(,11
)(
1
}{
1
.)(,)()(0
∴
∞→→?=?≥
<?=
<?
===>?
εε
εε
εQ
.
1
p
MLE
X
m
=
解：由p208 EX2(3):
§7.4 区间估计一、概念
θθ,
αθθθ?=<< 1}{P
),( θθ
点估计：得到参数 θ的近似值。但估计值会随样本值的不同而改变。另外，人们在测量或计算时，
常不以得到近似值为满足，还需估计误差。
区间估计：在一定的可靠程度下，指出被估计的总体参数的可能的数值范围 ——
找两个统计量,
使这个区间以较大的概率包含参数的真值。即：
置信区间 定义 p191
设总体X的分布函数 F(x;θ)含有未知参数 θ，对于给定值 α（0< α<1),若由样本X
1
,
…
,X
n
确定的两个统计量，使则称随机区间 为 θ的置信度为1?α的置信区间。
θθ,
αθθθ?≥<< 1}{P
),( θθ
注,F(x;θ)也可换成概率密度或分布律。
α：预先给定的一个小正数。1- α：置信度，置信水平双侧置信区间的置信下（上）限
:）（ θθ
X为连续型随机变量，按
αθθθ?≥<< 1}{P
αθθθ?=<< 1}{P
X为离散型随机变量，按且尽可能接近1- α
αθθθ?≥<< 1}{P
的含义：
以相同的样本容量反复抽样多次，每次得到一区间。
在这些区间中，包含 θ的真值约为 100(1- α)%，不包含 θ的真值约仅为 100 α%。
或：对某个区间而言，“它包含 θ的真值”，这一陈述的可信程度为1- α
注2：
注1：
同一个总体，相同的样本容量，同一置信水平下，
置信区间的大小表示估计的精确性。
区间短，估计的精度高；区间长，估计的精度低。
§ 7.5 正态总体参数的区间估计
.1
,,),(
1
2
1
~
置信区间的求出
，，由观测值给定，，，设
αμ
ασμ
n
iid
n
xxNXX LL
1,σ
2
已知
αμμ?=+<<? 1}{ bXaXPX 的关系，与由
αμ?=<?<? 1}{ aXbP
α
σσ
μ
σ
=
<
<
1
/// n
a
n
X
n
b
P
α/2
α/2
2
α
z?
2
0
α
z
1-α
可取
2
α
z?
2
α
σ
z
n
ba ==
)1,0(~
X
U N
n
σ
μ?
=Q
α
σσ
μ
σ
=
<
<
1
/// n
a
n
X
n
b
P
2
α
z
αμ?=+<<? 1}{ bXaXP
解得公式,μ的置信度为1?α的置信区间为
),(
2/2/ αα
σσ
z
n
Xz
n
X +?
645.1
05.0
2
==zz
α
96.1
025.0
2
==zz
α
常用的分位点,（自证，见p61）
α=0.01
α=0.1
α=0.05
58.2
005.0
2
==zz
α
1-α= 0.99
1-α= 0.95
1-α= 0.90
(证明：p192)
(1-θ)α
θα
αθ)1(?
z
θα
z0
1-α
注,μ的1?α置信区间不唯一。
),(,10
)1( θααθ
σσ
θ z
n
Xz
n
X +?<<?
都是 μ的1?α置信区间。但 θ=1/2
时，即取对称区间时，置信区间的长最短。
α=0.05时，
),(
04.001.0
z
n
Xz
n
X
σσ
+?
),(
025.0025.0
z
n
Xz
n
X
σσ
+?
都是 μ的95%置信区间例：已知总体服从 N(μ,0.01
2
)，抽取16个样本，得到样本均数为2.125，求 μ的置信度为90%的置信区间。
。),(
2/2/ αα
σσ
z
n
Xz
n
X +?
125.2=x
01.0=σ
10.0=α
645.1
05.0
2
== zz
α
)129.2,121.2(),(
2/2/
=+?∴
αα
σσ
z
n
xz
n
x
解：公式为：
是 μ的置信度为90%的置信区间
2、σ
2
未知
)1(~
/
,,?
= nt
nS
X
Tvr
μ
引进
1)}1({
2/
，令 α
α
=?< ntTP
)1(
2
nt
α
)1(0
2
nt
α
1-α
αμ
αα
=
+<< 1)1()1(
22
n
S
ntX
n
S
ntXP
)1,0(~
X
U N
n
σ
μ?
=Q
下限上限
))1(),1( (
22
+ nt
n
S
Xnt
n
S
X
αα
μ的1?α置信区间为
（σ
2
未知）
),(
2
2
α
σσ
α
z
n
Xz
n
X +?（σ
2
已知）
解:
σ未知时,μ的置信度为1?α的置信区间为
。))1(),1((
2/2/
+ nt
n
S
Xnt
n
S
X
αα 125.2=x
017.0=s
10.0=α
7531.1)15()1(
05.0
2
==? tnt
α
)132.2,118.2())1(),1((
2/2/
=?+ nt
n
s
xnt
n
s
x
αα
例,已知总体服从正态分布。抽取16个样本，得到样本均数为2.125，样本标准差为0.017。求 μ的置信度为90%的置信区间。
二、单正态总体方差的置信区间
）的置信区间。（或，推求，观测值
，由，给定置信度，，，设
，
σσ
α?σμ
2
n1
2
iid
n1
xx
1)(NXX
~
L
L
假定 μ未知，
)1(~
1)S-(n
r.v
2
2
2
2
= nχ
σ
χ引进
1-α
2
α
2
α
)1(
2
2
n
α
χ)1(
2
2
1
n
α
χ
分位点定义：
{ } αχχ
α
=>
22
P
2
2
2
2
α
χχ
α
=
>P
绿= α/2
白+兰=1- α/2
2
1
2
2
1
2
α
χχ
α
=
>
P
S
2
的置信度为1?α的置信区间为
αχχχ
αα
=
<<? 1)1()1(
2
2
22
2
-1
nnP
α
χ
σ
χ
αα
=
<<
1
)1(
1)S-(n
)1(
1)S-(n
P
2
2
1
2
2
2
2
2
nn
可得
)1(
1)S-(n
,
)1(
1)S-(n
2
2
1
2
2
2
2
nn
αα
χχ
注：开根号后即得标准差的置信区间。
三、双正态总体均值差的置信区间的置信区间。，求度两样本独立。给定置信
，，，，，，，设
21
2
221
2
111
1
)()(
~~
21
μμα
σμσμ
NYYNXX
iid
n
iid
n
LL
已知
2
2
2
1
,.1 σσ
，，，,)()(
2
2
2
2
1
2
1
1
~~
n
NY
n
NX
σ
μ
σ
μ
，,)(
2
2
2
1
2
1
21
~
nn
NYX
σσ
μμ +
)10(
)()(
~
2
2
2
1
2
1
21
，N
nn
YX
σσ
μμ
+
μ
1
-μ
2
的一个置信水平为1-α的置信区间为：
+±?
2
2
2
1
2
1
2
nn
zYX
σσ
α
22
2
2
1
2
2
2
1
.2 σσσσσ ==未知，但假定、
)2(~
/1/1
)(X
T
21
21
21
+
+
= nnt
nnS
Y
w
μμ
引进可解得 μ
1
-μ
2
的置信区间
( )
21212/
/1/1)2( nnSnntYX
w
+?+±?
α
2
)1()1(
21
2
22
2
11
2
+
+?
=
nn
SnSn
S
w
其中
2
ww
SS =
四、双正态总体方差比的置信区间的置信区间。，求出，，
，，，由观测值度两样本独立。给定置信
，，，，，，，设
2
2
2
1
n1
n1
2
22
iid
n1
2
11
iid
n1
2
1
21
yy;xx1
),(NYY)(NXX
~~
σ
σ
α?
σμσμ
L
L
LL
假定 μ
1
,μ
2
未知
)1,1(~
S
S
F
21
2
2
2
2
2
1
2
1
= nnF
σ
σ
引进
)
)1,1(F
,
1,1(
(
1
21/2-1
2
2
2
1
212/
2
2
2
1
2
2
2
1
nn
SS
nnF
SS
αα
α
σ
σ
）
置信区间的可解得
α
αα
=<< 1)}1,1()1,1(P{F
212/21/2-1
nnFFnn由注意,查表时，
),(
1
),(
12
2
21
2
1
nnF
nnF
α
α
=
§7.7 单侧置信区间双侧 置信区间 满足
αθθθ?≥<< 1}{P
),( θθ
αθθ?≥< 1}{P
如果只要求得到 单侧 置信区间：
),( θ?∞
为单侧置信上限
θ
αθθ?≥> 1}{P
θ
如果只要求
),( +∞θ
得到 单侧 置信区间：
为单侧置信下限定义：p202-203
公式：p205表格下面以方差的单侧置信区间为例进行说明。
1-α
α )1(
2
2
n
α
χ
)1(
2
n
α
χ
1-α
α
σ
2
的单侧置信区间
)1(
1)S-(n
,0
2
1
2
n
α
χ
)1(
1)S-(n
,
)1(
1)S-(n
2
2
1
2
2
2
2
nn
αα
χχ
σ
2
的双侧置信区间注：有些单侧置信区间的另一侧为 ∞。
练习1。考题P151，填充题10。
设 X~N(μ,σ
2
)，其中 μ和 σ
2
均未知。若样本容量和样本值不变，则 μ的置信区间的长度 L与置信水平 1-α的关系是：当 1-α缩小时,L
缩小。
。))1(),1((
2/2/
+ nt
n
S
Xnt
n
S
X
αα
)1(
2
nt
α
。，,↓?=∴↓?↓? )1(
2
)1(1
22
nt
n
S
Lnt
αα
α
练习2。考题P151，填充题11。
设 X~N(μ,σ
2
)，其中 σ
2
已知,μ未知。为使 μ的置信水平为 1-α的置信区间的长度不大于 L，这样本容量 n至少应取
2
2/
2
L
z
α
σ
),(
2
2
α
σσ
α
z
n
Xz
n
X +?
置信区间长度为：
2
2
α
σ
z
n
小结点估计矩估计极大似然估计抽样分布定理 区间估计
p205公式：
总体样本统计量
