第七章 参数估计引言参数估计,当总体的某些参数未知 (一般要求分布类型已知 )时,
从样本出发构造适当的统计量,作为未知参数的估计量。当取得一组观察值后,以相应的统计量的观察值作为未知参数的估计值,并讨论估计值对真值进行估计的可靠性。
参数估计方法是处理实际问题时最常用的方法。
预备概念,当总体 X中含有未知参数? (可以是向量 )时,可用
F(x;? )来表示 X的分布函数,当?取不同的值,就会得到不同的分布函数。我们称?所有可能取值的集合为参数空间,记为?。把 {F(x;? ),}称为 X的分布函数族。
若 X为连续型随机变量,和分布函数 族对应的是密度函数族 { f (x;? ),}。
若 X是离散型随机变量,和分布函数 族对应的是概率分布函数族 { 。,})()(
kxXPkp
第一节 点估计点估计 (教材 p177) 用样本 构造适当的统计量,作为未知参数? 的 估计量 。
)( 21 nXXX,,,?
)( 21 nXXX,,,
当取得一组样本观察值 后,用相应的作为未知参数? 的 估计值 。
)( 21 nxxx,,,?
)( 21 nxxx,,,
说明,1,在统计推断中,当不致混淆时,通常对样本和样本观察值的表示法不加区分,均表成 。,,,)(
21 nxxx?
2,对于两组不同的 样本观察值,可得到未知参数? 的两个估计值,但?的估计量是同一个。
一、矩估计矩估计法原理,用样本 k阶原点矩 (中心矩 )作为总体 k阶原点矩 (中心矩 )的估计量,用样本 k+m阶混合矩作为总体 k+m阶混合矩的估计量。
特别,用 作为 E(X)的估计量,用 作为 D(X)的估计量,用 样本协方差 (相关系数 )作为 cov(X,Y)和 的估计量。X 2B XYr
定义 7.1 设总体 X中含有未知参数若对每个 i( i=1,2,k),存在连续函数,使
)( 21 k,,,
)( 21 ki xxxg,,,?
,,,,,,,,kiXEXEXEg kii 21))()()(( 2
)( 21 kii g,,,则称 为 的矩估计量,其中i?
.21/
1
kinX
n
j
i
ji,,,,
称 的矩估计量。 )()(
2121 nn,,,为,,,

如何求
?,,,,,,,kiXEXEXEg kii 21))()()(( 2
设总体 X的密度函数为,,,,; )(
21 kxf
由总体原点矩的定义,有
.21 )()( 21 kidxxfxXE kii,,,,,,,;



从理论上来说,由上面 k个方程,可以解出
.21))()()(( 2 kiXEXEXEg kii,,,,,,,
矩估计的优越性,当总体分布类型未知时仍可对总体各阶矩进行估计。
矩估计的缺陷,当总体分布类型已知时,未能充分利用总体分布提供的信息。
二、极大似然估计引例:罐中有许多白球和黑球,已知两色球的比例为 3,1,但不知哪种颜色的球多。今有放回连抽两球均取出黑球,问:罐中黑球多还是白球多?
解:设抽出黑球的概率为 p,抽得黑球数为 X,则 X~ B(2,p)。
P(X=2)= 2p 。 根据题意,知 p=3/4 或 p=1/4 。
若 p=1/4,则 P(X=2)=1/16; 若 p=3/4,则 P(X=2)=9/16。
这说明当黑球多时事件 (X=2) 发生的概率大得多,
(或者说样本来自总体 B(2,3/4)的可能性比来自总体 B(2,1/4)
的可能性大得多 )
根据,概率越大的事件越可能发生,的实际推断原理,应选
3/4作为 p的估计值。
若 p的可供选择的估计值有许多,仍应选择发生概率最大的作为 p的估计,这就是极大似然估计的思想。
p
极大似然估计的原理 (教材 p180-181)
设总体 X的概率密度函数族为 f(x;?) (或 概率分布函数族为
P(X=x)=p(x ;?) ),。
设 为任一组样本观察值 (一组抽象的数 ),则样本的密度函数 (或 概率分布 )为
)( 21 nxxx,,,?

n
i
in xfxxxLL
1
21 ).()()( ;;,,,?
n
i
ixpL
1
)()( ;
(或 ).
注意,当 X是离散型随机变量,因样本观察值是取定的,故
L(?), 仅是?的函数,对连续型随机变量,仍将 L(?),
仅看作?的函数。
若有,使 对几乎所有样本观察值都成立,则称 为?的 极大似然估计量,称 为?的 极大似然估计值 。
)( 21 nxxx,,,
)( 21 nXXX,,,
)( 21 nxxx,,,
)(m a x)( LL
说明,在求极大似然估计量时,先用一组 抽象 的样本观察值来求,因而得到的是待估参数?的极大似然估计值,再用样本代换 样本观察值,才能得到待估参数?的极大似然估计量。若用一组具体的样本观察值代入,便可得到待估参数?的 具体 极大似然估计值。
通过,求出 。?
0)(lnd Ld
求 L(?)的极大值?

说明,1,因为 L(?)是样本观察值的函数 (此时样本观察值不变 ),
故求出的 一般也是样本观察值的函数。?
2,由于 只是 lnL(?)取极值的必要条件,从理论上来说,还应验证 lnL( )? lnL(?), 对 所有样本观察值都成立。但这种验证通常是非常困难的,故多不进行验证。

0)(lnd Ld
3,若不只一个参数需要估计,也采用同样的方法,只是这时似然函数是多元函数,要通过令偏导数等于零求出驻点。 (具体步骤见教材 p182-183)。
例 1,设某炸药厂一天中发生着火现象的次数 X服从参数为?的泊松分布,设有以下样本观察值,
=
250
12622549075k次着火天数
6543210着火次数
k
kn
1) 试用矩估计法估计参数?;
2) 试用 极大似然估计法估计参数?;
3) 试求 P(X=0)的 极大似然估计值。
例 2(2002年数学三考研试题填空题 )
设总体 X的概率密度为

.0
)(
)(
x
xe
xf
x
若,
,若,;
而 是来自总体 X的简单随机样本,则未知参数?的矩估计量为 ______ 。nXXX,,,?21
注,本题是盛骤等编,概率论与数理统计,(第二版 )第七章习题 2-4的特例。
例 3(2002年数学一考研试题十二题 ) 设总体 X的概率分布为
1-2?2?(1-?)p
3210X
2? 2?
其中? (0<?<1/2)是未知参数,利用总体 X得如下样本值
3,1,3,0,3,1,2,3
求?的矩估计值和极大似然估计值。
说明,1,本题中因 P(X= )无一般表达式,故不能先求极大似然估计量,再将样本观察值代入求极大似然估计值。 ix
2,本题处理思想在解决实际问题时很有用。
极大似然估计的性质,若 为总体 X中未知参数?的 极大似然估计量,u=u(? ) 有单值反函数?=?(u),则 u( )是 u(? ) 的极大似然估计量。


若 是 D(X)= 的极大似然估计,因有单值反函数 (视 为一个整体 ),则 便是标准差 的极大似然估计。
2? 2? 22 )( uu
22 u 2?

)( XD
第三节 点估计量的评选标准问题,1,哪种估计是最好的估计?
2,评价,好,的标准是什么?建立评价标准的原则,估计量在 某种意义 下与待估参数的 真值最接近。
一、无偏性定义 7.2 (教材 p188) 设 是总体的未知参数?的点估计量。
若 E( )=?,则称 是?的 无偏估计量 。
若,则称 是?的 渐近无偏估计量 。
)( 21 nXXX,,,




)(lim E
n
说明,1,当 不是?的无偏估计量,则称 E( )-?为估计量的偏差 (系统误差 )。

2,?的无偏估计量一定是?的渐近无偏估计量,但反之不然。
3,在大样本情形,无偏估计量和渐近无偏估计量没有太大差别,
但在小 样本情形,无偏估计量明显优于渐近无偏估计量。
4,无偏性标准只有取多组观察值重复估计时才有意义,对一组观察值来说,无实际价值。
结论,
1,是 E(X)的 无偏估计量。X
2S2,是 D(X)的 无偏估计量。
注意,即使 是?的无偏估计量,一般说来,f( )不是 f(?)的无偏估计量。

例 1 (2003年数学一考研试题十二题 ) 设总体 X的概率密度为

,,
,,

x
xe
xf
x
0
2
)(
)(2
其中?>0 是未知参数。从总体 X中抽取简单随机样本,,,?
21 XX
。nX 。,,,记 )m in ( 21 nXXX
(1) 求总体 X的分布函数 F(x);
(2) 求统计量 的分布函数 ;
(3) 如果 作为? 的估计量,讨论它是否具有无偏性。


)(xF?
问题,若参数? 的无偏估计量不只一个,如何选取更好的无偏估计量?
二、有效性定义 7.3 (教材 p190) 设,都是 总体参数? 的 无偏估计量,
若 D( )<D( ),则称 比 更 有效 。
1?
1?
1?
2?
2?
2?
例 2,设某 k 台仪器,已知用第 i 台仪器测量时,测量值总体的标准差为 (i=1,2,…,k).现用这些仪器独立地对某物理量?
各观察一次,分别得到,设仪器都没有系统误差,即 (i=1,2,…,k).
问,应取何值,方能使是? 的无偏估计量,且 达最小?
i?
kXXX,,,?21
)( iXE
kaaa,,,?21?
k
i
ii Xa
1
)(D
第四节 参数的区间估计问题,1,当求得未知参数? 的估计量 后,?究竟在距多远的区间内?

2,估计出的区间可靠程度有多大?
定义 7.4 (教材 p191) 设总体 X 中包含未知参数?,对任何
0<?<1,若能由样本确定出? 的两个估计量和,满足
)( 21 nXXX,,, )( 21 nXXX,,,
)( 1)(P就称 随机区间 (,) 是? 的 置信度 为 1-? 的 置信区间,称为置信下限,称 为置信上限。


说明,当取得一组样本观察值后,将其代入 和 的表达式可得估计量的观察值 和,
我们仍称 (,)为? 的置信区间 (此时已不是随机区间 )。

)( 21 nxxx,,,
)( 21 nxxx,,,
)( 21 nxxx,,,
)( 21 nxxx,,,
确定置信区间的常用方法,
1,首先用点估计法找到?的一个估计量,构造统计量
,使 服从某一已知分布 (即分布类型参数均已知 ),且对?容易由 y= 解出
(此处 g,h 均是抽象的函数关系 )。

)(,g )(
,g
)(,g )(,yh
2,由 P( <a)=P( >b)=?/2,解出 a,b。此时,有
P(a< <b)=1-?。
)(,g )(,g
)(,g
3,令
]}[)(m a x {
]}[)(m i n {
2
1
bayyh
bayyh
,|,
,,|,




则得,, 1)())((
21PbgaP
其中 和 分别为置信区间下限和上限。
1? 2?
注,对于概率密度函数对称的总体,用以上方法得到的置信区间长度最短。
一、单个正态总体参数的区间估计设 为来自总体 X~ 的样本。
nXXX,,,?21 )(
2,N
1,总体期望?的估计
(1) 方差已知,估计?
的置信度为 1-? 的 置信区间为
).(
2
z
n
X?(2) 方差未知,估计?
的置信度为 1-? 的 置信区间为
)).1((
2
nt
n
SX
说明,1,给定置信度的置信区间不是唯一的。
2,置信区间长度一般与样本容量的平方根成反比。
第五节 正态总体均值与方差的区间估计
3,当方差未知,且 n>30,
的置信度为 1-? 的 置信区间为 ).(
2
zn
SX?
问题,若 X的分布类型未知,如何估计?=E(X)?
取 n>30,此时
)( 2,~ NX
.
当方差已知,?的置信度为 1-? 的 置信区间为 ).(
2
z
n
X?
当方差未知,?的置信度为 1-? 的 置信区间为 ).(
2
zn
SX?
思考题 (2003年数学一考研试题填空题 )
已知一批零件的长度 X (单位,cm)服从正态分布 N(?,1),从中随机地抽取 16个零件,得到长度的平均值为 40 ( cm),则? 的置信度为 0.95的 置信区间是 __________ 。
(注:标准正态分布函数值?(1.96)=0.975,?(1.645)=0.95)
2,总体方差 的区间估计2?
(1)? 已知,估计 2?
的 置信度为 1-? 的 置信区间为2?
) )(/)()(/)( (
1
2
2/1
2
1
2
2/
2

n
i
i
n
i
i nXnX,
标准差? 的置信度为 1-? 的 置信区间为
) )(/)( )(/)( (
1
2
2/1
2
1
2
2/
2

n
i
i
n
i
i nXnX,
(2)? 未知,估计 2?
的 置信度为 1-? 的 置信区间为2?
) )1(/)1( )1(/)1(( 2 2/122 2/2 nSnnSn,
标准差? 的置信度为 1-? 的 置信区间为
) )1(/)1( )1(/)1( ( 2 2/12 2/ nnSnnS,
二、两个正态总体的均值差和方差比的区间估计基本思想,1,若在置信度 1-? 下,有 -?(a,b),其中
a>0 (或 b<0),则认为 >,(或 < );若 a<0 且
b>0,则 在置信度 1-? 下,不能判定 和 的大小。
1?
1? 1
1?
2?
2? 2
2?
2,若在置信度 1-? 下,有 /?(a,b),其中 a>1(或 b<1),
则认为 >,即总体 波动较大 (或 <,即总体 波动较小 );若 a<1 且 b>1,则 在置信度 1-? 下,
不能判定 和 的大小。
1?
1?
1?
1?
2?
2? 2?
2?
)( 211,N
)( 211,N
设样本 来自总体,样本来自总体,且两个总体相互独立。两样本的样本均值、样本方差、分别记为
)( 21 mXXX,,,? )( 211,~ NX
)( 21 nYYY,,,? )( 222,~ NY
.2221 SSYX,,,
1,两个正态总体的均值差的置信区间
(1) 当 已知,求 的置信区间
21,21
的 置信度为
1-? 的 置信区间为
21
)(
2
2
2
1
2/ nmzYX


(2) 当 均未知,但 已知,求 的置信区间 21,
2121
的 置信度为 1-? 的 置信区间为
21
)2 )1()1(11)2((
2
2
2
1
2/

nm
SnSm
nmnmtYX?
(3) 当 均未知,且,但已知 m>50,n>50,
求 的置信区间
21,
21
21
的 置信度为
1-? 的 置信区间为
21
)(
2
2
2
1
2/ n
S
m
SzYX
2.两个正态总体的方差比的置信区间的 置信度为 1-? 的 置信区间为
2221 /
)
)11(
/
)11(
/(
2/1
2
2
2
1
2/
2
2
2
1
nmF
SS
nmF
SS


,
) )11( )11(( 2/2
2
2
1
2/12
2
2
1
mnFS
SmnF
S
S,,,

的 置信度为 1-? 的 置信区间为
21 /
) )11( )11((
)
)11(
/
)11(
/
(
2/
2
1
2/1
2
1
2/1
21
2/
21


mnF
S
S
mnF
S
S
nmF
SS
nmF
SS
,,,





第六节,0-1分布参数的区间估计设 X服从参数为 p 的 0-1分布,对任何 0<?<1,参数 p 的 置信度为 1-? 的 置信区间为,其中)(
21 pp,
)2/()4( )2/()4( 2221 aacbbpaacbbp,
22
2/
2
2/ )2( XnczXnbzna,,
例,某市政府拟实施某项措施。现随机抽取 1000个市民对这项措施进行民意调查,赞成的有 648人。问:若规定可靠程度为 95%,该市市民中最多有多少人赞成这项措施?最少有多少人赞成这项措施?
第七节、单侧置信区间就称 随机区间 (,+? ) 是? 的 置信度 为 1-?的 左侧置信区间,
称 为 单侧置信下限 。
定义 7.5 设总体 X 中包含未知参数?,对任何 0<?<1,若能由样本确定出? 的估计量
,满足
)( 21 nXXX,,, 1)(
P


)( 21 nXXX,,,若能由样本确定出? 的估计量,满足
1)(P,就称 随机区间 ( -?,) 是?的 置信度为 1-? 的 右侧置信区间,称 为 单侧置信上限 。
说明,求参数? 的 单侧置信区间的方法和求双侧置信区间完全相同,只需将双侧置信区间公式中对应一侧的?/2分位数换成?
分位数,同时将另一侧换成? 的定义域端点即可。
例如:设,其中?,? 均未知,则)( 2,~ NX
的置信度为 1-? 的左侧 置信区间为 ),)1((,ntnSX?
) ),1(( ntnSX?,
的置信度为 1-? 的右侧 置信区间为的置信度为 1-?
的左侧 置信区间为
2?
) )1(/)1(( 22,nSn
的置信度为 1-?
的右侧 置信区间为
2?
) )1(/)1( 0( 212 nSn,
五、区间估计的可靠性、精度和样本容量的确定