第六章 参数估计
在实际问题中,当所研究的总体分布类型已知,但分布中含有一个或多个未知参数时,如何根据样本来估计未知参数，这就是参数估计问题,
参数估计问题分为点估计问题与区间估计问题两类,所谓点估计就是用某一个函数值作为总体未知参数的估计值；区间估计就是对于未知参数给出一个范围，并且在一定的可靠度下使这个范围包含未知参数.
例如,灯泡的寿命X是一个总体,根据实际经验知道,X服从,但对每一批灯泡而言,参数是未知的,要写出具体的分布函数,就必须确定出参数,此类问题就属于参数估计问题.
参数估计问题的一般提法:
设有一个统计总体,总体的分布函数为,其中为未知参数(可以是向量),现从该总体中随机地抽样,得一样本
,
再依据该样本对参数作出估计,或估计参数的某已知函数
第一节 点估计问题概述
分布图示
★ 引言
★ 点估计的概念 ★ 例1
★ 评价估计量的标准
★ 无偏性 ★ 例2 ★ 例3
★ 有效性
★ 例4 ★ 例5 ★ 例6
★ 相合性 ★ 例7 ★ 例8
★ 内容小结 ★ 课堂练习
★ 习题6-1
★ 返回
内容要点一、点估计的概念设是取自总体X的一个样本,是相应的一个样本值,是总体分布中的未知参数,为估计未知参数,需构造一个适当的统计量
然后用其观察值
来估计的值.
称为的估计量,称为的估计值,在不致混淆的情况下,估计量与估计值统称为点估计,简称为估计,并简记为.
注,估计量是一个随机变量,是样本的函数，即是一个统计量,对不同的样本值,的估计值一般是不同的.
二、评价估计量的标准从例1可见,参数点估计的概念相当宽松,对同一参数,可用不同的方法来估计,因而得到不同的估计量,故有必要建立一些评价估计量好坏的标准.
估计量的评价一般有三条标准:
1,无偏性;
2,有效性;
3,相合性（一致性）.
在本节的后面将逐一介绍之.
在具体介绍估计量的评价标准之前,需指出,评价一个估计量的好坏,不能仅仅依据一次试验的结果,而必须由多次试验结果来衡量,因为估计量是样本的函数,是随机变量,故由不同的观测结果,就会求得不同的参数估计值,因此一个好的估计,应在多次重复试验中体现出其优良性.
1．无偏性估计量是随机变量,对于不同的样本值会得到不同的估计值,一个自然的要求是希望估计值在未知参数真值的附近,不要偏高也不要偏低,由此引入无偏性标准.
定义1 设是未知参数的估计量,若
则称为的无偏估计量.
注,无偏性是对估计量的一个常见而重要的要求,其实际意义是指估计量没有系统偏差，只有随机偏差,在科学技术中,称
为用估计而产生的系统误差.
例如,用样本均值作为总体均值的估计时,虽无法说明一次估计所产生的偏差,但这种偏差随机地在0的周围波动,对同一统计问题大量重要使用不会产生系统偏差.
对一般总体而言，我们有定理1 设为取自总体X的样本,总体X的均值为,方差为.则
(1) 样本均值是的无偏估计量;
(2) 样本方差是的无偏估计量;
(3) 样本二阶中心矩是的有偏估计量.
2．有效性一个参数常有多个无偏估计量,在这些估计量中,自然应选用对的偏离程度较小的为好,即一个较好的估计量的方差应该较小.由此引入评选估计量的另一标准—有效性.
定义2 设和都是参数的无偏估计量,若
,
则称较有效.
注,在数理统计中常用到最小方差无偏估计,其定义如下:
设是取自总体X的一个样本,是未知参数的一个估计量,若满足:
(1) 即为的无偏估计;
(2) 是的任一无偏估计.
则称为的最小方差无偏估计(也称最佳无偏估计).
3．相合性(一致性)
我们不仅希望一个估计量是无偏的,并且具有较小的方差,还希望当样本容量无限增大时,估计量能在某种意义下任意接近未知参数的真值,由此引入相合性(一致性)的评价标准.
定义3 设为未知参数的估计量,若依概率收敛于,即对任意,有
或
则称为的(弱)相合估计量.
例题选讲
点估计的概念例1(E01) 设X表示某种型号的电子元件的寿命(以小时计)，它服从指数分布：
为未知参数,,现得样本值为
168,130,169,143,174,198,108,212,252,
试估计未知参数.
解 由题意知,总体的均值为 即 因此,如用样本均值作为的估计量看起来是最自然的,对给定的样本值计算得
故与分别为的估计量与估计值.
无偏性例2(E02) 设总体,是来自这一总体的样本.
(1) 证明是的无偏估计;
(2) 求
解 (1) ，故是的无偏估计.
(2) 因 而 且它们相互独立,故依分布定义
由此知
例3 设是总体的一个简单随机样本,求使
为的无偏估计.
解 由于 且相互独立,于是当时
因为当时, 所以
故当时,有为的无偏估计.
例4 (E03) 设为来自总体X的样本,,均为总体均值
的无偏估计量,问哪一个估计量有效?
解 由于所以为和无偏估计量,但
故较更有效.
例5 设总体X在区间上服从均匀分布,是取自总体X的简单随机样本, 求常数 使均为的无偏估计,并比较其有效性.
解 已知 其分布函数为
因 故
当时,为无偏估计,且
又
所以
故 当时,即为的无偏估计,且
所以比更有效.
例6 设分别自总体和中抽取容量为的两独立样本.其样本方差分别为,试证,对于任意常数都是的无偏估计,并确定常数使达到最小.
解 由第5章第三节的定理2,知
且相互独立,所以
故当时, 即是的无偏估计,由相互独立,及
令 得驻点
又 知该点为极小值点,所以,当
时,统计量具有最小方差.
(注,此例结果表明,第5章第三节定理4中的统计量是方差的最佳无偏估计).
相合性例7 (E04) 设是取自总体X的样本,且存在,为正整数,则
为的相合估计量.
证 事实上,对指定的,令
由大数定理知 从而是的相合估计量.
作为特例,样本均值是总体均值的相合估计量.
例8 (E05) 设总体,为其样本,试证样本方差是的相合估计量.
证 由本节定理1, 又由第5章第三节定理2,知 从而
故由切比雪夫不等式推得,对任意
当时,上式左、右端均趋于0,根据相合性定义可知是的相合估计量.
课堂练习
1,设总体X的k阶矩存在,又设是X的一个样本,试证明不论总体服从什么分布,k阶样本矩是k阶总体矩的无偏估计量.
在实际问题中,当所研究的总体分布类型已知,但分布中含有一个或多个未知参数时,如何根据样本来估计未知参数，这就是参数估计问题,
参数估计问题分为点估计问题与区间估计问题两类,所谓点估计就是用某一个函数值作为总体未知参数的估计值；区间估计就是对于未知参数给出一个范围，并且在一定的可靠度下使这个范围包含未知参数.
例如,灯泡的寿命X是一个总体,根据实际经验知道,X服从,但对每一批灯泡而言,参数是未知的,要写出具体的分布函数,就必须确定出参数,此类问题就属于参数估计问题.
参数估计问题的一般提法:
设有一个统计总体,总体的分布函数为,其中为未知参数(可以是向量),现从该总体中随机地抽样,得一样本
,
再依据该样本对参数作出估计,或估计参数的某已知函数
第一节 点估计问题概述
分布图示
★ 引言
★ 点估计的概念 ★ 例1
★ 评价估计量的标准
★ 无偏性 ★ 例2 ★ 例3
★ 有效性
★ 例4 ★ 例5 ★ 例6
★ 相合性 ★ 例7 ★ 例8
★ 内容小结 ★ 课堂练习
★ 习题6-1
★ 返回
内容要点一、点估计的概念设是取自总体X的一个样本,是相应的一个样本值,是总体分布中的未知参数,为估计未知参数,需构造一个适当的统计量
然后用其观察值
来估计的值.
称为的估计量,称为的估计值,在不致混淆的情况下,估计量与估计值统称为点估计,简称为估计,并简记为.
注,估计量是一个随机变量,是样本的函数，即是一个统计量,对不同的样本值,的估计值一般是不同的.
二、评价估计量的标准从例1可见,参数点估计的概念相当宽松,对同一参数,可用不同的方法来估计,因而得到不同的估计量,故有必要建立一些评价估计量好坏的标准.
估计量的评价一般有三条标准:
1,无偏性;
2,有效性;
3,相合性（一致性）.
在本节的后面将逐一介绍之.
在具体介绍估计量的评价标准之前,需指出,评价一个估计量的好坏,不能仅仅依据一次试验的结果,而必须由多次试验结果来衡量,因为估计量是样本的函数,是随机变量,故由不同的观测结果,就会求得不同的参数估计值,因此一个好的估计,应在多次重复试验中体现出其优良性.
1．无偏性估计量是随机变量,对于不同的样本值会得到不同的估计值,一个自然的要求是希望估计值在未知参数真值的附近,不要偏高也不要偏低,由此引入无偏性标准.
定义1 设是未知参数的估计量,若
则称为的无偏估计量.
注,无偏性是对估计量的一个常见而重要的要求,其实际意义是指估计量没有系统偏差，只有随机偏差,在科学技术中,称
为用估计而产生的系统误差.
例如,用样本均值作为总体均值的估计时,虽无法说明一次估计所产生的偏差,但这种偏差随机地在0的周围波动,对同一统计问题大量重要使用不会产生系统偏差.
对一般总体而言，我们有定理1 设为取自总体X的样本,总体X的均值为,方差为.则
(1) 样本均值是的无偏估计量;
(2) 样本方差是的无偏估计量;
(3) 样本二阶中心矩是的有偏估计量.
2．有效性一个参数常有多个无偏估计量,在这些估计量中,自然应选用对的偏离程度较小的为好,即一个较好的估计量的方差应该较小.由此引入评选估计量的另一标准—有效性.
定义2 设和都是参数的无偏估计量,若
,
则称较有效.
注,在数理统计中常用到最小方差无偏估计,其定义如下:
设是取自总体X的一个样本,是未知参数的一个估计量,若满足:
(1) 即为的无偏估计;
(2) 是的任一无偏估计.
则称为的最小方差无偏估计(也称最佳无偏估计).
3．相合性(一致性)
我们不仅希望一个估计量是无偏的,并且具有较小的方差,还希望当样本容量无限增大时,估计量能在某种意义下任意接近未知参数的真值,由此引入相合性(一致性)的评价标准.
定义3 设为未知参数的估计量,若依概率收敛于,即对任意,有
或
则称为的(弱)相合估计量.
例题选讲
点估计的概念例1(E01) 设X表示某种型号的电子元件的寿命(以小时计)，它服从指数分布：
为未知参数,,现得样本值为
168,130,169,143,174,198,108,212,252,
试估计未知参数.
解 由题意知,总体的均值为 即 因此,如用样本均值作为的估计量看起来是最自然的,对给定的样本值计算得
故与分别为的估计量与估计值.
无偏性例2(E02) 设总体,是来自这一总体的样本.
(1) 证明是的无偏估计;
(2) 求
解 (1) ，故是的无偏估计.
(2) 因 而 且它们相互独立,故依分布定义
由此知
例3 设是总体的一个简单随机样本,求使
为的无偏估计.
解 由于 且相互独立,于是当时
因为当时, 所以
故当时,有为的无偏估计.
例4 (E03) 设为来自总体X的样本,,均为总体均值
的无偏估计量,问哪一个估计量有效?
解 由于所以为和无偏估计量,但
故较更有效.
例5 设总体X在区间上服从均匀分布,是取自总体X的简单随机样本, 求常数 使均为的无偏估计,并比较其有效性.
解 已知 其分布函数为
因 故
当时,为无偏估计,且
又
所以
故 当时,即为的无偏估计,且
所以比更有效.
例6 设分别自总体和中抽取容量为的两独立样本.其样本方差分别为,试证,对于任意常数都是的无偏估计,并确定常数使达到最小.
解 由第5章第三节的定理2,知
且相互独立,所以
故当时, 即是的无偏估计,由相互独立,及
令 得驻点
又 知该点为极小值点,所以,当
时,统计量具有最小方差.
(注,此例结果表明,第5章第三节定理4中的统计量是方差的最佳无偏估计).
相合性例7 (E04) 设是取自总体X的样本,且存在,为正整数,则
为的相合估计量.
证 事实上,对指定的,令
由大数定理知 从而是的相合估计量.
作为特例,样本均值是总体均值的相合估计量.
例8 (E05) 设总体,为其样本,试证样本方差是的相合估计量.
证 由本节定理1, 又由第5章第三节定理2,知 从而
故由切比雪夫不等式推得,对任意
当时,上式左、右端均趋于0,根据相合性定义可知是的相合估计量.
课堂练习
1,设总体X的k阶矩存在,又设是X的一个样本,试证明不论总体服从什么分布,k阶样本矩是k阶总体矩的无偏估计量.
