第七章 参 数 估 计
【授课对象】理工类本科二年级
【授课时数】6学时
【授课方法】课堂讲授与提问相结合
【基本要求】1、理解参数估计的概念，熟练掌握点估计的矩估计法和极大似然估计法；
2、掌握估计量好坏的三个评选标准；
3、理解理解区间估计的概念，熟练掌握单个正态总体的均值和方差的置信区间；知道两个正态总体的均值差和方差比的区间估计。
【本章重点】参数估计的矩估计法和极大似然估计法；区间估计的概念
【本章难点】估计的矩估计法和极大似然估计法；区间估计的概念
【授课内容及学时分配】
§7.0 前 言上一章，我们讲了数理统计的基本概念，从这一章开始，我们研究数理统计的重要内容之一即统计推断。
所谓统计推断，就是根据从总体中抽取得的一个简单随机样本对总体进行分析和推断。即由样本来推断总体，或者由部分推断总体。——这就是数理统计学的核心内容。它的基本问题包括两大类问题，一类是估计理论；另一类是假设检验。而估计理论又分为参数估计与非参数估计，参数估计又分为点估计和区间估计两种，这里我们主要研究参数估计这一部分数理统计的内容。
§7.1 参数估计的概念统计推断的目的，是由样本推断出总体的具体分布。一般来说，要想得到总体的精确分布是十分困难的。由第六章知道：只有在样本容量n充分大时，经验分布函数（以概率1），但在实际问题中，并不容许n很大。而由第五章的中心极限定理，可以断定在某些条件下的分布为正态分布，也就是说，首先根据样本值，对总体分布的类型作出判断和假设，从而得到总体的分布类型，其中含有一个或几个未知参数；其次，对另外一些并不关心其分布类型的统计推断问题，只关心总体的某些数字特征，如期望、方差等，通常把这些数字特征也称为参数。这时，抽样的目的就是为了解出这些未知的参数。
例1：设某总体，试由样本来估计参数。
例2：设某总体，试由样本来估计参数。
在上述二例中，参数的取值虽未知，但根据参数的性质和实际问题，可以确定出参数的取值范围，把参数的取值范围称为参数空间，记为。
如：例1：= 例2：=
1.定义：所谓参数估计，是指从样本中提取有关总体的信息，即构造样本的函数——统计量，然后用样本值代入，求出统计量的观测值，用该值来作为相应待估参数的值。
此时，把统计量称为参数的估计量，把称为参数的估计值。
2.类型：包括
1)点估计：指对总体分布中的参数，根据样本及样本值，构造一统计量，将作为的估计值，则称为的点估计量，简称点估计。记为=。
2)区间估计：指对总体中的一维参数，构造两个统计量：
=
=
使得待估参数以较大的概率落在[，]内，此时，称[，]为的区间估计。
§7.2点估计量的求法
0、引言：
关于点估计的一般提法：设为总体分布函数中的未知参数或总体的某些未知的数字特征，是来自的一个样本，是相应的一个样本值,点估计问题就是构造一个适当的统计量，用其观察值作为未知参数的近似值，我们称为参数的点估计量，为参数的点估计值，在不至于混淆的情况下，统称为点估计。由于估计量是样本的函数，因此对于不同的样本值，的估计值是不同的。
点估计量的求解方法很多，这里主要介绍矩估计法和极大似然估计法，除了这两种方法之外，还有Bayes方法和最小二乘法等。
一、矩估计法：（K.Pearson提出）
1.基本思想：
矩估计法是一种古老的估计方法。大家知道，矩是描写随机变量的最简单的数字特征。样本来自于总体，从前面可以看到样本矩在一定程度上也反映了总体矩的特征，且在样本容量增大的条件下，样本的阶原点矩以概率收敛到总体的阶原点矩，即，因而自然想到用样本矩作为总体矩的估计。
2.具体做法：
假设为总体的待估参数（），是来自的一个样本，令 即 ，
得一个包含个未知数的方程组，从中解出的一组解，然后用这个方程组的解分别作为的估计量，这种估计量称为矩估计量，矩估计量的观察值称为矩估计值。
该方法称为矩估计法。（只需掌握的情形）
例3：设总体的均值及方差都存在但均未知，且有>0，又设是来自总体的一个样本，试求，的矩估计量。
解：因为 令
所以得
注：上述结果表明：总体均值与方差的矩估计量的表达式不会因总体的分布不同而异；同时，我们又注意到，总体均值是用样本均值来估计的，而总体方差（即总体的二阶中心矩）却不是用样本方差来估计的，而是用样本二阶中心矩来估计。那么，能否用来估计呢？能的话，与哪个更好？下节课将再作详细讨论。
这样看来，虽然矩估计法计算简单，不管总体服从什么分布，都能求出总体矩的估计量，但它仍然存在着一定的缺陷：对于一个参数，可能会有多种估计量。比如下面的例子：
例4：设，未知，是的一个样本，求。
，
所以由例3可知：
由以上可看出，显然是两个不同的统计量，但都是的估计。这样，就会给应用带来不便，为此，R.A.Fisher提出了以下的改进的方法：
二、最（极）大似然估计法：（R.A.Fisher提出）
1.基本思想：
若总体X的分布律为[或密度函数为]，其中为待估参数（）。
设是来自总体的一个样本，是相应于样本的一样本值，易知：样本取到观测值的概率为
，[或样本落在点的邻域（边长分别为的维立方体）内的概率近似地为（微分中值定理）]，令[或]，则概率随的取值变化而变化，它是的函数，称为样本的似然函数（注意，这里的是已知的样本值，它们都是常数）。如果已知当时使取最大值，我们自然认为作为未知参数的估计较为合理。
最大似然方法就是固定样本观测值，在取值的可能范围内，挑选使似然函数达到最大（从而概率达到最大）的参数值作为参数的估计值，即，这样得到的与样本值有关，常记为，称之为参数的最大似然估计值，而相应的统计量称为参数的最大似然估计量。这样将原来求参数的最大似然估计值问题就转化为求似然函数的最大值问题了。
2.具体做法:
①在很多情况下，和关于可微，因此据似然函数的特点，常把它变为如下形式：（或），该式称为对数似然函数。由高等数学知：的最大值点相同，令，求解得：，从而可得参数的极大似然估计量为；
②若和关于不可微时，需另寻方法。
例5：设，为未知参数，是一个样本值，求参数的极大似然估计。
解：因为总体的分布律为：，=0,1
故似然函数为
而
令，解得的最大似然估计值为
所以的最大似然估计量为：。
例6：设，，未知，为的一个样本，是的一个样本值，求，的极大似然估计值及相应的估计量。
解：
所以似然函数为：
取对数：
分别对，求导数：
由（1），代入（2）
的极大似然估计值分别为,；
的极大似然估计量分别为：，
例7：设 未知，是一个样本值，求的极大似然估计。
解：由于
则似然函数为：
通过分析可知，用解似然方程极大值的方法求极大似然估计很难求解（因为无极值点），所以可用直接观察法：
记，有
则对于满足条件：的任意有
即在时取得最大值
故的极大似然估计值为，的极大似然估计量为。
或者令，则，
从而似然函数为：，记，可得，故的极大似然估计量为。
3.极大似然估计量有如下的性质：
设的函数，，具有单值反函数。又设是的密度函数[或分布列]（形式已知）中参数的极大似然估计，则是的极大似然估计。
例如，在例6中得到的极大似然估计为 而具有单值反函数 据上述性质有：
标准差的极大似然估计为
课后作业：1、认真阅读P150-163；
2、作业：P190 1，3
3、预习：估计量的评选标准和区间估计
§7.3 估计量的评选标准
0、引言从上一节得到：对于同一参数，用不同的估计方法求出的估计量可能不相同，用相同的方法也可能得到不同的估计量，也就是说，同一参数可能具有多种估计量，而且，原则上讲，其中任何统计量都可以作为未知参数的估计量，那么采用哪一个估计量为好呢？这就涉及到估计量的评价问题，而判断估计量好坏的标准是：有无系统偏差；波动性的大小；伴随样本容量的增大是否是越来越精确，这就是估计的无偏性，有效性和相合性。
一、无偏性设是未知参数的估计量，则是一个随机变量，对于不同的样本值就会得到不同的估计值，我们总希望估计值在的真实值左右徘徊，而若其数学期望恰等于的真实值，这就导致无偏性这个标准。
定义1:设（）是未知参数的估计量，若存在，且对有=，则称是的无偏估计量，称具有无偏性。
在科学技术中，-称为以作为的估计的系统误差，无偏估计的实际意义就是无系统误差。
例1：设总体的阶中心矩存在，是的一个样本，证明：不论服从什么分布，是的无偏估计。
证明：与同分布，
特别，不论服从什么分布，只要存在，总是的无偏估计。
例2：设总体的都存在，且，若均为未知，则的估计量是有偏的。
证明：，
若在的两边同乘以，则所得到的估计量就是无偏了即，
而恰恰就是样本方差
可见，可以作为的估计，而且是无偏估计。因此，常用作为方差的估计量。从无偏的角度考虑，比作为的估计好。
在实际应用中，对整个系统（整个实验）而言无系统偏差，就一次实验来讲，可能偏大也可能偏小，实质上并说明不了什么问题，只是平均来说它没有偏差。所以无偏性只有在大量的重复实验中才能体现出来；另一方面，我们注意到：无偏估计只涉及到一阶矩（均值），虽然计算简便，但是往往会出现一个参数的无偏估计有多个，而无法确定哪个估计量好。
例3：设总体，密度为 其中为未知，又是的一样本，则和都是的无偏估计。
证明：，是的无偏估计而则服从参数为的指数分布，其密度为
即是的无偏估计。事实上，中的每一个均可作为的无偏估计。
那么，究竟哪个无偏估计更好、更合理，这就看哪个估计量的观察值更接近真实值的附近，即估计量的观察值更密集的分布在真实值的附近。我们知道，方差是反映随机变量取值的分散程度。所以无偏估计以方差最小者为最好、最合理。为此引入了估计量的有效性概念。
二、有效性：
定义2:设（）与（）都是的无偏估计量，若有，则称有效。若对的无偏估计都有：，则称为的最小方差无偏估计。
例4：在例3中，由于又
当时，显然有,故较有效。
为了进一步地计算最小方差无偏估计，给出如下定理：
定理:(Rao-Gramer不等式)设总体X的分布密度为，是的一个样本，为的任一无偏估计，若满足：
集合与无关；
对一切都存在，且；
记，满足，则 ，
其中称为Fisher信息量。
定理给出无偏估计方差的一个下界——R-C下界，即，若达到R-C下界，则一定是的最小方差无偏估计。
注：在定理中，条件1），2）称为正则条件，一般分布都满足，常见的分布有不满足（其中为未知），因而不能用定理。
定义3:设是的任一无偏估计，称为无偏估计的有效率。
定义4:若存在的无偏估计，使，则称是的有效估计。
可见：在正态分布中，是的有效估计； 是的最小方差无偏估计，不是有效估计，其效率为：。
故：有效估计一定是最小方差无偏估计，反之不然。可见，有效估计要求的更为严格。
三、一致性（相合性）
关于无偏性和有效性是在样本容量固定的条件下提出的，即，我们不仅希望一个估计量是无偏的，而且是有效的，自然希望伴随样本容量的增大，估计值能稳定于待估参数的真值，为此引入一致性概念。
定义5：设是的估计量，若对，有，则称是的一致性估计量。
例如：在任何分布中，是的相合估计；而都是的相合估计。
不过，一致性只有在n相当大时，才能显示其优越性，而在实际中，往往很难达到，因此，在实际工作中，关于估计量的选择要示具体问题而定。
课后作业：1、认真阅读P163-173；
2、作业：P191 9，10，11
§7.4 区间估计
0、引言：
从点估计中，我们知道：若只是对总体的某个未知参数的值进行统计推断，那么点估计是一种很有用的形式，即只要得到样本观测值，点估计值能给我们对的值有一个明确的数量概念。但是仅仅是的一个近似值，它并没有反映出这个近似值的误差范围，这对实际工作都来说是不方便的，而区间估计正好弥补了点估计的这个缺陷。前面我们知道：区间估计是指由两个取值于的统计量，组成一个区间，对于一个具体问题得到的样本值之后，便给出了一个具体的区间[，]，使参数尽可能地落在该区间内。
事实上，由于，是两个统计量，所以[，]实际上是一个随机区间，它覆盖（即[，]）就是一个随机事件，而就反映了这个区间估计的可信程度；另一方面，区间长度也是一个随机变量，反映了区间估计的精确程度。我们自然希望反映可信程度越大越好，反映精确程度的区间长度越小越好。但在实际问题，二者常常不能兼顾。为此，这里引入置信区间的概念，并给出在一定可信程度的前提下求置信区间的方法，使区间的平均长度最短。
一、置信区间的概念定义1:设总体的分布函数含有一个未知参数，对于给定的，若由样本确定的两个统计量和满足：
………………………………（*）
则称：[]为的置信度为的置信区间，称为置信度或置信水平，称为双侧置信区间的置信下限，称为置信上限。
当是连续型随机变量时，对于给定的，我们总是按要求求出置信区间；而当是离散型随机变量时，对于给定的，我们常常找不到区间[]使得恰为，此时我们取找区间至少为且尽可能接近。
定义中，（*）式的意义在于：若反复抽样多次，每个样本值确定一个区间[]，每个这样的区间要么包含的真值，要么不包含的真值，据Bernoulli大数定律，在这样多的区间中，包含真值的约占，不包含真值的约仅占，比如，=0.005,反复抽样1000次,则得到的1000个区间中不包含真值的区间仅为5个.
例1：设总体,为已知,为未知,是来自的一个样本,求的置信度为的置信区间.
解:由前知:是的无偏估计,且有
据标准正态分布的分位点的定义有,
即:
所以的置信度为的置信区间为:
[],简写成:[]
比如,=0.05时,=0.95,查表得:
又若,=5.4则得到一个置信度为0.95的置信区间为:
[],即
注:此时,该区间已不再是随机区间了,但我们可称它为置信度为0.95的置信区间,其含义是指“该区间包含”这一陈述的可信程度为95%。若写成是错误的，因为此时该区间要么包含，要么不包含。
若记为置信区间的长度，则，从中得知,（给定），由此可以确定样本容量，使置信区间具有预先给出的长度。
通过上述例子，可以得到寻求未知参数的置信区间的一般步骤为：
寻求一个样本的函数；它包含待估参数，而不包含其它未知参数，并且的分布已知，且不依赖于任何未知参数。这一步通常是根据的点估计及抽样分布得到的。
对于给定的置信度，定出两个常数，使。这一步通常由抽样分布的分位数定义得到。
从中得到等价不等式，其中：
（），（）都是统计量，则就是的一个置信度为的置信区间。
下面就正态总体的期望和方差，给出其置信区间：
二、单个正态总体期望与方差的区间估计：
设总体，为来自的一个样本，已给定置信度（水平）为，求和的置信区间。
求均值的值信区间：
当已知时，由例1可得：的置信水平为的置信区间为：
………………………………………………①
事实上，不论服从什么分布，只要，当样本容量足够大时，根据中心极限定理，就可以得到的置信水平为的置信区间为①式。
更进一步地，无论服从何分布，只要样本容量充分大，既使总体方差未知，可以用来代替，此时，①式仍然可以作为的近似置信区间，一般地，当时，就满足要求。
当未知时，由上节课知：是的最小方差无偏估计，
据抽样分布，有：
由自由度为的t分布的分位数的定义有：
即：
所以 的置信度为的置信区间为
……………………………………………………②
注：这里虽然得出了的置信区间，但由于未知，用近似，因而估计的效果要差些，即在相同置信水平下，所确定的置信区间长度要大些。
比如：书上的例1与例2。
求方差的置信区间：
当已知时由抽样分布知：，
据分布分位数的定义，有：；
所以
从而
故的置信度为的置信区间为：………………③
当未知时，
由上节课知：即是的最小方差无偏估计，又是有效估计，所以用代替，据抽样分布有：
采用与1）同样的方法：可以得到的一个置信度为的置信区间为：
或…………………………④
进一步还可以得到的置信度为的置信区间为：
注意：当分布不对称时，如分布和分布，习惯上仍然取其对称的分位点，来确定置信区间，但所得区间不是最短的。
三、两个正态总体的情形
在实际中常遇到下面的问题：已知产品的某一质量指标服从正态分布，但由于原料、设备条件、操作人员不同，或工艺过程的改变等因素，引起总体均值、总体方差有所改变，我们需要知道这些变化有多大，这就需要考虑两个正态总体均值差或方差比的估计问题。
设总体，且与相互独立，来自的一个样本，为来自的一个样本，对给定置信水平为，且设分别为总体与的样本均值与样本方差。
求的置信区间：
当已知时：
由抽样分布可知：
所以可以得到的置信水平为的置信区间为：
…………………………………………⑤
当未知时，但均较大（大于50），可用分别代替⑤式中，则可得的置信水平为的近似置信区间为：
…………………………………………⑥
当，且未知时，由抽样分布可知：若令，则
由t分布分位数的定义有：，从而可得：的可信度为的置信区间为：
……………………………………⑦
例2:为比较Ⅰ，Ⅱ两种型号步枪子弹的枪口速度，随机的取Ⅰ型子弹10发，得到枪口平均速度为，标准差，取Ⅱ型子弹20发，得到枪口平均速度为，标准差，假设两总体都可认为近似地服从正态分布，且由生产过程可认为它们的方差相等，求两总体均值差的置信度为0.95的置信区间。
解：由题设：两总体的方差相等，却未知，所以可用⑦式来求：
由于,,
,所以
故所求置信区间为：
即：
在该题中所得下限大于0，在实际中，我们认为比大，相反，若下限小于0，则认为与没有显著的差别。
求的置信区间：（均未知）
据抽样分布知：，由分布的分位数定义及其特点：
可得的置信水平为的置信区间为：
……………………………………⑧
课后作业：1、认真阅读P174-189；
2、作业：P192 16，18,21；
3、预习 P195-211
【授课对象】理工类本科二年级
【授课时数】6学时
【授课方法】课堂讲授与提问相结合
【基本要求】1、理解参数估计的概念，熟练掌握点估计的矩估计法和极大似然估计法；
2、掌握估计量好坏的三个评选标准；
3、理解理解区间估计的概念，熟练掌握单个正态总体的均值和方差的置信区间；知道两个正态总体的均值差和方差比的区间估计。
【本章重点】参数估计的矩估计法和极大似然估计法；区间估计的概念
【本章难点】估计的矩估计法和极大似然估计法；区间估计的概念
【授课内容及学时分配】
§7.0 前 言上一章，我们讲了数理统计的基本概念，从这一章开始，我们研究数理统计的重要内容之一即统计推断。
所谓统计推断，就是根据从总体中抽取得的一个简单随机样本对总体进行分析和推断。即由样本来推断总体，或者由部分推断总体。——这就是数理统计学的核心内容。它的基本问题包括两大类问题，一类是估计理论；另一类是假设检验。而估计理论又分为参数估计与非参数估计，参数估计又分为点估计和区间估计两种，这里我们主要研究参数估计这一部分数理统计的内容。
§7.1 参数估计的概念统计推断的目的，是由样本推断出总体的具体分布。一般来说，要想得到总体的精确分布是十分困难的。由第六章知道：只有在样本容量n充分大时，经验分布函数（以概率1），但在实际问题中，并不容许n很大。而由第五章的中心极限定理，可以断定在某些条件下的分布为正态分布，也就是说，首先根据样本值，对总体分布的类型作出判断和假设，从而得到总体的分布类型，其中含有一个或几个未知参数；其次，对另外一些并不关心其分布类型的统计推断问题，只关心总体的某些数字特征，如期望、方差等，通常把这些数字特征也称为参数。这时，抽样的目的就是为了解出这些未知的参数。
例1：设某总体，试由样本来估计参数。
例2：设某总体，试由样本来估计参数。
在上述二例中，参数的取值虽未知，但根据参数的性质和实际问题，可以确定出参数的取值范围，把参数的取值范围称为参数空间，记为。
如：例1：= 例2：=
1.定义：所谓参数估计，是指从样本中提取有关总体的信息，即构造样本的函数——统计量，然后用样本值代入，求出统计量的观测值，用该值来作为相应待估参数的值。
此时，把统计量称为参数的估计量，把称为参数的估计值。
2.类型：包括
1)点估计：指对总体分布中的参数，根据样本及样本值，构造一统计量，将作为的估计值，则称为的点估计量，简称点估计。记为=。
2)区间估计：指对总体中的一维参数，构造两个统计量：
=
=
使得待估参数以较大的概率落在[，]内，此时，称[，]为的区间估计。
§7.2点估计量的求法
0、引言：
关于点估计的一般提法：设为总体分布函数中的未知参数或总体的某些未知的数字特征，是来自的一个样本，是相应的一个样本值,点估计问题就是构造一个适当的统计量，用其观察值作为未知参数的近似值，我们称为参数的点估计量，为参数的点估计值，在不至于混淆的情况下，统称为点估计。由于估计量是样本的函数，因此对于不同的样本值，的估计值是不同的。
点估计量的求解方法很多，这里主要介绍矩估计法和极大似然估计法，除了这两种方法之外，还有Bayes方法和最小二乘法等。
一、矩估计法：（K.Pearson提出）
1.基本思想：
矩估计法是一种古老的估计方法。大家知道，矩是描写随机变量的最简单的数字特征。样本来自于总体，从前面可以看到样本矩在一定程度上也反映了总体矩的特征，且在样本容量增大的条件下，样本的阶原点矩以概率收敛到总体的阶原点矩，即，因而自然想到用样本矩作为总体矩的估计。
2.具体做法：
假设为总体的待估参数（），是来自的一个样本，令 即 ，
得一个包含个未知数的方程组，从中解出的一组解，然后用这个方程组的解分别作为的估计量，这种估计量称为矩估计量，矩估计量的观察值称为矩估计值。
该方法称为矩估计法。（只需掌握的情形）
例3：设总体的均值及方差都存在但均未知，且有>0，又设是来自总体的一个样本，试求，的矩估计量。
解：因为 令
所以得
注：上述结果表明：总体均值与方差的矩估计量的表达式不会因总体的分布不同而异；同时，我们又注意到，总体均值是用样本均值来估计的，而总体方差（即总体的二阶中心矩）却不是用样本方差来估计的，而是用样本二阶中心矩来估计。那么，能否用来估计呢？能的话，与哪个更好？下节课将再作详细讨论。
这样看来，虽然矩估计法计算简单，不管总体服从什么分布，都能求出总体矩的估计量，但它仍然存在着一定的缺陷：对于一个参数，可能会有多种估计量。比如下面的例子：
例4：设，未知，是的一个样本，求。
，
所以由例3可知：
由以上可看出，显然是两个不同的统计量，但都是的估计。这样，就会给应用带来不便，为此，R.A.Fisher提出了以下的改进的方法：
二、最（极）大似然估计法：（R.A.Fisher提出）
1.基本思想：
若总体X的分布律为[或密度函数为]，其中为待估参数（）。
设是来自总体的一个样本，是相应于样本的一样本值，易知：样本取到观测值的概率为
，[或样本落在点的邻域（边长分别为的维立方体）内的概率近似地为（微分中值定理）]，令[或]，则概率随的取值变化而变化，它是的函数，称为样本的似然函数（注意，这里的是已知的样本值，它们都是常数）。如果已知当时使取最大值，我们自然认为作为未知参数的估计较为合理。
最大似然方法就是固定样本观测值，在取值的可能范围内，挑选使似然函数达到最大（从而概率达到最大）的参数值作为参数的估计值，即，这样得到的与样本值有关，常记为，称之为参数的最大似然估计值，而相应的统计量称为参数的最大似然估计量。这样将原来求参数的最大似然估计值问题就转化为求似然函数的最大值问题了。
2.具体做法:
①在很多情况下，和关于可微，因此据似然函数的特点，常把它变为如下形式：（或），该式称为对数似然函数。由高等数学知：的最大值点相同，令，求解得：，从而可得参数的极大似然估计量为；
②若和关于不可微时，需另寻方法。
例5：设，为未知参数，是一个样本值，求参数的极大似然估计。
解：因为总体的分布律为：，=0,1
故似然函数为
而
令，解得的最大似然估计值为
所以的最大似然估计量为：。
例6：设，，未知，为的一个样本，是的一个样本值，求，的极大似然估计值及相应的估计量。
解：
所以似然函数为：
取对数：
分别对，求导数：
由（1），代入（2）
的极大似然估计值分别为,；
的极大似然估计量分别为：，
例7：设 未知，是一个样本值，求的极大似然估计。
解：由于
则似然函数为：
通过分析可知，用解似然方程极大值的方法求极大似然估计很难求解（因为无极值点），所以可用直接观察法：
记，有
则对于满足条件：的任意有
即在时取得最大值
故的极大似然估计值为，的极大似然估计量为。
或者令，则，
从而似然函数为：，记，可得，故的极大似然估计量为。
3.极大似然估计量有如下的性质：
设的函数，，具有单值反函数。又设是的密度函数[或分布列]（形式已知）中参数的极大似然估计，则是的极大似然估计。
例如，在例6中得到的极大似然估计为 而具有单值反函数 据上述性质有：
标准差的极大似然估计为
课后作业：1、认真阅读P150-163；
2、作业：P190 1，3
3、预习：估计量的评选标准和区间估计
§7.3 估计量的评选标准
0、引言从上一节得到：对于同一参数，用不同的估计方法求出的估计量可能不相同，用相同的方法也可能得到不同的估计量，也就是说，同一参数可能具有多种估计量，而且，原则上讲，其中任何统计量都可以作为未知参数的估计量，那么采用哪一个估计量为好呢？这就涉及到估计量的评价问题，而判断估计量好坏的标准是：有无系统偏差；波动性的大小；伴随样本容量的增大是否是越来越精确，这就是估计的无偏性，有效性和相合性。
一、无偏性设是未知参数的估计量，则是一个随机变量，对于不同的样本值就会得到不同的估计值，我们总希望估计值在的真实值左右徘徊，而若其数学期望恰等于的真实值，这就导致无偏性这个标准。
定义1:设（）是未知参数的估计量，若存在，且对有=，则称是的无偏估计量，称具有无偏性。
在科学技术中，-称为以作为的估计的系统误差，无偏估计的实际意义就是无系统误差。
例1：设总体的阶中心矩存在，是的一个样本，证明：不论服从什么分布，是的无偏估计。
证明：与同分布，
特别，不论服从什么分布，只要存在，总是的无偏估计。
例2：设总体的都存在，且，若均为未知，则的估计量是有偏的。
证明：，
若在的两边同乘以，则所得到的估计量就是无偏了即，
而恰恰就是样本方差
可见，可以作为的估计，而且是无偏估计。因此，常用作为方差的估计量。从无偏的角度考虑，比作为的估计好。
在实际应用中，对整个系统（整个实验）而言无系统偏差，就一次实验来讲，可能偏大也可能偏小，实质上并说明不了什么问题，只是平均来说它没有偏差。所以无偏性只有在大量的重复实验中才能体现出来；另一方面，我们注意到：无偏估计只涉及到一阶矩（均值），虽然计算简便，但是往往会出现一个参数的无偏估计有多个，而无法确定哪个估计量好。
例3：设总体，密度为 其中为未知，又是的一样本，则和都是的无偏估计。
证明：，是的无偏估计而则服从参数为的指数分布，其密度为
即是的无偏估计。事实上，中的每一个均可作为的无偏估计。
那么，究竟哪个无偏估计更好、更合理，这就看哪个估计量的观察值更接近真实值的附近，即估计量的观察值更密集的分布在真实值的附近。我们知道，方差是反映随机变量取值的分散程度。所以无偏估计以方差最小者为最好、最合理。为此引入了估计量的有效性概念。
二、有效性：
定义2:设（）与（）都是的无偏估计量，若有，则称有效。若对的无偏估计都有：，则称为的最小方差无偏估计。
例4：在例3中，由于又
当时，显然有,故较有效。
为了进一步地计算最小方差无偏估计，给出如下定理：
定理:(Rao-Gramer不等式)设总体X的分布密度为，是的一个样本，为的任一无偏估计，若满足：
集合与无关；
对一切都存在，且；
记，满足，则 ，
其中称为Fisher信息量。
定理给出无偏估计方差的一个下界——R-C下界，即，若达到R-C下界，则一定是的最小方差无偏估计。
注：在定理中，条件1），2）称为正则条件，一般分布都满足，常见的分布有不满足（其中为未知），因而不能用定理。
定义3:设是的任一无偏估计，称为无偏估计的有效率。
定义4:若存在的无偏估计，使，则称是的有效估计。
可见：在正态分布中，是的有效估计； 是的最小方差无偏估计，不是有效估计，其效率为：。
故：有效估计一定是最小方差无偏估计，反之不然。可见，有效估计要求的更为严格。
三、一致性（相合性）
关于无偏性和有效性是在样本容量固定的条件下提出的，即，我们不仅希望一个估计量是无偏的，而且是有效的，自然希望伴随样本容量的增大，估计值能稳定于待估参数的真值，为此引入一致性概念。
定义5：设是的估计量，若对，有，则称是的一致性估计量。
例如：在任何分布中，是的相合估计；而都是的相合估计。
不过，一致性只有在n相当大时，才能显示其优越性，而在实际中，往往很难达到，因此，在实际工作中，关于估计量的选择要示具体问题而定。
课后作业：1、认真阅读P163-173；
2、作业：P191 9，10，11
§7.4 区间估计
0、引言：
从点估计中，我们知道：若只是对总体的某个未知参数的值进行统计推断，那么点估计是一种很有用的形式，即只要得到样本观测值，点估计值能给我们对的值有一个明确的数量概念。但是仅仅是的一个近似值，它并没有反映出这个近似值的误差范围，这对实际工作都来说是不方便的，而区间估计正好弥补了点估计的这个缺陷。前面我们知道：区间估计是指由两个取值于的统计量，组成一个区间，对于一个具体问题得到的样本值之后，便给出了一个具体的区间[，]，使参数尽可能地落在该区间内。
事实上，由于，是两个统计量，所以[，]实际上是一个随机区间，它覆盖（即[，]）就是一个随机事件，而就反映了这个区间估计的可信程度；另一方面，区间长度也是一个随机变量，反映了区间估计的精确程度。我们自然希望反映可信程度越大越好，反映精确程度的区间长度越小越好。但在实际问题，二者常常不能兼顾。为此，这里引入置信区间的概念，并给出在一定可信程度的前提下求置信区间的方法，使区间的平均长度最短。
一、置信区间的概念定义1:设总体的分布函数含有一个未知参数，对于给定的，若由样本确定的两个统计量和满足：
………………………………（*）
则称：[]为的置信度为的置信区间，称为置信度或置信水平，称为双侧置信区间的置信下限，称为置信上限。
当是连续型随机变量时，对于给定的，我们总是按要求求出置信区间；而当是离散型随机变量时，对于给定的，我们常常找不到区间[]使得恰为，此时我们取找区间至少为且尽可能接近。
定义中，（*）式的意义在于：若反复抽样多次，每个样本值确定一个区间[]，每个这样的区间要么包含的真值，要么不包含的真值，据Bernoulli大数定律，在这样多的区间中，包含真值的约占，不包含真值的约仅占，比如，=0.005,反复抽样1000次,则得到的1000个区间中不包含真值的区间仅为5个.
例1：设总体,为已知,为未知,是来自的一个样本,求的置信度为的置信区间.
解:由前知:是的无偏估计,且有
据标准正态分布的分位点的定义有,
即:
所以的置信度为的置信区间为:
[],简写成:[]
比如,=0.05时,=0.95,查表得:
又若,=5.4则得到一个置信度为0.95的置信区间为:
[],即
注:此时,该区间已不再是随机区间了,但我们可称它为置信度为0.95的置信区间,其含义是指“该区间包含”这一陈述的可信程度为95%。若写成是错误的，因为此时该区间要么包含，要么不包含。
若记为置信区间的长度，则，从中得知,（给定），由此可以确定样本容量，使置信区间具有预先给出的长度。
通过上述例子，可以得到寻求未知参数的置信区间的一般步骤为：
寻求一个样本的函数；它包含待估参数，而不包含其它未知参数，并且的分布已知，且不依赖于任何未知参数。这一步通常是根据的点估计及抽样分布得到的。
对于给定的置信度，定出两个常数，使。这一步通常由抽样分布的分位数定义得到。
从中得到等价不等式，其中：
（），（）都是统计量，则就是的一个置信度为的置信区间。
下面就正态总体的期望和方差，给出其置信区间：
二、单个正态总体期望与方差的区间估计：
设总体，为来自的一个样本，已给定置信度（水平）为，求和的置信区间。
求均值的值信区间：
当已知时，由例1可得：的置信水平为的置信区间为：
………………………………………………①
事实上，不论服从什么分布，只要，当样本容量足够大时，根据中心极限定理，就可以得到的置信水平为的置信区间为①式。
更进一步地，无论服从何分布，只要样本容量充分大，既使总体方差未知，可以用来代替，此时，①式仍然可以作为的近似置信区间，一般地，当时，就满足要求。
当未知时，由上节课知：是的最小方差无偏估计，
据抽样分布，有：
由自由度为的t分布的分位数的定义有：
即：
所以 的置信度为的置信区间为
……………………………………………………②
注：这里虽然得出了的置信区间，但由于未知，用近似，因而估计的效果要差些，即在相同置信水平下，所确定的置信区间长度要大些。
比如：书上的例1与例2。
求方差的置信区间：
当已知时由抽样分布知：，
据分布分位数的定义，有：；
所以
从而
故的置信度为的置信区间为：………………③
当未知时，
由上节课知：即是的最小方差无偏估计，又是有效估计，所以用代替，据抽样分布有：
采用与1）同样的方法：可以得到的一个置信度为的置信区间为：
或…………………………④
进一步还可以得到的置信度为的置信区间为：
注意：当分布不对称时，如分布和分布，习惯上仍然取其对称的分位点，来确定置信区间，但所得区间不是最短的。
三、两个正态总体的情形
在实际中常遇到下面的问题：已知产品的某一质量指标服从正态分布，但由于原料、设备条件、操作人员不同，或工艺过程的改变等因素，引起总体均值、总体方差有所改变，我们需要知道这些变化有多大，这就需要考虑两个正态总体均值差或方差比的估计问题。
设总体，且与相互独立，来自的一个样本，为来自的一个样本，对给定置信水平为，且设分别为总体与的样本均值与样本方差。
求的置信区间：
当已知时：
由抽样分布可知：
所以可以得到的置信水平为的置信区间为：
…………………………………………⑤
当未知时，但均较大（大于50），可用分别代替⑤式中，则可得的置信水平为的近似置信区间为：
…………………………………………⑥
当，且未知时，由抽样分布可知：若令，则
由t分布分位数的定义有：，从而可得：的可信度为的置信区间为：
……………………………………⑦
例2:为比较Ⅰ，Ⅱ两种型号步枪子弹的枪口速度，随机的取Ⅰ型子弹10发，得到枪口平均速度为，标准差，取Ⅱ型子弹20发，得到枪口平均速度为，标准差，假设两总体都可认为近似地服从正态分布，且由生产过程可认为它们的方差相等，求两总体均值差的置信度为0.95的置信区间。
解：由题设：两总体的方差相等，却未知，所以可用⑦式来求：
由于,,
,所以
故所求置信区间为：
即：
在该题中所得下限大于0，在实际中，我们认为比大，相反，若下限小于0，则认为与没有显著的差别。
求的置信区间：（均未知）
据抽样分布知：，由分布的分位数定义及其特点：
可得的置信水平为的置信区间为：
……………………………………⑧
课后作业：1、认真阅读P174-189；
2、作业：P192 16，18,21；
3、预习 P195-211
