第二节 点估计的常用方法
分布图示
★ 矩估计法 ★ 求矩估计的方法
★ 例1 ★ 例2 ★ 例3 ★ 例4
★ 最大似然估计法
★ 求最大似然估计的一般方法
★ 例5 ★ 例6 ★ 例7 ★ 例8
★ 关于有个未知参数的最大似然估计
★ 内容小结 ★ 课堂练习
★ 习题6-2
★ 返回
内容要点一、矩估计法矩估计法的基本思想是用样本矩估计总体矩,因为由在数定理知,当总体的k阶矩存在时,样本的k阶矩依概率收敛于总体的k阶矩.例如,可用样本均值作为总体均值的估计量,一般地,记总体k阶矩
样本k阶矩 ;
总体k阶中心矩
样本k阶中心矩
用相应的样本矩去估计总体矩的方法就称为矩估计法,用矩估计法确定的估计量称为矩估计量,相应的估计值称为据估计值,矩估计量与矩估计值统称为矩估计.
求矩估计的方法：
设总体的分布函数中含有k个未知参数,则
(1) 求总体的前k阶矩，一般都是这k个未知参数的函数,记为
（*）
(2) 从（*）中解得
(3) 再用的估计量分别代替上式中的,即可得的矩估计量:
注：求类似于上述步骤，最后用代替，求出矩估计 。
二、最大似然估计法引例 某同学与一位猎人一起去打猎,一只野兔从前方窜过,只听一声枪响,野兔应声倒下,试猜测是谁打中的?
由于只发一枪便打中,而猎人命中的概率一般大于这位同学命中的概率,故一般会猜测这一枪是猎人射中的.
最大似然估计法的思想,在已经得到实验结果的情况下,应该寻找使这个结果出现的可能性最大的那个作为的估计.
注,最大似然估计法首先由德国数学家高斯于1821年提出,英国统计学家费歇于1922年重新发现并作了进一步的研究.
下面分别就离散型总体和连续型总体情形作具体讨论.
离散型总体的情形,设总体X的概率分布为
其中为未知参数.
如果是取自总体X的样本,样本的观察值为,则样本的联合分布律
对确定的样本观察值,它是未知参数的函数,
记为,并称其为似然函数.
连续型总体的情形,设总体X的概率密度为,其中为未知参数,此时定义似然函数
.
似然函数的值的大小意味着该样本值出现的可能性的大小,在已得到样本值的情况下,则应该选择使达到最大值的那个作为的估计,这种求点估计的方法称为最大似然估计法.
定义 若对任意给定的样本值,存在
,
使
则称为的最大似然估计值.称相应的统计量为最大似然估计量,它们统称为的最大似然估计(MLE).
求最大似然估计的一般方法求未知参数的最大似然估计问题,归结为求似然函数的最大值点的问题,当似然函数关于未知参数可微时,可利用微分学中求最大值的方法求之,其主要步骤:
(1) 写出似然函数;
(2) 令或,求出驻点;
注,因函数是L的单调增加函数,且函数与函数有相同的极值点,故常转化为求函数的最大值点较方便.
(3) 判断并求出最大值点,在最大值点的表达式中,用样本值代入就得参数的最大似然估计值.
注：(i) 当似然函数关于未知参数不可微时，只能按最大似然估计法的基本思想求出最大值点。
(ii) 上述方法易推广至多个未知参数的情形.
例题选讲
求矩估计的方法例1 (E01) 设总体X的概率密度为
其中是未知数，是取自X的样本,求参数的矩估计.
解 数学期望是一阶原点矩
其样本矩为 而 即为的矩估计.
例2 设总体在上服从均匀分布，未知,是来自的样本,试求的矩估计量.
解
即 解得
注意到 以代替到的矩估计量分别为
例3 (E02) 设总体的均值及方差都存在,且有,但均为未知,又设是来自的样本,试求的矩估计量.
解
得到
以代替得和的矩估计量分别为
注,本例表明,总体均值与方差的矩估计量的表达式不因不同的总体公布而异,如,未知,则的矩估计量为
例4 (E03) 设总体X的概率分布为
其中为未知参数.现抽得一个样本 求的矩估计值.
求最大似然估计的一般方法例5(E04) 设，是取自总体的一个样本，试求参数的最大似然估计.
解 先求总体一阶原点矩
一阶样本矩
由 得 推出 所以的矩估计值
例6 设总体X服从上的均匀分布,未知,为X的样本,为样本值,试求的最大似然估计.
解 似然函数
因不可导,可按最大似然法的基本思想确定 欲使最大,应尽量小但又不能太小,它必须同时满足 即 否则 而不可能是的最大值,因此,当时,可达最大.
所以的最大似然估计值与最大似然估计量分别为
例7 (E05) 设总体X服从指数分布,其概率密度函数
其中,是未知参数,是来自总体X的样本观察值,求参数的最大似然估计值.
解 似然函数
显然的最大值点一定是的最大值点,对其取对数
由,可得参数的最大似然估计值
例8 设是正态总体的样本观察值,其中是未知参数,试求和的最大似然估计值.
解 记似然函数
则
由此可得参数和的最大似然估计值为
最大似然估计量为
与例3中的矩估计量相同.
课堂练习
1,设总体X具有概率概率密度
其中为未知参数,是来自总体X的样本,求的矩估计量.
2,设总体在上服从均匀分布，未知，是一个样本值,试求的最大值似然估计量.
分布图示
★ 矩估计法 ★ 求矩估计的方法
★ 例1 ★ 例2 ★ 例3 ★ 例4
★ 最大似然估计法
★ 求最大似然估计的一般方法
★ 例5 ★ 例6 ★ 例7 ★ 例8
★ 关于有个未知参数的最大似然估计
★ 内容小结 ★ 课堂练习
★ 习题6-2
★ 返回
内容要点一、矩估计法矩估计法的基本思想是用样本矩估计总体矩,因为由在数定理知,当总体的k阶矩存在时,样本的k阶矩依概率收敛于总体的k阶矩.例如,可用样本均值作为总体均值的估计量,一般地,记总体k阶矩
样本k阶矩 ;
总体k阶中心矩
样本k阶中心矩
用相应的样本矩去估计总体矩的方法就称为矩估计法,用矩估计法确定的估计量称为矩估计量,相应的估计值称为据估计值,矩估计量与矩估计值统称为矩估计.
求矩估计的方法：
设总体的分布函数中含有k个未知参数,则
(1) 求总体的前k阶矩，一般都是这k个未知参数的函数,记为
（*）
(2) 从（*）中解得
(3) 再用的估计量分别代替上式中的,即可得的矩估计量:
注：求类似于上述步骤，最后用代替，求出矩估计 。
二、最大似然估计法引例 某同学与一位猎人一起去打猎,一只野兔从前方窜过,只听一声枪响,野兔应声倒下,试猜测是谁打中的?
由于只发一枪便打中,而猎人命中的概率一般大于这位同学命中的概率,故一般会猜测这一枪是猎人射中的.
最大似然估计法的思想,在已经得到实验结果的情况下,应该寻找使这个结果出现的可能性最大的那个作为的估计.
注,最大似然估计法首先由德国数学家高斯于1821年提出,英国统计学家费歇于1922年重新发现并作了进一步的研究.
下面分别就离散型总体和连续型总体情形作具体讨论.
离散型总体的情形,设总体X的概率分布为
其中为未知参数.
如果是取自总体X的样本,样本的观察值为,则样本的联合分布律
对确定的样本观察值,它是未知参数的函数,
记为,并称其为似然函数.
连续型总体的情形,设总体X的概率密度为,其中为未知参数,此时定义似然函数
.
似然函数的值的大小意味着该样本值出现的可能性的大小,在已得到样本值的情况下,则应该选择使达到最大值的那个作为的估计,这种求点估计的方法称为最大似然估计法.
定义 若对任意给定的样本值,存在
,
使
则称为的最大似然估计值.称相应的统计量为最大似然估计量,它们统称为的最大似然估计(MLE).
求最大似然估计的一般方法求未知参数的最大似然估计问题,归结为求似然函数的最大值点的问题,当似然函数关于未知参数可微时,可利用微分学中求最大值的方法求之,其主要步骤:
(1) 写出似然函数;
(2) 令或,求出驻点;
注,因函数是L的单调增加函数,且函数与函数有相同的极值点,故常转化为求函数的最大值点较方便.
(3) 判断并求出最大值点,在最大值点的表达式中,用样本值代入就得参数的最大似然估计值.
注：(i) 当似然函数关于未知参数不可微时，只能按最大似然估计法的基本思想求出最大值点。
(ii) 上述方法易推广至多个未知参数的情形.
例题选讲
求矩估计的方法例1 (E01) 设总体X的概率密度为
其中是未知数，是取自X的样本,求参数的矩估计.
解 数学期望是一阶原点矩
其样本矩为 而 即为的矩估计.
例2 设总体在上服从均匀分布，未知,是来自的样本,试求的矩估计量.
解
即 解得
注意到 以代替到的矩估计量分别为
例3 (E02) 设总体的均值及方差都存在,且有,但均为未知,又设是来自的样本,试求的矩估计量.
解
得到
以代替得和的矩估计量分别为
注,本例表明,总体均值与方差的矩估计量的表达式不因不同的总体公布而异,如,未知,则的矩估计量为
例4 (E03) 设总体X的概率分布为
其中为未知参数.现抽得一个样本 求的矩估计值.
求最大似然估计的一般方法例5(E04) 设，是取自总体的一个样本，试求参数的最大似然估计.
解 先求总体一阶原点矩
一阶样本矩
由 得 推出 所以的矩估计值
例6 设总体X服从上的均匀分布,未知,为X的样本,为样本值,试求的最大似然估计.
解 似然函数
因不可导,可按最大似然法的基本思想确定 欲使最大,应尽量小但又不能太小,它必须同时满足 即 否则 而不可能是的最大值,因此,当时,可达最大.
所以的最大似然估计值与最大似然估计量分别为
例7 (E05) 设总体X服从指数分布,其概率密度函数
其中,是未知参数,是来自总体X的样本观察值,求参数的最大似然估计值.
解 似然函数
显然的最大值点一定是的最大值点,对其取对数
由,可得参数的最大似然估计值
例8 设是正态总体的样本观察值,其中是未知参数,试求和的最大似然估计值.
解 记似然函数
则
由此可得参数和的最大似然估计值为
最大似然估计量为
与例3中的矩估计量相同.
课堂练习
1,设总体X具有概率概率密度
其中为未知参数,是来自总体X的样本,求的矩估计量.
2,设总体在上服从均匀分布，未知，是一个样本值,试求的最大值似然估计量.
