? 参数点估计参数点估计是对参数取哪一个值作出估计．
定义：设总体的分布已知，但其中含有未知参数
（可以是一个向量），点估计就是依据某种原理，根据样本来构造统计量 （可以是一个向量）作为 的估计量，记为
T
12? (,,,)nT X X X
当样本取定一个观察值时，估计量也有一个值，
这个值称为估计值，不同的抽样，有不同的估计值，它与真值会有差异，这种差异除了抽样带来的误差外，与估计量的形式有关．因此，
选取统计量也是非常重要的．我们介绍两种统计量的方法：矩法与极大似然法
矩法估计假设样本为简单随机样本，则由大数定律，有
12,,,k k k knX X X X独 立 同 分 布,且 与 总 体 的 分 布 相 同
1
1
l i m ( )
n
kk
in
i
X E X
n
其中当 n比较大时
1
1 n k
i
i
Xk
n
为 样 本 阶 原 点 矩
() kE X k为 总 体 阶 原 点 矩
1
1
()
n
kk
i
i
X E X
n?
利用这种近似相等关系的思想，得到矩法估计的定义．
定义：用样本原点矩去代替总体相应的原点矩得到的参数的估计量的方法称为矩法，称这种估计为矩法估计量．
例 设总体,其中 a,b为未知参数，
现从中抽取一个样本观察值（２,3,2,4,3),试用矩法估计 a,b的值．
解：
~ (,)X U a b
先求估计量，由矩法得方程组由于
1
22
2
1
1
()
1
()
n
i
i
n
i
i
X X E X
n
A X E X
n
22
2( ),( )
23
a b a ab bE X E X
注意到解得：
2
22B A X
2
2
3
3
a X B
b X B
我们计算得到这样得到 a,b的估计值是
22,8,0,56xb
1,5
4,1
a
b
例 设总体Ｘ的分布密度为其中 为未知参数，现从中抽取一个样本，试求 的矩法估计量．
解：
1 | |( ; ) e x p ( )
2
xfx?
由于故令得到估计量通常我们是采用下面的方法
22( ) 0 ( ) 2E X E X与 参 数 无 关,
2
2 2A
2?
2
A
另解我们可认为而由矩法，我们令得到
12( | |,| |,,| |) | |nX X X X为 的 一 个 样 本
( | |)EX
1
1 | | ( | | )n
i
i
X E X
n?
1
1? ||n
i
i
X
n
极大似然估计极大似然估计是利用小概率原理作出估计的．
小概率原理,一个概率非常小的一个事件在一次试验中几乎是不可能发生的；也就是说，如果一个事件在一次试验中居然发生了，那么这个事件发生的概率不可能很小，而应认为其概率会尽可能地大．
例 设总体,现从中抽取一个样本观察值（ 500,300,600,400,700),试估计 的值．
解：
~ ( )XP?
这里,n是 5，设 为样本，在一次试验中事件发生了，而
1 2 5(,,,)X X X
1 2 5{ 5 0 0,3 0 0,,7 0 0 }X X X
1 2 5
50 0 30 0 70 0
50 0 70 0 5
{ 500,300,,700 }
500 ! 300 ! 700 !
500 ! 700 !
P X X X
e e e
e
是参数 的函数，由小概率原理，这个概率不会太小，应尽可能大，即求这个概率的最大值．利用求导可得到当 时，这个概率达到最大．因此，我们有理由认为参数为 500.这就是极大似然估计．
500
一般地，当总体为离散型总体，其分布中含有未知参数 （可以是向量），
为一个样本,为一次观察值，
称为似然函数．
12(,,,)nX X X
12(,,,)nx x x
12
1 1 2 2
(,,,; )
{,,,}
n
nn
L x x x
P X x X x X x
称对数似然函数．称满足的 为 极大似然估计值，记为
12
12
(,,,; )
l n (,,,; }
n
n
l x x x
L x x x
1 2 1 2?(,,,; ) m a x (,,,; }nnL x x x L x x x
12
(,,,)
nx x x?
而称为极大似然估计量．简称ＭＬ估计．
上例的一般情况是
12? (,,,)nX X X?
例：设总体Ｘ服从参数为 的泊松分布，求的极大似然估计．
解：总体Ｘ的分布为似然函数为 {} !
x
P X x e
x
12
12
1
12
(,,,; )
!
1
! ! !
i
n
xn
n
i i
x x x n
n
L x x x e
x
e
x x x
对数似然函数为这两个函数的极值点相同，对对数似然函数求导，并令其为０，得
12
12
12
(,,,; )
( ) l n ( )
l n ( ! ! ! )
n
n
n
l x x x
x x x
n x x x
得到从而极大似然估计为
12
1
( ) 0nx x x n
12
1? ()
nx x x xn
12
1? ()
nX X X Xn
当总体是连续型总体时,我们定义似然函数为对数似然函数为
1 2 1 2
1
(,,,; ) (,,,; )
( ; )
nn
n
i
i
L x x x f x x x
fx
12
12
(,,,; )
l n (,,,; )
n
n
l x x x
L x x x
例 设总体,试求 的极大似然估计,
解：
~ ( )XE
解,似然函数为对数似然函数为
12
1
(,,,; ) i
i
n
x
n
i
xn
L x x x e
e
12(,,,; ) l n ( )nil x x x n x
对 求导并令其为 0,得从而解得的极大似估计
0in x
1?
i
n
xx
1?
X
例 设总体,其中 a,b为未知参数，
试求 a,b的极大似然估计．
解：总体Ｘ的分布密度
~ (,)X U a b
1
()
0
a x b
fx ba
其 它
似然函数为此函数没有极值,它在边界上取得最大值,由于
12
12
(,,,;,)
1
,,,,
()
n
nn
L x x x a b
a x x x b
ba
12
12
,,,
,,,
n
n
a x x x
x x x b
()
,,
m in,
m a x
i
ni
a b b a
L
a X X
b X X
(1)
直 观 上,越 大 越 小 的 值 越 小从 而 的 值 就 越 大,因 此
=
注 若总体,其中 b为未知参数，
则 b的极大似然估计为若总体,其中 a为未知参数，
则 a的极大似然估计为
~ (0,)X U b
()? m a xnib X X
~ (,1)X U a
( 1 )? m i n ia X X
极大似然估计的数值解极大似然估计需要求似然方程 (组 )的解,但在大多数情况下,似然方程的解往往没有解析表达式,这时需要利用数值方法来求方程 (组 )的近似解,通常采用迭代求解,如课本上介绍的 Newton-
Raphson算法
（见教材 P27-29）
定义：设总体的分布已知，但其中含有未知参数
（可以是一个向量），点估计就是依据某种原理，根据样本来构造统计量 （可以是一个向量）作为 的估计量，记为
T
12? (,,,)nT X X X
当样本取定一个观察值时，估计量也有一个值，
这个值称为估计值，不同的抽样，有不同的估计值，它与真值会有差异，这种差异除了抽样带来的误差外，与估计量的形式有关．因此，
选取统计量也是非常重要的．我们介绍两种统计量的方法：矩法与极大似然法
矩法估计假设样本为简单随机样本，则由大数定律，有
12,,,k k k knX X X X独 立 同 分 布,且 与 总 体 的 分 布 相 同
1
1
l i m ( )
n
kk
in
i
X E X
n
其中当 n比较大时
1
1 n k
i
i
Xk
n
为 样 本 阶 原 点 矩
() kE X k为 总 体 阶 原 点 矩
1
1
()
n
kk
i
i
X E X
n?
利用这种近似相等关系的思想，得到矩法估计的定义．
定义：用样本原点矩去代替总体相应的原点矩得到的参数的估计量的方法称为矩法，称这种估计为矩法估计量．
例 设总体,其中 a,b为未知参数，
现从中抽取一个样本观察值（２,3,2,4,3),试用矩法估计 a,b的值．
解：
~ (,)X U a b
先求估计量，由矩法得方程组由于
1
22
2
1
1
()
1
()
n
i
i
n
i
i
X X E X
n
A X E X
n
22
2( ),( )
23
a b a ab bE X E X
注意到解得：
2
22B A X
2
2
3
3
a X B
b X B
我们计算得到这样得到 a,b的估计值是
22,8,0,56xb
1,5
4,1
a
b
例 设总体Ｘ的分布密度为其中 为未知参数，现从中抽取一个样本，试求 的矩法估计量．
解：
1 | |( ; ) e x p ( )
2
xfx?
由于故令得到估计量通常我们是采用下面的方法
22( ) 0 ( ) 2E X E X与 参 数 无 关,
2
2 2A
2?
2
A
另解我们可认为而由矩法，我们令得到
12( | |,| |,,| |) | |nX X X X为 的 一 个 样 本
( | |)EX
1
1 | | ( | | )n
i
i
X E X
n?
1
1? ||n
i
i
X
n
极大似然估计极大似然估计是利用小概率原理作出估计的．
小概率原理,一个概率非常小的一个事件在一次试验中几乎是不可能发生的；也就是说，如果一个事件在一次试验中居然发生了，那么这个事件发生的概率不可能很小，而应认为其概率会尽可能地大．
例 设总体,现从中抽取一个样本观察值（ 500,300,600,400,700),试估计 的值．
解：
~ ( )XP?
这里,n是 5，设 为样本，在一次试验中事件发生了，而
1 2 5(,,,)X X X
1 2 5{ 5 0 0,3 0 0,,7 0 0 }X X X
1 2 5
50 0 30 0 70 0
50 0 70 0 5
{ 500,300,,700 }
500 ! 300 ! 700 !
500 ! 700 !
P X X X
e e e
e
是参数 的函数，由小概率原理，这个概率不会太小，应尽可能大，即求这个概率的最大值．利用求导可得到当 时，这个概率达到最大．因此，我们有理由认为参数为 500.这就是极大似然估计．
500
一般地，当总体为离散型总体，其分布中含有未知参数 （可以是向量），
为一个样本,为一次观察值，
称为似然函数．
12(,,,)nX X X
12(,,,)nx x x
12
1 1 2 2
(,,,; )
{,,,}
n
nn
L x x x
P X x X x X x
称对数似然函数．称满足的 为 极大似然估计值，记为
12
12
(,,,; )
l n (,,,; }
n
n
l x x x
L x x x
1 2 1 2?(,,,; ) m a x (,,,; }nnL x x x L x x x
12
(,,,)
nx x x?
而称为极大似然估计量．简称ＭＬ估计．
上例的一般情况是
12? (,,,)nX X X?
例：设总体Ｘ服从参数为 的泊松分布，求的极大似然估计．
解：总体Ｘ的分布为似然函数为 {} !
x
P X x e
x
12
12
1
12
(,,,; )
!
1
! ! !
i
n
xn
n
i i
x x x n
n
L x x x e
x
e
x x x
对数似然函数为这两个函数的极值点相同，对对数似然函数求导，并令其为０，得
12
12
12
(,,,; )
( ) l n ( )
l n ( ! ! ! )
n
n
n
l x x x
x x x
n x x x
得到从而极大似然估计为
12
1
( ) 0nx x x n
12
1? ()
nx x x xn
12
1? ()
nX X X Xn
当总体是连续型总体时,我们定义似然函数为对数似然函数为
1 2 1 2
1
(,,,; ) (,,,; )
( ; )
nn
n
i
i
L x x x f x x x
fx
12
12
(,,,; )
l n (,,,; )
n
n
l x x x
L x x x
例 设总体,试求 的极大似然估计,
解：
~ ( )XE
解,似然函数为对数似然函数为
12
1
(,,,; ) i
i
n
x
n
i
xn
L x x x e
e
12(,,,; ) l n ( )nil x x x n x
对 求导并令其为 0,得从而解得的极大似估计
0in x
1?
i
n
xx
1?
X
例 设总体,其中 a,b为未知参数，
试求 a,b的极大似然估计．
解：总体Ｘ的分布密度
~ (,)X U a b
1
()
0
a x b
fx ba
其 它
似然函数为此函数没有极值,它在边界上取得最大值,由于
12
12
(,,,;,)
1
,,,,
()
n
nn
L x x x a b
a x x x b
ba
12
12
,,,
,,,
n
n
a x x x
x x x b
()
,,
m in,
m a x
i
ni
a b b a
L
a X X
b X X
(1)
直 观 上,越 大 越 小 的 值 越 小从 而 的 值 就 越 大,因 此
=
注 若总体,其中 b为未知参数，
则 b的极大似然估计为若总体,其中 a为未知参数，
则 a的极大似然估计为
~ (0,)X U b
()? m a xnib X X
~ (,1)X U a
( 1 )? m i n ia X X
极大似然估计的数值解极大似然估计需要求似然方程 (组 )的解,但在大多数情况下,似然方程的解往往没有解析表达式,这时需要利用数值方法来求方程 (组 )的近似解,通常采用迭代求解,如课本上介绍的 Newton-
Raphson算法
（见教材 P27-29）
