第七章
7-1
参数估计问题假设检验问题点 估 计区间估 计统计推断
DE
基本问题
7-2
什么是参数估计？
参数是刻画总体某方面概率特性的数量,
当此数量未知时,从总体抽出一个样本，
用某种方法对这个未知参数进行估计就是参数估计,
例如,X ~N (?,? 2),
点估计 区间估计若?,? 2未知,通过构造样本的函数,给出它们的估计值或取值范围就是参数估计的内容,
参数估计的类型点估计 —— 估计未知参数的值区间估计 ——
估计未知参数的取值范围，
并使此范围包含未知参数真值的概率为给定的值,
§ 7.1 点估计方法点估计的思想方法设总体 X 的分布函数的形式已知,但含有一个或多个未知参数,?1,?2,?,?k
设 X1,X2,…,Xn为总体的一个样本构造 k 个统计量：
),,,(
),,,(
),,,(
21
212
211
nk
n
n
XXX
XXX
XXX
随机变量
7-5
当测得样本值 (x1,x2,…,xn)时,代入上述方程组，即可得到 k 个数：
),,,(?
),,,(?
),,,(?
21
212
211
nk
n
n
xxx
xxx
xxx
数 值称数
1?,k 为未知参数 1,,k 的 估计值
7-6
对应统计量 为未知参数 的 估计量
1,,k
并建立 k个方程。
三种常用的点估计方法
频率替换法利用事件 A 在 n 次试验中发生的频率
/Ann 作为事件 A 发生的概率 p 的估计量
p
n
n pA
7-7
例 1 设总体 X ~ N (?,2 ),在对其作 28 次独立观察中,事件,X < 4” 出现了 21 次,试用频率替换法求参数? 的估计值,
解 由 75.0
28
21)
2
4()4(XP
675.0
2
4查表得于是? 的估计值为? 045.3
7-8
方法用样本 k 阶矩作为总体 k 阶矩的估计 量,建立含有待估参数的方程,
从而解出待估参数
7-9
一般,不论总体服从什么分布,总体期望?
与方差? 2 存在,则它们的矩估计量分别为
1
1
n
i
i
XX
n
2
1
22 )(1?
n
n
i
i SXXn
矩法
7-10
事实上，按矩法原理，令
n
i
iXnX
1
1
)(1 2
1
2
2 XEXnA
n
i
i
X
)()(? 222 XEXE? 2
2 A
22
1
1 n
i
i
XX
n?
2
1
2)(1
n
n
i
i SXXn
7-11
设待估计的参数为 k,,,21?
设总体的 r 阶矩存在，记为
),,,()( 21 krrXE
样本 X1,X2,…,Xn 的 r 阶矩为?
n
i
r
ir XnB
1
1
kr,,2,1
令
),,,( 21 kr
n
i
r
iXn
1
1
—— 含未知参数?1,?2,?,?k 的方程组
7-12
解方程组,得 k 个统计量：
1 1 2
12
(,,,)
(,,,)
n
kn
X X X
X X X
未知参数
1,?,?k
的 矩估计量
1 1 1 2
12
(,,,)
(,,,)
n
k k n
x x x
x x x
代入一组样本值得 k 个数,
未知参数
1,?,?k
的 矩估计值例 2 设总体 X ~ N (?,? 2 ),X1,X2,…,Xn为总体的样本,求?,? 2 的矩法估计量,
解 X?
矩
2
1
22 1? XX
n
n
i
i
矩?
例 3 设总体 X ~ E(?),X1,X2,…,Xn为总体的样本,求? 的矩法估计量,
解 ( ) 1 /,EX 1 /,X令
7-13
故 1 /,X
矩
例 4 设从某灯泡厂某天生产的灯泡中随机抽取 10只灯泡，测得其寿命为 (单位,小时 )
1050,1100,1080,1120,1200
1250,1040,1130,1300,1200
试用矩法估计该厂这天生产的灯泡的平均寿命及寿命分布的方差,
解 )(1 1 4 710
1)( 10
1
hxxXE
i
i
10
2 2 2 2
1
1
( ) 6 8 2 1 ( ),
10 ii
D X x x h?
7-14
例 5 设总体 X ~ U (a,b),a,b 未知,求参数
a,b 的 矩法估计量,
解 由于 12
)()(,
2)(
2ab
XDbaXE
)()()( 22 XEXDXE
令
22
212
)(
baab
2
ab X
22
2
2
1
( ) 1
1 2 2
n
i
i
b a a b
AX
n?
7-15
解得
)(3? 22 XAXa矩
2
1
3
( ),
n
i
i
X X X
n?
)(3? 22 XAXb矩
2
1
3
( ),
n
i
i
X X X
n?
7-16
极大似然估计法思想方法,一次试验就出现的事件有较大的概率例如,有两外形相同的箱子,各装 100个球一箱 99个白球 1 个红球一箱 1 个白球 99个红球现从两箱中任取一箱,并从箱中任取一球,
结果所取得的球是白球,
答,第一箱,
7-17
问,所取的球来自哪一箱？
例 6 设总体 X 服从 0-1分布,且 P (X = 1) = p,
用极大似然法求 p 的估计值,
解 总体 X 的概率分布为
1,0,)1()( 1 xppxXP xx
设 x1,x2,…,xn为总体样本 X1,X2,…,Xn
的样本值,
则 ),,,( 2211 nn xXxXxXP
)()1( 11 pLpp
n
i
i
n
i
i xnx
nix i,,2,1,1,0
7-18
对于不同的 p,L (p)不同,见右下图现经过一次试验，
0.2 0.4 0.6 0.8 1
p
0.002
0.004
0.006
0.008
0.01
Lp
),,,( 2211 nn xXxXxX
发生了，
事件则 p 的取值应使这个事件发生的概率最大,
p?
7-19
在容许范围内选择 p,使 L(p)最大注意到,ln L(p)是 L 的单调增函数,故若某个 p 使 ln L(p)最大,则这个 p 必使 L(p)最大。
7-20
0
1d
d ln 11 令
p
xn
p
x
p
L
n
i
i
n
i
i
xx
n
p
n
i
i
1
1?
0
)1(d
lnd
2
1
2
1
2
2
p
xn
p
x
p
L
n
i
i
n
i
i
所以 xp 为所求 p 的估计值,
一般,设 X 为离散型随机变量,其分布律为
,,,),,()( 21?uuxxfxXP
则样本 X1,X2,…,Xn的概率分布为
),,,( 2211 nn xXxXxXP
),(),(),( 21 nxfxfxf
12,,,
1,2,,,
ix u u
in?
7-21
)(),,,,( 21 LxxxL n
记为或称 L( ) 为样本的 似然函数?
)?,,,,( 21?nxxxL? )},(),(),(m ax {
21 nxfxfxf
称这样得到的 ),,,(? 21 nxxxg
为参数? 的 极大似然估计值称统计量
),,,( 21 nXXXg
为参数? 的 极大似然估计量
7-22
MLE
简记
mle
简记
选择适当的? =,使 取最大值,即L( )?
极大似然法的思想若 X 连续,取 f (xi,? )为 Xi 的密度函数
n
i
ixfL
1
),()(
似然函数为
7-23
注 1
注 2 未知参数可以不止一个,如?1,…,?k
设 X 的密度 (或分布 )为
1(,,,)kfx
则定义似然函数为
11
1
(,,) (,,,)
n
k i k
i
L f x
,1,2,,ix i n1(,,)k
11(,,;,,)nkL x x
若
11(,,;,,)nkL x x关于?1,…,?k可微,则称 0),,,;,,,(
2121
kn
r
xxxL
为 似然方程组
kr,,2,1
若对于某组给定的样本值 x1,x2,…,xn，
参数 使似然函数取得最大值,即k,,?,? 21?
11(,,;,,)nkL x x )},,,;,,,({m a x
2121),,,(
21
knxxxL
k
则称
1,,k
为?1,…,?k 的 极大似然估计值
7-24
显然，
),,,(? 21 nr xxxg kr,2,1
称统计量
),,,(? 21 nr XXXg kr,,2,1
为?1,?2,…,?k 的 极大似然估计量
7-25
例 7 设总体 X ~ N (?,? 2),x1,x2,…,xn 是 X
的样本值,求?,? 2 的极大似然估计,
解 ),;,,,( 2
21nxxxL?
n
i
ix
nn e
1
2
2
2
)(
222 )()2(
1?
)ln (
2
)2ln (
22
)(ln 2
1
2
2
nnxL n
i
i
2
2
2
)(
1 2
1
ixn
i
e
7-26
xx
n
n
i
im l e
1
1
n
i
im l e xxn
1
22 )(1?
,? 2 的极大似然估计量分别为
1
1,n
i
i
XX
n?
2
1
2)(1
n
n
i
i SXXn
似然方程组为
0)(1ln
12
n
i
ixL
0
)(2
)(
)(2
1ln
)( 21
2
222
nxL n
i
i
7-27
极大似然估计方法
1） 写出似然函数 L
2）求出 k,,?,? 21?,使得
)?,,?,?;,,,( 2121 knxxxL
)},,,;,,,({m a x 2121),,,(
21
knxxxL
k
7-28
0),,,;,,,( 2121?
kn
r
xxxL
kr,,2,1
可得未知参数的极大似然估计值 k,,?,? 21?
然后,再求得极大似然估计量,
7-29
L是 的可微函数,解似然方程组
1,,k
若
L不是 的可微函数,需用其它方法求极大似然估计值,请看下例：
1,,k若例 8 设 X ~ U (a,b),x1,x2,…,xn 是 X 的一个样本值,求 a,b 的极大似然估计值与极大似然估计量,
解 X 的密度函数为
其它,0
,
1
),;(
bxa
abbaxf
似然函数为
其它,0
,,2,1
,
,
)(
1
),;,,,( 21 ni
bxa
abbaxxxL
i
n
n
7-30
似然函数只有当 a < xi < b,i = 1,2,…,n 时才能获得最大值,且 a 越大,b 越小,L 越大,
令 xmin = min {x1,x2,…,xn}
xmax = max {x1,x2,…,xn}
取 m a xm i n?,? xbxa
则对满足 bxxa m a xm i n的一切 a < b,
nn xxab )(
1
)(
1
m i nm a x?
7-31
都有故 m a xm i n?,? xbxa
是 a,b 的极大似然估计值,
},,,m ax {
},,,m in {
21m a x
21m i n
n
n
XXXX
XXXX
分别是 a,b 的极大似然估计量,
7-32
问 题
1) 待估参数的极大似然估计是否一定存在?
2) 若存在,是否惟一?
设 X ~ U ( a –?,a +?),x1,x2,…,xn
是 X的一个样本,求 a 的极大似然估计值,
解 由上例可知,当
2
1?
2
1?
m a xm i n axxa
时,L 取最大值 1,即
2
1?
2
1
m i nm a x xax
显然,a 的极大似然估计值可能不存在,也可能不惟一,
7-33
例 9
不仅如此,任何一个统计量
2
1),,,(
2
1
)1(21)( xxxxgx nn?
),,,( 21 nXXXg?
若满足都可以作为 a 的估计量,
7-34
极大似然估计的不变性设 是? 的极大似然估计值,u(? )
( )是? 的函数,且有单值反函数
=? (u),u?U
则 是 u(? ) 的极大似然估计值,)?(? uu?
7-35
如 在正态总体 N (?,? 2)中,? 2的极大似然估计值为
22
1
1 ()n
i
i
xx
n
2 是? 2的单值函数,且具有单值反函数，故?的极大似然估计值为
2
1
1? ()n
i
i
xx
n
lg? 的极大似然估计值为
2
1
1l g l g ( )n
i
i
xx
n
7-36
作业 P.229 习题七
2 3 5 7
8 10 (1) *14
7-39
7-1
参数估计问题假设检验问题点 估 计区间估 计统计推断
DE
基本问题
7-2
什么是参数估计？
参数是刻画总体某方面概率特性的数量,
当此数量未知时,从总体抽出一个样本，
用某种方法对这个未知参数进行估计就是参数估计,
例如,X ~N (?,? 2),
点估计 区间估计若?,? 2未知,通过构造样本的函数,给出它们的估计值或取值范围就是参数估计的内容,
参数估计的类型点估计 —— 估计未知参数的值区间估计 ——
估计未知参数的取值范围，
并使此范围包含未知参数真值的概率为给定的值,
§ 7.1 点估计方法点估计的思想方法设总体 X 的分布函数的形式已知,但含有一个或多个未知参数,?1,?2,?,?k
设 X1,X2,…,Xn为总体的一个样本构造 k 个统计量：
),,,(
),,,(
),,,(
21
212
211
nk
n
n
XXX
XXX
XXX
随机变量
7-5
当测得样本值 (x1,x2,…,xn)时,代入上述方程组，即可得到 k 个数：
),,,(?
),,,(?
),,,(?
21
212
211
nk
n
n
xxx
xxx
xxx
数 值称数
1?,k 为未知参数 1,,k 的 估计值
7-6
对应统计量 为未知参数 的 估计量
1,,k
并建立 k个方程。
三种常用的点估计方法
频率替换法利用事件 A 在 n 次试验中发生的频率
/Ann 作为事件 A 发生的概率 p 的估计量
p
n
n pA
7-7
例 1 设总体 X ~ N (?,2 ),在对其作 28 次独立观察中,事件,X < 4” 出现了 21 次,试用频率替换法求参数? 的估计值,
解 由 75.0
28
21)
2
4()4(XP
675.0
2
4查表得于是? 的估计值为? 045.3
7-8
方法用样本 k 阶矩作为总体 k 阶矩的估计 量,建立含有待估参数的方程,
从而解出待估参数
7-9
一般,不论总体服从什么分布,总体期望?
与方差? 2 存在,则它们的矩估计量分别为
1
1
n
i
i
XX
n
2
1
22 )(1?
n
n
i
i SXXn
矩法
7-10
事实上，按矩法原理，令
n
i
iXnX
1
1
)(1 2
1
2
2 XEXnA
n
i
i
X
)()(? 222 XEXE? 2
2 A
22
1
1 n
i
i
XX
n?
2
1
2)(1
n
n
i
i SXXn
7-11
设待估计的参数为 k,,,21?
设总体的 r 阶矩存在，记为
),,,()( 21 krrXE
样本 X1,X2,…,Xn 的 r 阶矩为?
n
i
r
ir XnB
1
1
kr,,2,1
令
),,,( 21 kr
n
i
r
iXn
1
1
—— 含未知参数?1,?2,?,?k 的方程组
7-12
解方程组,得 k 个统计量：
1 1 2
12
(,,,)
(,,,)
n
kn
X X X
X X X
未知参数
1,?,?k
的 矩估计量
1 1 1 2
12
(,,,)
(,,,)
n
k k n
x x x
x x x
代入一组样本值得 k 个数,
未知参数
1,?,?k
的 矩估计值例 2 设总体 X ~ N (?,? 2 ),X1,X2,…,Xn为总体的样本,求?,? 2 的矩法估计量,
解 X?
矩
2
1
22 1? XX
n
n
i
i
矩?
例 3 设总体 X ~ E(?),X1,X2,…,Xn为总体的样本,求? 的矩法估计量,
解 ( ) 1 /,EX 1 /,X令
7-13
故 1 /,X
矩
例 4 设从某灯泡厂某天生产的灯泡中随机抽取 10只灯泡，测得其寿命为 (单位,小时 )
1050,1100,1080,1120,1200
1250,1040,1130,1300,1200
试用矩法估计该厂这天生产的灯泡的平均寿命及寿命分布的方差,
解 )(1 1 4 710
1)( 10
1
hxxXE
i
i
10
2 2 2 2
1
1
( ) 6 8 2 1 ( ),
10 ii
D X x x h?
7-14
例 5 设总体 X ~ U (a,b),a,b 未知,求参数
a,b 的 矩法估计量,
解 由于 12
)()(,
2)(
2ab
XDbaXE
)()()( 22 XEXDXE
令
22
212
)(
baab
2
ab X
22
2
2
1
( ) 1
1 2 2
n
i
i
b a a b
AX
n?
7-15
解得
)(3? 22 XAXa矩
2
1
3
( ),
n
i
i
X X X
n?
)(3? 22 XAXb矩
2
1
3
( ),
n
i
i
X X X
n?
7-16
极大似然估计法思想方法,一次试验就出现的事件有较大的概率例如,有两外形相同的箱子,各装 100个球一箱 99个白球 1 个红球一箱 1 个白球 99个红球现从两箱中任取一箱,并从箱中任取一球,
结果所取得的球是白球,
答,第一箱,
7-17
问,所取的球来自哪一箱？
例 6 设总体 X 服从 0-1分布,且 P (X = 1) = p,
用极大似然法求 p 的估计值,
解 总体 X 的概率分布为
1,0,)1()( 1 xppxXP xx
设 x1,x2,…,xn为总体样本 X1,X2,…,Xn
的样本值,
则 ),,,( 2211 nn xXxXxXP
)()1( 11 pLpp
n
i
i
n
i
i xnx
nix i,,2,1,1,0
7-18
对于不同的 p,L (p)不同,见右下图现经过一次试验，
0.2 0.4 0.6 0.8 1
p
0.002
0.004
0.006
0.008
0.01
Lp
),,,( 2211 nn xXxXxX
发生了，
事件则 p 的取值应使这个事件发生的概率最大,
p?
7-19
在容许范围内选择 p,使 L(p)最大注意到,ln L(p)是 L 的单调增函数,故若某个 p 使 ln L(p)最大,则这个 p 必使 L(p)最大。
7-20
0
1d
d ln 11 令
p
xn
p
x
p
L
n
i
i
n
i
i
xx
n
p
n
i
i
1
1?
0
)1(d
lnd
2
1
2
1
2
2
p
xn
p
x
p
L
n
i
i
n
i
i
所以 xp 为所求 p 的估计值,
一般,设 X 为离散型随机变量,其分布律为
,,,),,()( 21?uuxxfxXP
则样本 X1,X2,…,Xn的概率分布为
),,,( 2211 nn xXxXxXP
),(),(),( 21 nxfxfxf
12,,,
1,2,,,
ix u u
in?
7-21
)(),,,,( 21 LxxxL n
记为或称 L( ) 为样本的 似然函数?
)?,,,,( 21?nxxxL? )},(),(),(m ax {
21 nxfxfxf
称这样得到的 ),,,(? 21 nxxxg
为参数? 的 极大似然估计值称统计量
),,,( 21 nXXXg
为参数? 的 极大似然估计量
7-22
MLE
简记
mle
简记
选择适当的? =,使 取最大值,即L( )?
极大似然法的思想若 X 连续,取 f (xi,? )为 Xi 的密度函数
n
i
ixfL
1
),()(
似然函数为
7-23
注 1
注 2 未知参数可以不止一个,如?1,…,?k
设 X 的密度 (或分布 )为
1(,,,)kfx
则定义似然函数为
11
1
(,,) (,,,)
n
k i k
i
L f x
,1,2,,ix i n1(,,)k
11(,,;,,)nkL x x
若
11(,,;,,)nkL x x关于?1,…,?k可微,则称 0),,,;,,,(
2121
kn
r
xxxL
为 似然方程组
kr,,2,1
若对于某组给定的样本值 x1,x2,…,xn，
参数 使似然函数取得最大值,即k,,?,? 21?
11(,,;,,)nkL x x )},,,;,,,({m a x
2121),,,(
21
knxxxL
k
则称
1,,k
为?1,…,?k 的 极大似然估计值
7-24
显然，
),,,(? 21 nr xxxg kr,2,1
称统计量
),,,(? 21 nr XXXg kr,,2,1
为?1,?2,…,?k 的 极大似然估计量
7-25
例 7 设总体 X ~ N (?,? 2),x1,x2,…,xn 是 X
的样本值,求?,? 2 的极大似然估计,
解 ),;,,,( 2
21nxxxL?
n
i
ix
nn e
1
2
2
2
)(
222 )()2(
1?
)ln (
2
)2ln (
22
)(ln 2
1
2
2
nnxL n
i
i
2
2
2
)(
1 2
1
ixn
i
e
7-26
xx
n
n
i
im l e
1
1
n
i
im l e xxn
1
22 )(1?
,? 2 的极大似然估计量分别为
1
1,n
i
i
XX
n?
2
1
2)(1
n
n
i
i SXXn
似然方程组为
0)(1ln
12
n
i
ixL
0
)(2
)(
)(2
1ln
)( 21
2
222
nxL n
i
i
7-27
极大似然估计方法
1） 写出似然函数 L
2）求出 k,,?,? 21?,使得
)?,,?,?;,,,( 2121 knxxxL
)},,,;,,,({m a x 2121),,,(
21
knxxxL
k
7-28
0),,,;,,,( 2121?
kn
r
xxxL
kr,,2,1
可得未知参数的极大似然估计值 k,,?,? 21?
然后,再求得极大似然估计量,
7-29
L是 的可微函数,解似然方程组
1,,k
若
L不是 的可微函数,需用其它方法求极大似然估计值,请看下例：
1,,k若例 8 设 X ~ U (a,b),x1,x2,…,xn 是 X 的一个样本值,求 a,b 的极大似然估计值与极大似然估计量,
解 X 的密度函数为
其它,0
,
1
),;(
bxa
abbaxf
似然函数为
其它,0
,,2,1
,
,
)(
1
),;,,,( 21 ni
bxa
abbaxxxL
i
n
n
7-30
似然函数只有当 a < xi < b,i = 1,2,…,n 时才能获得最大值,且 a 越大,b 越小,L 越大,
令 xmin = min {x1,x2,…,xn}
xmax = max {x1,x2,…,xn}
取 m a xm i n?,? xbxa
则对满足 bxxa m a xm i n的一切 a < b,
nn xxab )(
1
)(
1
m i nm a x?
7-31
都有故 m a xm i n?,? xbxa
是 a,b 的极大似然估计值,
},,,m ax {
},,,m in {
21m a x
21m i n
n
n
XXXX
XXXX
分别是 a,b 的极大似然估计量,
7-32
问 题
1) 待估参数的极大似然估计是否一定存在?
2) 若存在,是否惟一?
设 X ~ U ( a –?,a +?),x1,x2,…,xn
是 X的一个样本,求 a 的极大似然估计值,
解 由上例可知,当
2
1?
2
1?
m a xm i n axxa
时,L 取最大值 1,即
2
1?
2
1
m i nm a x xax
显然,a 的极大似然估计值可能不存在,也可能不惟一,
7-33
例 9
不仅如此,任何一个统计量
2
1),,,(
2
1
)1(21)( xxxxgx nn?
),,,( 21 nXXXg?
若满足都可以作为 a 的估计量,
7-34
极大似然估计的不变性设 是? 的极大似然估计值,u(? )
( )是? 的函数,且有单值反函数
=? (u),u?U
则 是 u(? ) 的极大似然估计值,)?(? uu?
7-35
如 在正态总体 N (?,? 2)中,? 2的极大似然估计值为
22
1
1 ()n
i
i
xx
n
2 是? 2的单值函数,且具有单值反函数，故?的极大似然估计值为
2
1
1? ()n
i
i
xx
n
lg? 的极大似然估计值为
2
1
1l g l g ( )n
i
i
xx
n
7-36
作业 P.229 习题七
2 3 5 7
8 10 (1) *14
7-39
