实验数据处理方法
第三部分：统计学方法
第十二章 最大似然法
(Maximum Likelihood method)
第十二章 最大似然法
(Maximum Likelihood Method)
点估计的方法之一，是参数估计中常用的方法，具有以下的特点,
1,在一定的条件下,ML估计式满足一致性、无偏性、有效
性等要求；
2,当样本容量 n??时,ML估计式满足正态分布 ?方差容易
计算；
3,用 ML方法可较容易地得到参数的估计式；
本章内容,
1,最大似然原理；
2,用 ML方法求解参数估计问题的步骤；
3,ML估计式的特性；
4,如何计算 ML估计值的方差；
5,利用似然函数进行区间估计
第十二章 最大似然法
(Maximum Likelyhood Method)
12.1 最大似然原理
12.1 最大似然原理
(一 ) 似然函数的定义
p.d.f,f(x|?)
测量量,x = {x1,x2,…,xn }
1)|(
)|()|(
1
?
?
?
?
?
?
xdxL
xfxL
n
i
i
?
??
(二 ) 最大似然原理
未知参数 ?的最佳估计值 应满足如下的条件,??
)|()?|( ?? xLxL ?
i,位于 ?的允许取值范围；
ii,对于给定的一组测量值,使 L取极大值,?
?
??
12.1 最大似然原理
(三 )估计值 的求法
似然方程,0),()|(
1 ??
???? ?
?
n
i ixf
xL ??? ?
极大值条件,0)|(
?2
2 ?
?? ???? ?xL
因为 lnL是 L的单调上升函数,lnL和 L具有相同的极大值点，
所以,L?lnL,求和运算比乘积运算容易处理
似然方程,
极大值条件,0)|(ln
?2
2 ?
?? ???? ?xL
0),(ln)|(ln 1 ?????? ??ni ixfxL ??? ?
如果有 k个位置参数,? = {?1,?2,…,?k}
?k阶似然方程
kjxfxL ni ijj,,2,10),(ln)|(ln 1 ???? ???? ?? ??? ?
估计值,
}?,,?,?{? 21 k???? ??
??
12.1 最大似然原理
极大值条件：二次矩阵 是负定的 (Negative definite) )?(?U
????
??
?
2
|)|(ln)?( ?????
ji
ij
xLU
第十二章 最大似然法
(Maximum Likelyhood Method)
12.2 用 ML方法进行参数估计的步骤
12.2 用 ML方法进行参数估计的步骤
1) 构造概率密度函数；
2) 构造似然函数；
3) 求似然函数的极大值。
12.2 用 ML方法进行参数估计的步骤
（一）构造概率密度函数
物理系统的特性：某些量的理论概率分布函数
实验的条件：分辨率、探测效率
?ML方法中所需的 p.d.f
例：不变质量谱分析,e+e-?J/???K+K-
? 通过测量 K+K-的动量，可得到 K+K-的不变质量
分布，对该分布进行统计分析，可得到衰变过程
中产生的共振态的信息；
? 描述不变质量 m的分布的 p.d.f应包含对该分布有
贡献的物理过程
12.2 用 ML方法进行参数估计的步骤
1,信号事例,
??
?
KK
XJ ??
在不变质量为 m0处出现共振态 X的弹性散射振幅可用 Breit-
Wigner公式描述,
20 ???
??
immBW
?,X的宽度,m0,X的静质量,m,K+K-的不变质量
（ 1）如果 ?较小
4)( 220
2
???
??
mmBW
实验结果包含质量分辨率 ?和探测效率的影响,?~ ?，故
必须对理论公式进行修正
? ??? mdmmRmBWBW ),()(22 ?
12.2 用 ML方法进行参数估计的步骤
?(m)：效率函数，因 ?(m)随 m的变化较小，故 ?(m)~常数
R(m,m′)：分辨率函数，真值为 m时，获得测量值 m′的概率
其中,
])(e x p [2 1),( 2221 ??? mmmmR ?????
?：质量分辨率
因此，窄共振峰的 p.d.f为
??
??
222
)()(
))(R e (
2
1
),(
0
2
2
?
?
?
?
??
???
?
?
i
mm
z
ize r fcezw
zwmdmmRBW
z
12.2 用 ML方法进行参数估计的步骤
（ 1）如果 ?较大，宽共振峰
如果在衰变过程中存在着多个宽共振，则可能存在仙湖干涉
的现象，设有 Namp个相干的共振峰，则描述这些共振峰的
p.d.f为
因为 ?>> ?，所以 R(m,m′)~ ?(m-m′)
2
~
0
2
2
11
1
???
??
? ?
?
?
?
?
immBW
BWeBW
k
k
k
N
k
kk
am p
k??
?k-1：相位差
?k-1：第 k个相干的共振峰事例数 /第一个相干的共振峰的
事例数
12.2 用 ML方法进行参数估计的步骤
2,本底事例：相空间本底、粒子误判本底、其它衰变道本底等
?????? ?? ?
?
bN
i
i
ipsb a c k xPbmmmfmf
1m i nm a x
)(11),(~),( ??
fps(m,?),相空间函数
Pi(x),i阶 Legendre多项式
bi：未知参数
m i nm a x
m i n1 mm mmx ?????
12.2 用 ML方法进行参数估计的步骤
如果衰变过程中,NBW个窄共振峰,Namp个相干共振峰，则 m的 pdf
1
1
2
11
2
1
1
( | ) Re ( ( ) ) /
2
( 1 )
bw
a m p
k
BW
N
m BW
k m
N
i
k k am p
k
N
k ba c k ba c k
k
f m W z C
BW e BW C
fC
?
??
??
??
??
?
?
?
?
?
?
??
? ? ?
? ? ?
?
?
?
其中,CBW,Camp,Cback为归一化常数，保证 ( | ) 1f m dm? ??
：第 k个窄共振峰事例数 /总事例数 k?
?, Namp个相干共振峰事例数 /总事例数
?BES分析软件 BWFIT程序中使用的 p.d.f
（二）构造似然函数
12.2 用 ML方法进行参数估计的步骤
设对某物理系统进行了 n次测量, x1,x2,…x n
1
l n ( | ) l n ( | )n i
i
x f x??
?
? ?L
根据需要可对
在实验条件一定的条件下，事例的产生率为常数,
? 在时间 t内获得 n个事例的概率为泊松分布。
观测到 n个事例，且测量量为 x1,x2,…x n的联合概率为
条件,ν必须能够精确确定
( | )x ?L 进行变化,
1,广义似然函数 （ Generalized Likelihood Function）
总事例数 n也是随机变量，服从平均值为 υ的泊松分布,
1
(,| ) ( | ) ( | )!!
nn n
i
i
een x x f x????? ? ???
?
?? ?LL
?广义似然函数,()? ? ?=
优点,n对 θ增加了附加的限制
12.2 用 ML方法进行参数估计的步骤
2,数据分类情况下的似然函数
对实验数据进行分间隔处理，（如作成直方图）然后用 ML方法对分类
in
后的数据进行处理。
优点：减小了数据量，使得对 的计算速度加快 L
缺点：由于将原 L 简化为少量的几个, 平均, pdf的乘积，使得
参数估计的精度下降。
设将 x的变化范围分成了 N个间隔
：第 i个间隔内的事例数
1
N
i
i
nn
?
??
ip
：某事例落入第 i个间隔的概率
N个事例分布于 N个间隔内，每个间隔内的事例数为 n1,n2,…n N
的概率满足多项式分布,
12.2 用 ML方法进行参数估计的步骤
12
1
1(,| ) !
( ) ( | )
i
i
n
n
Ni
i i
ii x
n n n n P
n
P P f x d x
?
??
?
?
?
??
?
?
L
ix?
：间隔的宽度
取对数并只保留与 θ 有关的项
12
1
(,| ) ( )NN i i
i
l n n n n n P??
?
? ?L
?分间隔的似然函数（ Binned Likelihood Function）
(1) N很大,
ix?
很小,12( | ) (,| )Nx n n n??LL
(2) 如果在某一间隔内的变化不是很大，则用
12(,| )Nn n n ?L
得到的 θ 的精度是可接受的
12.2 用 ML方法进行参数估计的步骤
ln l n ( ) 0,1,2n
j
ii
f x | i k????? ???? ?L =
/1( | ) 0tf t e t?? ? ?? ? ? ?
lnf ?? L
例：估计粒子的平均寿命
（三）求似然函数的极大值
1,求解似然方程,
一般情况下无解析解，只能用数值解法。
2,用 CERN程序 MINUIT求解函数 的极小值，得
θ 的估计式 及其误差 ??
探测 K0粒子的产生和衰变。假定探测器无限大，则 K0粒子在
t时刻衰变的 p.d.f
12.2 用 ML方法进行参数估计的步骤
i
L L Et
c p c?
???
?22
ln | ) 0
?
n
?????
? ? ? ?
?
L
τ,粒子的平均寿命，为未知参数。 K0的飞行时间 ti
L：飞行距离,p：动量,E：能量,c：光速
对于 n个观测事例,
1
1() in t
i
t | e ?? ? ?
?
? ?L
211
l n 1( l n ) ( ) 0nn ii
i = i =
tt?
? ? ? ? ?
?? ? ? ? ? ? ?
?? ??
L =
?
1
1? n
i
i
ttn?
?
???
? 当 ???? 时,LF取极大值。
第十二章 最大似然法
(Maximum Likelyhood Method)
12.3 ML估计式的特性
1,参数变换不变性
? ?0||? ? ? ?
?
? ? ???
? ? ???
? ? ?
LL
12.3 ML估计式的特性
??设 是参数的 ML估计值,()?? 是 θ 的函数。如果用 ()?? 作为
参量来求 LF的极大值，则所得 θ 的估计值亦为 ??
如果 ?
? 0|??
?
? ?
? ?
?
，则有
? ? ()0|| ? ? ????? ??
????LL
??( ) ( )? ? ? ???
2,一致性（ consistency）
在一般条件下,ML估计值满足一致性条件，即
?n???,当 n?? 时。
3,无偏性（ unbiassedness）
在某些特殊情况下,ML估计式是无偏的，即
在一般条件下,ML估计式不满足无偏性,
故当样本容量
?()E ???
n?? 时,ML估计式总是无偏的。
?()E ???,但其偏差 1()o
n
( ) ( ) ( )x | G t | H x???L
12.3 ML估计式的特性
如果 θ 的充分估计式 t存在，则用 ML方法一定能得到该估计式。
4,充分性（ sufficiency）
充分必要条件 ?
()= 0 = 0G t | ?
??
?? ?L 即 θ 只依赖于 t
5,有效性（ Efficiency）
如果 θ 的有效估计式 t存在，则用 ML方法一定能得到该估计式。
ln0 = ( ) [ ( ) ]A t b? ? ?
?
?? ? ?
?
L 充分必要条件
?
6,渐近正态性（ Asympototic normality）
在样本容量很大时,θ 的 ML估计值满足渐近正态分布，其平均值
为 θ 的真值 θ 0，方差为最小方差限（ MVB）。
第十二章 最大似然法
(Maximum Likelyhood Method)
12.4 ML估计式的方差
12.3 ML估计式的方差
对 ML估计值的误差的估计依赖于 p.d.f的性质和样本的大小，不同
（一）方差估计的一般方法（适合于任何容量的样本）
通过求解似然方程
的方法适用于不同的样本；大样本公式，小样本公式。
统计误差：如果 p.d.f是纯理论公式，即没有对实验条件进行修正,
则由 ML得到的误差为统计误差。
否则：误差 ? 统计误差＋实验误差
LF,
121( | ) ( | ),{,}
n
ikix f x? ? ? ? ? ?????L
ln 0
i?
? ?
?
L,得 θ i的估计式
12? {,}i i nx x x??? ?是随机变量 12,nx x x 的函数
? 的真值,12{,}n? ? ? ??
12.3 ML估计式的方差
1,
此式与上式等价。
如果 p.d.f和
估计式的方差。
2,由
? ?( | ) ( | )d J x d x J? ? ? ??LL
是
分母为归一化因子。
?i? ?j?和 的协方差
? ? ? ? ?( ) ( ) ( ) ( | )ij i i j jVd? ? ? ? ? ? ? ??? ? ?? L
? ?
i?
的表达式已知，则无需任何数据就可求出
( | )x ?L 可导出 ?? 的概率分布
：雅可比行列式
3,在给定的样本下，可认为 ( | )x ?L ? 的概率分布函数
? ?( ) ( ) ( | )?
() ( | )i i j jij xdV xd? ? ? ? ? ?? ????? ? ? LL
12? ? ?( ) ( ) ( ) ( | )ij i i j j nV x d x x x? ? ? ? ? ?? ? ?? L
( | ) 1x d x? ?? L,而 ( | ) 1xd?? ?? L
12.3 ML估计式的方差
时,ML估计值服从正态分布 N(θ,MVB)
如果
b(θ ）,偏差
由有效性条件
样本容量
的方差由 MVB给出,
??
如果 是 θ 的无偏估计,b(θ ） = 0
（二）充分 ML估计式的方差
是参数 θ 的充分估计式（从而也是有效估计式）。则 ??
)ln()1()?( 222 ??? ??????? dEbV
)]()[(ln ???? btA ????? L
????
??
?2
2
2
2 ln)1)(()ln(
??
???
?
???
?
?? LL bAE
????? ?2
22 )ln()1()?(
??
?????? dbV
??
???
? ?22 )ln(1)?(
??
??? LV
（三）大样本的 ML估计式的方差
??n
正态分布中变量和平均值是对称的
?
? ? 参数 θ 服从 N(θ,MVB)
])( )?(21e x p [ 2???V ??~L
12.3 ML估计式的方差
不同的公式给出的方差不同，因此，在给出实验结果
在一般情况下,
将式中的 L 用 p.d.f代替可得到方差的平均值
用此式可以估计：欲达到一定的误差，需进行的实验次数 n。
? ????? dxfffnV jiij ))((1)?( ???
)ln(1)?( 22 ?? ????? LV
?? ?? ??
指明误差是如何计算的
时,
MVB,
? ???? dxffnV 21 )(1)?( ??
jiij
V ??? ?????? Lln)?( 21
)?(?ijV 应由（一）中的公式求解，但很难得到 )?(?ijV
的解析解，只能用数值方法。
第十二章 最大似然法
(Maximum Likelyhood Method)
12.5 利用似然函数进行区间估计
12.5 利用似然函数进行区间估计
不同的公式给出的方差不同，因此，在给出实验结果
在一般情况下,
将式中的 L 用 p.d.f代替可得到方差的平均值
用此式可以估计：欲达到一定的误差，需进行的实验次数 n。
? ????? dxfffnV jiij ))((1)?( ???
)ln(1)?( 22 ?? ????? LV
?? ?? ??
指明误差是如何计算的
时,
? ???? dxffnV 21 )(1)?( ??
jiij
V ??? ?????? Lln)?( 21
)?(?ijV 应由（一）中的公式求解，但很难得到 )?(?ijV
的解析解，只能用数值方法。
ML估计式 ?? 的误差可用区间估计方法来估计
12.5 利用似然函数进行区间估计
其中 γ 为 θ 的真值落入 [θ a,θ b]间的概率，取相对 ?? 对称的区间
Q
n ex
21( m a x ))()|( ?
?? ?? LLL ??
在一般情况下，当测量次数无限大时，似然函数 L 将与样本变量无关
且呈正态分布,))?(,?( ?? VN )?(2 ?? V?
Q21( m a x )ln)(ln ??? LL ?
2)?( ? ?? ??Q
?? ????? ba Qba dedB e li e f ba ???? ?????? 21(m a x ))()( LL
?? ??? ?????? ??? ?????? ? ?? ? )?()?(21)?( )?( 221 aby GGdyeba
)( baP ??? ???
]?,?[ ?????? mm ba ????
?????? ??????? 1)(2)??( mGmmP
θ 的真值落入 [θ a,θ b]间的可信度
，有
12.5 利用似然函数进行区间估计
是抛物线 lnL (θ )与直线
例,
2? mQm ????? ???
?? m?? ? 221( m a x )ln m?L 的两个交点
求解出这两个交点即可得到 ?? 的误差 ?? ???
]??,??1:1 ????? ????? 似然区间[m
%3.68??
]?2?,?2?2:2 ????? ????? 似然区间[m
%4.95??
实验结果 ???? 1?? ???? 误差
MINUIT程序中误差定义量 5.021UP 2 ?? m ML方法
如果测量次数 n 为有限数，则 LF 将不是正态型
2)(21)|()( ggegxggg ????? L?
12.5 利用似然函数进行区间估计
用上述方法求出 g的似然区间
小结,1）最大似然原理,
g
baba ?????? ????????? ?
0ln,1ln
?2
2 ?
?
??
?
?
? ????
LL
?? )?(?gg为变量 g的 ML估计值,ML估计值变换不变性
]?,?)(1 bagg ????? ??????? ?? ?? []g,g[ ba
2）应用步骤：构造似然函数，求解似然方程
3） ML估计值的性质：一致性、无偏性、有效性和充分性
变量变换不变性、渐近正态性
4） ML估计值方差的求法：不同的方法有各自的适用范围,
给出不同的结果
221( m a x )ln m?L
5）似然区间估计给出 ?? 的误差：求解 )(ln ?L 与直线
的两个交点
第三部分：统计学方法
第十二章 最大似然法
(Maximum Likelihood method)
第十二章 最大似然法
(Maximum Likelihood Method)
点估计的方法之一，是参数估计中常用的方法，具有以下的特点,
1,在一定的条件下,ML估计式满足一致性、无偏性、有效
性等要求；
2,当样本容量 n??时,ML估计式满足正态分布 ?方差容易
计算；
3,用 ML方法可较容易地得到参数的估计式；
本章内容,
1,最大似然原理；
2,用 ML方法求解参数估计问题的步骤；
3,ML估计式的特性；
4,如何计算 ML估计值的方差；
5,利用似然函数进行区间估计
第十二章 最大似然法
(Maximum Likelyhood Method)
12.1 最大似然原理
12.1 最大似然原理
(一 ) 似然函数的定义
p.d.f,f(x|?)
测量量,x = {x1,x2,…,xn }
1)|(
)|()|(
1
?
?
?
?
?
?
xdxL
xfxL
n
i
i
?
??
(二 ) 最大似然原理
未知参数 ?的最佳估计值 应满足如下的条件,??
)|()?|( ?? xLxL ?
i,位于 ?的允许取值范围；
ii,对于给定的一组测量值,使 L取极大值,?
?
??
12.1 最大似然原理
(三 )估计值 的求法
似然方程,0),()|(
1 ??
???? ?
?
n
i ixf
xL ??? ?
极大值条件,0)|(
?2
2 ?
?? ???? ?xL
因为 lnL是 L的单调上升函数,lnL和 L具有相同的极大值点，
所以,L?lnL,求和运算比乘积运算容易处理
似然方程,
极大值条件,0)|(ln
?2
2 ?
?? ???? ?xL
0),(ln)|(ln 1 ?????? ??ni ixfxL ??? ?
如果有 k个位置参数,? = {?1,?2,…,?k}
?k阶似然方程
kjxfxL ni ijj,,2,10),(ln)|(ln 1 ???? ???? ?? ??? ?
估计值,
}?,,?,?{? 21 k???? ??
??
12.1 最大似然原理
极大值条件：二次矩阵 是负定的 (Negative definite) )?(?U
????
??
?
2
|)|(ln)?( ?????
ji
ij
xLU
第十二章 最大似然法
(Maximum Likelyhood Method)
12.2 用 ML方法进行参数估计的步骤
12.2 用 ML方法进行参数估计的步骤
1) 构造概率密度函数；
2) 构造似然函数；
3) 求似然函数的极大值。
12.2 用 ML方法进行参数估计的步骤
（一）构造概率密度函数
物理系统的特性：某些量的理论概率分布函数
实验的条件：分辨率、探测效率
?ML方法中所需的 p.d.f
例：不变质量谱分析,e+e-?J/???K+K-
? 通过测量 K+K-的动量，可得到 K+K-的不变质量
分布，对该分布进行统计分析，可得到衰变过程
中产生的共振态的信息；
? 描述不变质量 m的分布的 p.d.f应包含对该分布有
贡献的物理过程
12.2 用 ML方法进行参数估计的步骤
1,信号事例,
??
?
KK
XJ ??
在不变质量为 m0处出现共振态 X的弹性散射振幅可用 Breit-
Wigner公式描述,
20 ???
??
immBW
?,X的宽度,m0,X的静质量,m,K+K-的不变质量
（ 1）如果 ?较小
4)( 220
2
???
??
mmBW
实验结果包含质量分辨率 ?和探测效率的影响,?~ ?，故
必须对理论公式进行修正
? ??? mdmmRmBWBW ),()(22 ?
12.2 用 ML方法进行参数估计的步骤
?(m)：效率函数，因 ?(m)随 m的变化较小，故 ?(m)~常数
R(m,m′)：分辨率函数，真值为 m时，获得测量值 m′的概率
其中,
])(e x p [2 1),( 2221 ??? mmmmR ?????
?：质量分辨率
因此，窄共振峰的 p.d.f为
??
??
222
)()(
))(R e (
2
1
),(
0
2
2
?
?
?
?
??
???
?
?
i
mm
z
ize r fcezw
zwmdmmRBW
z
12.2 用 ML方法进行参数估计的步骤
（ 1）如果 ?较大，宽共振峰
如果在衰变过程中存在着多个宽共振，则可能存在仙湖干涉
的现象，设有 Namp个相干的共振峰，则描述这些共振峰的
p.d.f为
因为 ?>> ?，所以 R(m,m′)~ ?(m-m′)
2
~
0
2
2
11
1
???
??
? ?
?
?
?
?
immBW
BWeBW
k
k
k
N
k
kk
am p
k??
?k-1：相位差
?k-1：第 k个相干的共振峰事例数 /第一个相干的共振峰的
事例数
12.2 用 ML方法进行参数估计的步骤
2,本底事例：相空间本底、粒子误判本底、其它衰变道本底等
?????? ?? ?
?
bN
i
i
ipsb a c k xPbmmmfmf
1m i nm a x
)(11),(~),( ??
fps(m,?),相空间函数
Pi(x),i阶 Legendre多项式
bi：未知参数
m i nm a x
m i n1 mm mmx ?????
12.2 用 ML方法进行参数估计的步骤
如果衰变过程中,NBW个窄共振峰,Namp个相干共振峰，则 m的 pdf
1
1
2
11
2
1
1
( | ) Re ( ( ) ) /
2
( 1 )
bw
a m p
k
BW
N
m BW
k m
N
i
k k am p
k
N
k ba c k ba c k
k
f m W z C
BW e BW C
fC
?
??
??
??
??
?
?
?
?
?
?
??
? ? ?
? ? ?
?
?
?
其中,CBW,Camp,Cback为归一化常数，保证 ( | ) 1f m dm? ??
：第 k个窄共振峰事例数 /总事例数 k?
?, Namp个相干共振峰事例数 /总事例数
?BES分析软件 BWFIT程序中使用的 p.d.f
（二）构造似然函数
12.2 用 ML方法进行参数估计的步骤
设对某物理系统进行了 n次测量, x1,x2,…x n
1
l n ( | ) l n ( | )n i
i
x f x??
?
? ?L
根据需要可对
在实验条件一定的条件下，事例的产生率为常数,
? 在时间 t内获得 n个事例的概率为泊松分布。
观测到 n个事例，且测量量为 x1,x2,…x n的联合概率为
条件,ν必须能够精确确定
( | )x ?L 进行变化,
1,广义似然函数 （ Generalized Likelihood Function）
总事例数 n也是随机变量，服从平均值为 υ的泊松分布,
1
(,| ) ( | ) ( | )!!
nn n
i
i
een x x f x????? ? ???
?
?? ?LL
?广义似然函数,()? ? ?=
优点,n对 θ增加了附加的限制
12.2 用 ML方法进行参数估计的步骤
2,数据分类情况下的似然函数
对实验数据进行分间隔处理，（如作成直方图）然后用 ML方法对分类
in
后的数据进行处理。
优点：减小了数据量，使得对 的计算速度加快 L
缺点：由于将原 L 简化为少量的几个, 平均, pdf的乘积，使得
参数估计的精度下降。
设将 x的变化范围分成了 N个间隔
：第 i个间隔内的事例数
1
N
i
i
nn
?
??
ip
：某事例落入第 i个间隔的概率
N个事例分布于 N个间隔内，每个间隔内的事例数为 n1,n2,…n N
的概率满足多项式分布,
12.2 用 ML方法进行参数估计的步骤
12
1
1(,| ) !
( ) ( | )
i
i
n
n
Ni
i i
ii x
n n n n P
n
P P f x d x
?
??
?
?
?
??
?
?
L
ix?
：间隔的宽度
取对数并只保留与 θ 有关的项
12
1
(,| ) ( )NN i i
i
l n n n n n P??
?
? ?L
?分间隔的似然函数（ Binned Likelihood Function）
(1) N很大,
ix?
很小,12( | ) (,| )Nx n n n??LL
(2) 如果在某一间隔内的变化不是很大，则用
12(,| )Nn n n ?L
得到的 θ 的精度是可接受的
12.2 用 ML方法进行参数估计的步骤
ln l n ( ) 0,1,2n
j
ii
f x | i k????? ???? ?L =
/1( | ) 0tf t e t?? ? ?? ? ? ?
lnf ?? L
例：估计粒子的平均寿命
（三）求似然函数的极大值
1,求解似然方程,
一般情况下无解析解，只能用数值解法。
2,用 CERN程序 MINUIT求解函数 的极小值，得
θ 的估计式 及其误差 ??
探测 K0粒子的产生和衰变。假定探测器无限大，则 K0粒子在
t时刻衰变的 p.d.f
12.2 用 ML方法进行参数估计的步骤
i
L L Et
c p c?
???
?22
ln | ) 0
?
n
?????
? ? ? ?
?
L
τ,粒子的平均寿命，为未知参数。 K0的飞行时间 ti
L：飞行距离,p：动量,E：能量,c：光速
对于 n个观测事例,
1
1() in t
i
t | e ?? ? ?
?
? ?L
211
l n 1( l n ) ( ) 0nn ii
i = i =
tt?
? ? ? ? ?
?? ? ? ? ? ? ?
?? ??
L =
?
1
1? n
i
i
ttn?
?
???
? 当 ???? 时,LF取极大值。
第十二章 最大似然法
(Maximum Likelyhood Method)
12.3 ML估计式的特性
1,参数变换不变性
? ?0||? ? ? ?
?
? ? ???
? ? ???
? ? ?
LL
12.3 ML估计式的特性
??设 是参数的 ML估计值,()?? 是 θ 的函数。如果用 ()?? 作为
参量来求 LF的极大值，则所得 θ 的估计值亦为 ??
如果 ?
? 0|??
?
? ?
? ?
?
，则有
? ? ()0|| ? ? ????? ??
????LL
??( ) ( )? ? ? ???
2,一致性（ consistency）
在一般条件下,ML估计值满足一致性条件，即
?n???,当 n?? 时。
3,无偏性（ unbiassedness）
在某些特殊情况下,ML估计式是无偏的，即
在一般条件下,ML估计式不满足无偏性,
故当样本容量
?()E ???
n?? 时,ML估计式总是无偏的。
?()E ???,但其偏差 1()o
n
( ) ( ) ( )x | G t | H x???L
12.3 ML估计式的特性
如果 θ 的充分估计式 t存在，则用 ML方法一定能得到该估计式。
4,充分性（ sufficiency）
充分必要条件 ?
()= 0 = 0G t | ?
??
?? ?L 即 θ 只依赖于 t
5,有效性（ Efficiency）
如果 θ 的有效估计式 t存在，则用 ML方法一定能得到该估计式。
ln0 = ( ) [ ( ) ]A t b? ? ?
?
?? ? ?
?
L 充分必要条件
?
6,渐近正态性（ Asympototic normality）
在样本容量很大时,θ 的 ML估计值满足渐近正态分布，其平均值
为 θ 的真值 θ 0，方差为最小方差限（ MVB）。
第十二章 最大似然法
(Maximum Likelyhood Method)
12.4 ML估计式的方差
12.3 ML估计式的方差
对 ML估计值的误差的估计依赖于 p.d.f的性质和样本的大小，不同
（一）方差估计的一般方法（适合于任何容量的样本）
通过求解似然方程
的方法适用于不同的样本；大样本公式，小样本公式。
统计误差：如果 p.d.f是纯理论公式，即没有对实验条件进行修正,
则由 ML得到的误差为统计误差。
否则：误差 ? 统计误差＋实验误差
LF,
121( | ) ( | ),{,}
n
ikix f x? ? ? ? ? ?????L
ln 0
i?
? ?
?
L,得 θ i的估计式
12? {,}i i nx x x??? ?是随机变量 12,nx x x 的函数
? 的真值,12{,}n? ? ? ??
12.3 ML估计式的方差
1,
此式与上式等价。
如果 p.d.f和
估计式的方差。
2,由
? ?( | ) ( | )d J x d x J? ? ? ??LL
是
分母为归一化因子。
?i? ?j?和 的协方差
? ? ? ? ?( ) ( ) ( ) ( | )ij i i j jVd? ? ? ? ? ? ? ??? ? ?? L
? ?
i?
的表达式已知，则无需任何数据就可求出
( | )x ?L 可导出 ?? 的概率分布
：雅可比行列式
3,在给定的样本下，可认为 ( | )x ?L ? 的概率分布函数
? ?( ) ( ) ( | )?
() ( | )i i j jij xdV xd? ? ? ? ? ?? ????? ? ? LL
12? ? ?( ) ( ) ( ) ( | )ij i i j j nV x d x x x? ? ? ? ? ?? ? ?? L
( | ) 1x d x? ?? L,而 ( | ) 1xd?? ?? L
12.3 ML估计式的方差
时,ML估计值服从正态分布 N(θ,MVB)
如果
b(θ ）,偏差
由有效性条件
样本容量
的方差由 MVB给出,
??
如果 是 θ 的无偏估计,b(θ ） = 0
（二）充分 ML估计式的方差
是参数 θ 的充分估计式（从而也是有效估计式）。则 ??
)ln()1()?( 222 ??? ??????? dEbV
)]()[(ln ???? btA ????? L
????
??
?2
2
2
2 ln)1)(()ln(
??
???
?
???
?
?? LL bAE
????? ?2
22 )ln()1()?(
??
?????? dbV
??
???
? ?22 )ln(1)?(
??
??? LV
（三）大样本的 ML估计式的方差
??n
正态分布中变量和平均值是对称的
?
? ? 参数 θ 服从 N(θ,MVB)
])( )?(21e x p [ 2???V ??~L
12.3 ML估计式的方差
不同的公式给出的方差不同，因此，在给出实验结果
在一般情况下,
将式中的 L 用 p.d.f代替可得到方差的平均值
用此式可以估计：欲达到一定的误差，需进行的实验次数 n。
? ????? dxfffnV jiij ))((1)?( ???
)ln(1)?( 22 ?? ????? LV
?? ?? ??
指明误差是如何计算的
时,
MVB,
? ???? dxffnV 21 )(1)?( ??
jiij
V ??? ?????? Lln)?( 21
)?(?ijV 应由（一）中的公式求解，但很难得到 )?(?ijV
的解析解，只能用数值方法。
第十二章 最大似然法
(Maximum Likelyhood Method)
12.5 利用似然函数进行区间估计
12.5 利用似然函数进行区间估计
不同的公式给出的方差不同，因此，在给出实验结果
在一般情况下,
将式中的 L 用 p.d.f代替可得到方差的平均值
用此式可以估计：欲达到一定的误差，需进行的实验次数 n。
? ????? dxfffnV jiij ))((1)?( ???
)ln(1)?( 22 ?? ????? LV
?? ?? ??
指明误差是如何计算的
时,
? ???? dxffnV 21 )(1)?( ??
jiij
V ??? ?????? Lln)?( 21
)?(?ijV 应由（一）中的公式求解，但很难得到 )?(?ijV
的解析解，只能用数值方法。
ML估计式 ?? 的误差可用区间估计方法来估计
12.5 利用似然函数进行区间估计
其中 γ 为 θ 的真值落入 [θ a,θ b]间的概率，取相对 ?? 对称的区间
Q
n ex
21( m a x ))()|( ?
?? ?? LLL ??
在一般情况下，当测量次数无限大时，似然函数 L 将与样本变量无关
且呈正态分布,))?(,?( ?? VN )?(2 ?? V?
Q21( m a x )ln)(ln ??? LL ?
2)?( ? ?? ??Q
?? ????? ba Qba dedB e li e f ba ???? ?????? 21(m a x ))()( LL
?? ??? ?????? ??? ?????? ? ?? ? )?()?(21)?( )?( 221 aby GGdyeba
)( baP ??? ???
]?,?[ ?????? mm ba ????
?????? ??????? 1)(2)??( mGmmP
θ 的真值落入 [θ a,θ b]间的可信度
，有
12.5 利用似然函数进行区间估计
是抛物线 lnL (θ )与直线
例,
2? mQm ????? ???
?? m?? ? 221( m a x )ln m?L 的两个交点
求解出这两个交点即可得到 ?? 的误差 ?? ???
]??,??1:1 ????? ????? 似然区间[m
%3.68??
]?2?,?2?2:2 ????? ????? 似然区间[m
%4.95??
实验结果 ???? 1?? ???? 误差
MINUIT程序中误差定义量 5.021UP 2 ?? m ML方法
如果测量次数 n 为有限数，则 LF 将不是正态型
2)(21)|()( ggegxggg ????? L?
12.5 利用似然函数进行区间估计
用上述方法求出 g的似然区间
小结,1）最大似然原理,
g
baba ?????? ????????? ?
0ln,1ln
?2
2 ?
?
??
?
?
? ????
LL
?? )?(?gg为变量 g的 ML估计值,ML估计值变换不变性
]?,?)(1 bagg ????? ??????? ?? ?? []g,g[ ba
2）应用步骤：构造似然函数，求解似然方程
3） ML估计值的性质：一致性、无偏性、有效性和充分性
变量变换不变性、渐近正态性
4） ML估计值方差的求法：不同的方法有各自的适用范围,
给出不同的结果
221( m a x )ln m?L
5）似然区间估计给出 ?? 的误差：求解 )(ln ?L 与直线
的两个交点
