实验数据处理方法
第三部分：统计学方法
第十一章 参数估计
(Parameter estimation)
第十一章 参数估计
(Parameter estimation)
什么是参数估计,
? 假定我们对某一物理系统进行了测量，得到了容量为 n的事例样本；
? 我们想从这一有限样本中获取有关该物理系统的信息；
? 描述该物理系统的概率分布数学形式是已知的，但其中包含了某些未
知的参数；
? 参数估计的任务是通过对观测到的事例样本的统计分析来最大限度地
获取有关这些未知参数的信息。
例：共振峰参数的估计,
概率密度函数,
241200 )();( ???
??
mmmmf
?Breit-Wigner公式
未知参数,
m0=共振峰的质量
?=共振峰的宽度
观测量,
m=共振峰衰变产物的不变质量
第十一章 参数估计
(Parameter estimation)
参数估计的内容,
1、点估计 (Point Estination)：估计未知参数的值
2、区间估计 (Interval Estimation)：估计未知参数的估计值的
精确性和可靠性
??? ??? ?
本章介绍统计学中的参数估计的一些基本概念和方法
第十一章 参数估计
(Parameter estimation)
11.1 参数估计的基本概念
11.1 参数估计的基本概念
总体的概率密度函数 (pdf),f(x|?)
?：未知参数
x：实验可测量量
随机样本 (容量为 n),
nxxx,,,21 ?
xi：独立的随机变量
11.1 参数估计的基本概念
一、基本定义
1、似然函数 (Likelihood Function,LF),
由于 xi是相互独立的随机变量，因而在给定的 ?值下获得测量量
x1,x2,…,xn的联合条件概率为 (Joint Conditional Probability)
?
?
? n
i
in xfxxxL
1
21 ),()|,,,( ???
(1)似然值 (Likelihood),
如果 ?和 xi都为固定值，则称 L 为在特定的 ?值下，观测
量 x1,x2,…,xn的似然值；
(2)似然函数 (LF),
如果将 L看成是 ?的函数，而 xi固定，则称 L为似然函数；
(3)可测量量 xi得 pdf,
?固定,L是 xi的函数
11.1 参数估计的基本概念
2、统计量 (Statistic),
如果 t=t(x1,x2,…,xn)是样本变量 xi的函数，且不依赖于任何的未
知参数 ?，则称 t为统计量
例：样本的平均值和方差,
??
???
??? n
i
in
n
i
in xxsxx
1
2
11
2
1
1 )(
3、估计式 (Estimator),
如果统计量 t给出了未知参数 ?的估计值，则称 t为 ?的估计式，
即
t???
例：样本平均值 和方差 s2分别是总体平均值 ?和方差 ?2的估
计式。
参数估计的目标之一就是求出未知参数的估计式
x
二、估计式的特性
由估计式 t得到的参数 ?的估计值 是随机变量，将满足某种分
布，这种分布的特性将反映该估计式的好坏
判断估计式好坏的标准,
??
(1)一致性 (Consistency)：样本容量为无限大时估计式的特性
(2)无偏性 (Unbiassedness)：样本容量为有限时估计式的特性
(3)最小方差 (Minimum variance)
有效性 (Efficiency) 估计式的分布特性
(4)充分性 (Sufficiency)：估计式是否包含了样本中所包含的
有关 ?的所有信息
?
11.1 参数估计的基本概念
1、一致性 (Consistency),
如果一个估计式的值当样本容量增加时收敛到待估参数的真值，
则称该估计式具有一致性
概率语言的一致性描述,
如果估计值 ?n是从容量为 n的样本得到的，则对于给定的正
数 ?和 ?，存在着正整数 N，使得对所有的 n>N,| ?n- ?|> ?的
概率小于 ?
P(| ?n- ?|> ?)< ?
即，当 n??时,?n? ?
例, 样本平均值 是总体平均值 ?的一致性估计式
根据大数定理：当 n??时,? ?
11.1 参数估计的基本概念
x
x
2、无偏性 (Unbiassedness),
对于任意大的样本，如果估计式 t的期望值都等于参数的真值 ?
?? ?? ? xdxLxxxttE n )|(),,,()( 21 ?
则称 t是 ?的无偏估计式
? 无偏性保证了估计式的值不会系统地偏离参数 ?的真值；
? 一致性和无偏性是不相关的，具有一致性并不等于具有
无偏性
? 一致性和无偏性是对参数估计式的基本要求，因为参数
估计的目的就是求 ?的真值 。
注,
11.1 参数估计的基本概念
3、最小方差和有效性
估计值 是随机变量，服从一定的分布，好的估计式给出的估
计值的方差应尽可能地小。
假定,(1)对所有的 ?,L(x| ?)对 ?的一、二阶导数存在；
(2)变量 x的定义域与 ?无关；
则由估计式得到的估计值的方差存在着一个下限
设 t是 ?(?)的估计式,?(?)为 ?的函数，估计值的偏差为 b(?)
)()()|(),,,()( 2121 ???? bdxdxdxxLxxxttE nn ??? ?? ???
估计式 t的方差 V(t)满足下列 Cramer-Rao不等式,
? ? ? ?? ? ? ? ? ?22 ln22ln2)( ???????? ???????????? ???? LbLb EEtV
?最小方差限 (Minimum Variance Bound,MVB)
11.1 参数估计的基本概念
有效估计式：方差等于最小方差限的估计式
t为有效估计式的充分必要条件,
)]()()[(ln ????? btAL ?????
? ? )()(:M V B ???? AtV b???? ??
在实际应用中，有效估计式只是在有限的几类参数估计问
题中存在。
例如：泊松分布样本的样本平均值是泊松总体平均值的有
效估计式
4、充分性 (Sufficiency)
设 t是参数 ?的估计式，如果测量量中所包含的有关 ?的信息都包
含在 t内，则称 t为 ?的充分估计式
11.1 参数估计的基本概念
充分估计式的存在有利于数据的浓缩 (Data Reduction),
t中所包含的有关 ?的信息与原始数据中的一样多；或者：
任何其它的原始数据的函数都给不出更多的有关参数 ?的信
息
R.A.Fisher的信息的定义,
由观测量 x给出的有关未知参数 ?的信息量的定义,
?? ?????? ??????????? ?????? ??? dxxLxLxLEI x )|()|(ln)|(ln)( 22 ?? ?? ??
如果 ?是 k维的
? ? ???????? ??????
iiij
x
xLxLEI
?
?
?
?? )|(ln)|(ln)(
根据此定义，若 t为 ?的充分估计式，则
It(?)=Ix(?)
11.1 参数估计的基本概念
t 是参数 ?的充分估计式的充分必要条件：似然函数 L(x| ?)可分
解为如下的形式,
)()|(),()|(
1
xHtGxfxL n
i
i ??? ?? ?
?其中,
i) H(x)与参数 ?无关；
ii) G(t| ?)是估计式 t的函数，表示在 ?一定的条件下 t得 pdf
可证：有效估计式总是具有充分性
注：充分统计量只对某些特殊类型的 pdf存在；如果 f(x,?)为
指数形式,
)]()()()(e x p [),( xEDxCBxf ??? ???
则充分统计量 t一定存在，且
?
?
?
n
i
ixCt
1
)(
11.1 参数估计的基本概念
例：在 ?2已知的情况下，样本平均值 是正态分布 N(?,?2)中 ?的
充分估计式
? ? ??
?
?
?
??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
? ?
?
??
?
?
?
??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
? ?
??
?
?
?
?
?
?
?
?
?
?
?
?
?
? ?
??
?
?
?
?
?
?
n
i
i
n
n
i
i
xxn
n
x
n
x
xL
1
2
2
1
1
2
2
1
1
2
2
12
e x p
2
e x p
2
1
e x p
2
1
)|;(
2
1
????
?
??
?
?
??
??
xxxCt
xEDxxCB
x
xN
n
i
n
i
ii
~)(
)2l n (
2
)(
2
)()()(
)2l n (
22
e x p),(
1 1
2
2
1
2
2
2
2
2
2
2
1
2
2
2
2
2
2
? ?
? ?
???
???????
?
?
?
?
?
?
????
??
?
?
?
?
?
?
?
?
??
??
?
?
?
?? )|( ?xG )(xH
第十一章 参数估计
(Parameter estimation)
11.2 参数的区间估计
区间估计的目的,
找出未知参数 ?的一个变化范围
ba ??? ??
使得 ?的真值落入该范围的概率为 ?
一、区间估计的基本概念
1、置信区间 (Confidence Interval)
若参数 ?的真值落入闭区间 [?a,?b]内的概率为 ?，则称该区间为
参数 ?的 100?%置信区间
?：置信系数（置信水平）
?a,?b,置信限 (Confidence Limits)
在实验上，置信区间对应于 ?的估计值的误差
???? ??? )( bap
11.2 参数的区间估计
特性,
1) 是随机的：由两个容量相同的样本得到的置信区间一般
是不同的
2) 置信区间可能包含 ?的真值，也可能不包含；对于一个特
定样本
? ?
? ?ba baba bap
p
???
???
???
???
,
,
0)(
1)(
??
??
???
???
?反映了不等式 的可靠性
ba ??? ??
3) 两难性 (Dilemma),
?b- ?a大,?大，但参数 ?的不确定性大；
?b- ?a小,?小，但对参数 ?的确定具有较高的精度；
实验上一般取 ?=68.3%或 95.5%，分别对应一个和二个标
准偏差的置信区间；
11.2 参数的区间估计
2、区间估计的基本方法
区间估计就是：给定置信系数 ?，根据参数 ?的分布，求出置
信区间
设统计量 t是参数 ?的估计式,t的 pdf为 f(t)
[?a,?b]即为欲求的置信区间
????? ba dttfp ba ?????? )()(
1) 如果 f(t)与 ?无关，则可通过求解上述积分方程求出 ?a和
?b
2) 如果 f(t)与 ?有关，则上式中的积分将无法计算
z=z(t,?) ?pdf f(z) 与 ?无关
baba
z
z zzdzzf
b
a
???,,)( ??? ?
11.2 参数的区间估计
二、正态分布的区间估计
设 x1,x2,…,xn是正态分布 N(?,?2)的样本
样本平均值,
样本方差,
? ?的估计式，服从 N(?,?2/n)
? ?2的估计式，变量 服从 ?2(n-1)分布
?
?
? n
i i
xx
1
?
??
?? n
i
in xxs
1
2
11
2 )( 2 2)1( ? sn?
1,?的置信区间,
1) ?2已知的情况
统计量 的 pdf N(?,?2/n)与 ?有关
n
xy
?
??? ?N(0,1)，与 ?无关
y?[a,b]的概率 ??????? ?? b
a
b
a dyydyNbyap )e x p ()1,0()(
221
取 a=-b,?a的值,nyx ?? ??
得 ?的置信水平为 ?的置信区间,],[ naxnax ?? ??
11.2 参数的区间估计
例,?=0.954,a=2? ]2,2[
nxnx
?? ??
2) ?2未知的情况
n
x
?
?? 2 2)1( ? sn?服从 N(0,1) 服从 ?2(n-1)
两个量是相互独立的，由这两个量可构造出变量 t
ns
xnsn
n
xt ?
??
? ?????? )1()1(
2
2
t满足自由度为 (n-1)的 t-分布,f(t;n-1)
?????? ? ba dtntfbtap )1;()(
由于 f(t;n-1)相对于 t=0是对称的，可将 [a,b]取为对称区间 [-1,b]
由上式求出 b，得 ?的置信区间
],[ nsbxnsbx ?? 置信水平 ?
11.2 参数的区间估计
2,?2的置信区间
1) ?已知的情况
?2可用统计量 估计 ?? ?ni in x1 21 )( ?
2
1
21
1
21
1
21 )()( ???? ?????????? ? ???
???
n
in
n
i in
n
i in xExE?
变量 服从 ?2(n)分布 ?
? ??
???? ?? n
i
ixu
1
2
? ?
?? ???? ? ba dunubtap );()( 2
??2的置信区间 ])(,)([ 22 axbx ii ?? ?? ?? 置信水平 ?
2) ?未知的情况
在此情况下，可将上面的 ?用 代替
由于分布是非对称的，上述积分方程有无数个解，通常取
)1();();( 2120 2 ??? ??? ?? ?ba dunudunu
11.2 参数的区间估计
第三部分：统计学方法
第十一章 参数估计
(Parameter estimation)
第十一章 参数估计
(Parameter estimation)
什么是参数估计,
? 假定我们对某一物理系统进行了测量，得到了容量为 n的事例样本；
? 我们想从这一有限样本中获取有关该物理系统的信息；
? 描述该物理系统的概率分布数学形式是已知的，但其中包含了某些未
知的参数；
? 参数估计的任务是通过对观测到的事例样本的统计分析来最大限度地
获取有关这些未知参数的信息。
例：共振峰参数的估计,
概率密度函数,
241200 )();( ???
??
mmmmf
?Breit-Wigner公式
未知参数,
m0=共振峰的质量
?=共振峰的宽度
观测量,
m=共振峰衰变产物的不变质量
第十一章 参数估计
(Parameter estimation)
参数估计的内容,
1、点估计 (Point Estination)：估计未知参数的值
2、区间估计 (Interval Estimation)：估计未知参数的估计值的
精确性和可靠性
??? ??? ?
本章介绍统计学中的参数估计的一些基本概念和方法
第十一章 参数估计
(Parameter estimation)
11.1 参数估计的基本概念
11.1 参数估计的基本概念
总体的概率密度函数 (pdf),f(x|?)
?：未知参数
x：实验可测量量
随机样本 (容量为 n),
nxxx,,,21 ?
xi：独立的随机变量
11.1 参数估计的基本概念
一、基本定义
1、似然函数 (Likelihood Function,LF),
由于 xi是相互独立的随机变量，因而在给定的 ?值下获得测量量
x1,x2,…,xn的联合条件概率为 (Joint Conditional Probability)
?
?
? n
i
in xfxxxL
1
21 ),()|,,,( ???
(1)似然值 (Likelihood),
如果 ?和 xi都为固定值，则称 L 为在特定的 ?值下，观测
量 x1,x2,…,xn的似然值；
(2)似然函数 (LF),
如果将 L看成是 ?的函数，而 xi固定，则称 L为似然函数；
(3)可测量量 xi得 pdf,
?固定,L是 xi的函数
11.1 参数估计的基本概念
2、统计量 (Statistic),
如果 t=t(x1,x2,…,xn)是样本变量 xi的函数，且不依赖于任何的未
知参数 ?，则称 t为统计量
例：样本的平均值和方差,
??
???
??? n
i
in
n
i
in xxsxx
1
2
11
2
1
1 )(
3、估计式 (Estimator),
如果统计量 t给出了未知参数 ?的估计值，则称 t为 ?的估计式，
即
t???
例：样本平均值 和方差 s2分别是总体平均值 ?和方差 ?2的估
计式。
参数估计的目标之一就是求出未知参数的估计式
x
二、估计式的特性
由估计式 t得到的参数 ?的估计值 是随机变量，将满足某种分
布，这种分布的特性将反映该估计式的好坏
判断估计式好坏的标准,
??
(1)一致性 (Consistency)：样本容量为无限大时估计式的特性
(2)无偏性 (Unbiassedness)：样本容量为有限时估计式的特性
(3)最小方差 (Minimum variance)
有效性 (Efficiency) 估计式的分布特性
(4)充分性 (Sufficiency)：估计式是否包含了样本中所包含的
有关 ?的所有信息
?
11.1 参数估计的基本概念
1、一致性 (Consistency),
如果一个估计式的值当样本容量增加时收敛到待估参数的真值，
则称该估计式具有一致性
概率语言的一致性描述,
如果估计值 ?n是从容量为 n的样本得到的，则对于给定的正
数 ?和 ?，存在着正整数 N，使得对所有的 n>N,| ?n- ?|> ?的
概率小于 ?
P(| ?n- ?|> ?)< ?
即，当 n??时,?n? ?
例, 样本平均值 是总体平均值 ?的一致性估计式
根据大数定理：当 n??时,? ?
11.1 参数估计的基本概念
x
x
2、无偏性 (Unbiassedness),
对于任意大的样本，如果估计式 t的期望值都等于参数的真值 ?
?? ?? ? xdxLxxxttE n )|(),,,()( 21 ?
则称 t是 ?的无偏估计式
? 无偏性保证了估计式的值不会系统地偏离参数 ?的真值；
? 一致性和无偏性是不相关的，具有一致性并不等于具有
无偏性
? 一致性和无偏性是对参数估计式的基本要求，因为参数
估计的目的就是求 ?的真值 。
注,
11.1 参数估计的基本概念
3、最小方差和有效性
估计值 是随机变量，服从一定的分布，好的估计式给出的估
计值的方差应尽可能地小。
假定,(1)对所有的 ?,L(x| ?)对 ?的一、二阶导数存在；
(2)变量 x的定义域与 ?无关；
则由估计式得到的估计值的方差存在着一个下限
设 t是 ?(?)的估计式,?(?)为 ?的函数，估计值的偏差为 b(?)
)()()|(),,,()( 2121 ???? bdxdxdxxLxxxttE nn ??? ?? ???
估计式 t的方差 V(t)满足下列 Cramer-Rao不等式,
? ? ? ?? ? ? ? ? ?22 ln22ln2)( ???????? ???????????? ???? LbLb EEtV
?最小方差限 (Minimum Variance Bound,MVB)
11.1 参数估计的基本概念
有效估计式：方差等于最小方差限的估计式
t为有效估计式的充分必要条件,
)]()()[(ln ????? btAL ?????
? ? )()(:M V B ???? AtV b???? ??
在实际应用中，有效估计式只是在有限的几类参数估计问
题中存在。
例如：泊松分布样本的样本平均值是泊松总体平均值的有
效估计式
4、充分性 (Sufficiency)
设 t是参数 ?的估计式，如果测量量中所包含的有关 ?的信息都包
含在 t内，则称 t为 ?的充分估计式
11.1 参数估计的基本概念
充分估计式的存在有利于数据的浓缩 (Data Reduction),
t中所包含的有关 ?的信息与原始数据中的一样多；或者：
任何其它的原始数据的函数都给不出更多的有关参数 ?的信
息
R.A.Fisher的信息的定义,
由观测量 x给出的有关未知参数 ?的信息量的定义,
?? ?????? ??????????? ?????? ??? dxxLxLxLEI x )|()|(ln)|(ln)( 22 ?? ?? ??
如果 ?是 k维的
? ? ???????? ??????
iiij
x
xLxLEI
?
?
?
?? )|(ln)|(ln)(
根据此定义，若 t为 ?的充分估计式，则
It(?)=Ix(?)
11.1 参数估计的基本概念
t 是参数 ?的充分估计式的充分必要条件：似然函数 L(x| ?)可分
解为如下的形式,
)()|(),()|(
1
xHtGxfxL n
i
i ??? ?? ?
?其中,
i) H(x)与参数 ?无关；
ii) G(t| ?)是估计式 t的函数，表示在 ?一定的条件下 t得 pdf
可证：有效估计式总是具有充分性
注：充分统计量只对某些特殊类型的 pdf存在；如果 f(x,?)为
指数形式,
)]()()()(e x p [),( xEDxCBxf ??? ???
则充分统计量 t一定存在，且
?
?
?
n
i
ixCt
1
)(
11.1 参数估计的基本概念
例：在 ?2已知的情况下，样本平均值 是正态分布 N(?,?2)中 ?的
充分估计式
? ? ??
?
?
?
??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
? ?
?
??
?
?
?
??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
? ?
??
?
?
?
?
?
?
?
?
?
?
?
?
?
? ?
??
?
?
?
?
?
?
n
i
i
n
n
i
i
xxn
n
x
n
x
xL
1
2
2
1
1
2
2
1
1
2
2
12
e x p
2
e x p
2
1
e x p
2
1
)|;(
2
1
????
?
??
?
?
??
??
xxxCt
xEDxxCB
x
xN
n
i
n
i
ii
~)(
)2l n (
2
)(
2
)()()(
)2l n (
22
e x p),(
1 1
2
2
1
2
2
2
2
2
2
2
1
2
2
2
2
2
2
? ?
? ?
???
???????
?
?
?
?
?
?
????
??
?
?
?
?
?
?
?
?
??
??
?
?
?
?? )|( ?xG )(xH
第十一章 参数估计
(Parameter estimation)
11.2 参数的区间估计
区间估计的目的,
找出未知参数 ?的一个变化范围
ba ??? ??
使得 ?的真值落入该范围的概率为 ?
一、区间估计的基本概念
1、置信区间 (Confidence Interval)
若参数 ?的真值落入闭区间 [?a,?b]内的概率为 ?，则称该区间为
参数 ?的 100?%置信区间
?：置信系数（置信水平）
?a,?b,置信限 (Confidence Limits)
在实验上，置信区间对应于 ?的估计值的误差
???? ??? )( bap
11.2 参数的区间估计
特性,
1) 是随机的：由两个容量相同的样本得到的置信区间一般
是不同的
2) 置信区间可能包含 ?的真值，也可能不包含；对于一个特
定样本
? ?
? ?ba baba bap
p
???
???
???
???
,
,
0)(
1)(
??
??
???
???
?反映了不等式 的可靠性
ba ??? ??
3) 两难性 (Dilemma),
?b- ?a大,?大，但参数 ?的不确定性大；
?b- ?a小,?小，但对参数 ?的确定具有较高的精度；
实验上一般取 ?=68.3%或 95.5%，分别对应一个和二个标
准偏差的置信区间；
11.2 参数的区间估计
2、区间估计的基本方法
区间估计就是：给定置信系数 ?，根据参数 ?的分布，求出置
信区间
设统计量 t是参数 ?的估计式,t的 pdf为 f(t)
[?a,?b]即为欲求的置信区间
????? ba dttfp ba ?????? )()(
1) 如果 f(t)与 ?无关，则可通过求解上述积分方程求出 ?a和
?b
2) 如果 f(t)与 ?有关，则上式中的积分将无法计算
z=z(t,?) ?pdf f(z) 与 ?无关
baba
z
z zzdzzf
b
a
???,,)( ??? ?
11.2 参数的区间估计
二、正态分布的区间估计
设 x1,x2,…,xn是正态分布 N(?,?2)的样本
样本平均值,
样本方差,
? ?的估计式，服从 N(?,?2/n)
? ?2的估计式，变量 服从 ?2(n-1)分布
?
?
? n
i i
xx
1
?
??
?? n
i
in xxs
1
2
11
2 )( 2 2)1( ? sn?
1,?的置信区间,
1) ?2已知的情况
统计量 的 pdf N(?,?2/n)与 ?有关
n
xy
?
??? ?N(0,1)，与 ?无关
y?[a,b]的概率 ??????? ?? b
a
b
a dyydyNbyap )e x p ()1,0()(
221
取 a=-b,?a的值,nyx ?? ??
得 ?的置信水平为 ?的置信区间,],[ naxnax ?? ??
11.2 参数的区间估计
例,?=0.954,a=2? ]2,2[
nxnx
?? ??
2) ?2未知的情况
n
x
?
?? 2 2)1( ? sn?服从 N(0,1) 服从 ?2(n-1)
两个量是相互独立的，由这两个量可构造出变量 t
ns
xnsn
n
xt ?
??
? ?????? )1()1(
2
2
t满足自由度为 (n-1)的 t-分布,f(t;n-1)
?????? ? ba dtntfbtap )1;()(
由于 f(t;n-1)相对于 t=0是对称的，可将 [a,b]取为对称区间 [-1,b]
由上式求出 b，得 ?的置信区间
],[ nsbxnsbx ?? 置信水平 ?
11.2 参数的区间估计
2,?2的置信区间
1) ?已知的情况
?2可用统计量 估计 ?? ?ni in x1 21 )( ?
2
1
21
1
21
1
21 )()( ???? ?????????? ? ???
???
n
in
n
i in
n
i in xExE?
变量 服从 ?2(n)分布 ?
? ??
???? ?? n
i
ixu
1
2
? ?
?? ???? ? ba dunubtap );()( 2
??2的置信区间 ])(,)([ 22 axbx ii ?? ?? ?? 置信水平 ?
2) ?未知的情况
在此情况下，可将上面的 ?用 代替
由于分布是非对称的，上述积分方程有无数个解，通常取
)1();();( 2120 2 ??? ??? ?? ?ba dunudunu
11.2 参数的区间估计
