实验数据处理方法
第一部分:概率论基础
第三章
概率分布的基本性质
? 本章内容,
随机变量的概率分布函数的基本性质:平均值、方差、协方
差矩阵、炬,…
第三章
概率分布的基本性质
3.1 概率密度函数
( Probability Density Function)
3.1 概率密度函数
( Probability Density Function)
dxxfdxxXxp )()( ????
?? ? 1)( dxxf
0)( ?xf
定义,
X:连续型随机变量;
?,样本空间( X的值域)
X的值落入区间 [x,x+dx]的概率,
其中,f(x)被称为随机变量 X的概率密度函数( p.d.f),表示单位长度
下的概率。
归一化条件( normalization condition),
表示:在样本空间内,随机变量 X总会取某一值
性质,
1,对所有的 x值,
2,f(x)是单值函数
3,f(x)是非奇异的
第三章
概率分布的基本性质
3.2 累积分布函数
( Cumulative distribution function)
3.2 累积分布函数
( Cumulative distribution function)
?? xx dxxfxF m in ')'()(
m a xm i n),()( xxxxXpxF ????
m a xm i n,1)(0 xxxxF ????
)()()( 1221 xFxFxxxp ????
x
f(x)
F(x) 1
xmin xmax
简称分布函数
定义,
其中,xmin是随机变量 X的取值下限
意义,
表示随机变量 X的取值小于某一值 x的概率,即
性质,
1,
2,F(xmin)=0,F(xmax) = 1
3、若 x1<x2,则 F(x1)<F(x2),即 F(x)是单调升函数
4,
离散型随机变量可以定义累积分布函数
1
1( ) ( ) l i m ( ) 0
x n
n x n
F x F x p x d x???
?? ?
??? ? ??5、,即 x取特定值的几率为 0。
3.2 累积分布函数
( Cumulative distribution function)
1
一个均匀分布的例子
时钟角度 X的 p.d.f.— f(x)( a) 和分布函数 F(x)( b)
0 360°
1/360
f(x)
x (a) 0 360°
F(x)
x (b)
f(x)
x
xmin x0 x1 x2 xmax
随机变量 X的取值 x在区间 [x1,x2]的概率是
概率密度函数 f(x)曲线下相应区间的面积
第三章
概率分布的基本性质
3.3 概率密度函数的性质
(Properties of the Probability)
3.3 概率密度函数的性质
(Properties of the probability)
f(x)包含了随机变量 X的所有信息,其性质确定了 X的分布
最可几值 (mode):使 f(x)取极大的 x值,xp
中位值 (median),F(xmedian)=1/2
平均值 (mean),Mode(极大值)
Median(中位值)
Mean(平均值)
x
f(x)
()x xf x dx?? ?
统计物理 中,麦克斯韦速度分布律给出,
2,1, 1, 1, 1 2 8
pvv ???
3.3 概率密度函数的性质
(Properties of the probability)
一、函数的期望值( Expectation)
定义,
f(x):随机变量 X的概率密度函数
g(x):随机变量 X的函数
g(x)的期望值(对 g(x)的加权平均值),
??? dxxfxgxgE )()()]([
E[g(x)]是一个常数,与 x无关,是函数 g(x)的 平均值 或 中值 的一个量度
f(x)对应于量子力学或统计物理中的态密度(如麦克斯韦分布、玻色
-爱因斯坦分布、费米-狄拉克分布)
g(x)可以理解为一个物理量算符
1 ( ) ( ) | ( )
?[ ( ) ] ( ) ( ) ( ) | ( ) | ( )
f x dx x x dx
E g x g x f x dx x g x x dx
??
??
? ? ? ? ? ?
? ? ? ? ? ?
??
??
3.3 概率密度函数的性质
(Properties of the probability)
一、函数的期望值( Expectation)
定义,
积分学第一中值定理( Mean Value Theorem)
( ) ( ) ( )ba g x d x g b a????
对连续函数 g(x),在区间 [a,b]上存在 ξ,使得
g(ξ)称为 g(x)的积分中值,或平均值。实际上就是算术平均值,
对离散的函数 g,就很容易看出来。
这意味着可以找到一个点 ξ,使
得 g(x)下的面积等价于一个矩
形面积,但这 不是统计学中通
常定义的平均值 (见下面)。
x
g(x)
Mean(中值-平均值)
ξ
1
n
ii g g n? ???
3.3 概率密度函数的性质
(Properties of the probability)
一、函数的期望值( Expectation)
定义,
积分学第二中值定理
( ) ( ) ( ) ( ) ( ) ( )bbaag x f x d x f a g x d x f b g x d x? ???? ? ?
对连续函数 f(x)和 g(x),在区间 [a,b]上存在 ξ,使得
g(ξ)称为 g(x)的积分中值(加权平均值),f(x)为权函数。
第一中值定理是第二中值定理在 f(x)=1时的特例。
概率论中的平均值特指自变量 x的加权平均值,即 g(x)=x
平均值可以指 x2的,x3的等等任意函数的平均值。
3.3 概率密度函数的性质
(Properties of the probability)
如果把求平均值的运算 E看作一个算符,它具有 性质,
若 a是常数,则
E(a)=a
E[ag(x)]=aE[g(x)]
E[a1g1(x)+a2g2(x)]=a1E[g1(x)]+a2E[g2(x)]
即,E是线性算符
函数的方差( Variance)
定义,
?? ??
??
dxxfxgExg
xgExgExgV
)() ] }([)({
) ] }([)({)]([
2
2
意义,
g(x)在其期望值周围的离散程度
3.3 概率密度函数的性质
(Properties of the probability)
二、随机变量的平均值和方差( Mean Value and Variance)
如取 g(x)=x,则得随机变量 X的平均值和方差
?
?
?
?
?????
??
dxxfxxExV
dxxxfxE
)()()()(
)()(
222 ???
?
平均值,
方差,
?,随机变量 X的 标准 偏差( Standard Deviation)
平均值与方差之间的关系,
?2=E(x-?)2=E(x2-2?x+?2)=E(x2)-?2=E(x2)-[E(x)]2
?2=E(x2)-[E(x)]2
方差( Variance,Dispersion)物理意义,
随机变量概率密度函数 f(x)在期望值周围的离散程度,亦即由于随机
的统计性所造成的随极变量的取值在期望值附近的起伏的大小。
实验上常把物理量的测量结果表示成,???
3.3 概率密度函数的性质
(Properties of the probability)
三、矩( moment)
定义,
对正整数 k(k=1,2,…),
分别称为随机变量 X的 k阶原点矩和中心矩。
?
?
?
?
????
??
dxxfxxE
dxxfxxE
k
k
kk
k
)()()(
)()('
2 ???
?
?k阶原点矩
?k阶中心矩
显然,随机变量 X的平均值和方差分别为
2
2
1'
??
??
?
?
?1阶原点矩
?2阶中心矩
3.3 概率密度函数的性质
(Properties of the probability)
3
3
2/3
2
3
1
)(
)( ?
?
?
?? ??? xE
?1=0
?1<0
?1>0
3)(3)( 4
4
2
2
4
2 ?
????
?
?
?
?? xE
?2=0
?2>0
?2<0
高阶矩用于研究在 |x-?|较大时 f(x)的特性,
1,非对称系数,或偏度( Skewness),
2,峰度系数( Peakedness),
表征 f(x)对平均值的不对称程度
f(x)曲线的尖锐程度(与正态分布相比)
均匀分布的 峰度系数 2 1.2? ??
第三章
概率分布的基本性质
3.4 特征函数
(Characteristic Function)
3.4 特征函数
(Characteristic Function)
( ) ( ) ( )i t x i t xt E e e f x d x???? ? ? ?
定义,
复值随机变量 eitx的期望值
称为随机变量 X的特征函数。
?(t)作 Fourier展开,可以表示成各阶原点矩为系数的级数和。
? ??? ? ?? dttexf i t x )(2 1)( ?
?(t)与 f(x)构成 Fourier变换对,即
由特征函数可很容易地求出随机变量 X的各阶矩
?
?
??
??
?
?
???
?
?
??
?
?
?
??
?
][)()(
,.,2,1,|
)(
)(
,.,,2,1,|
)(
)(
'
)()(
0
0
??
?
?
?
?
xitxit
tk
k
k
tk
k
k
eEdxxfet
k
it
t
k
it
t
原点矩,
中心矩,
3.4 特征函数
(Characteristic Function)
)()( atet xi b tbax ??? ?
特征函数的性质,
1|)(|,1)0( ???? t1,
2,如果 a和 b为常数,则 ax+b的特征函数为
第三章
概率分布的基本性质
3.5 多个随机变量的分布
3.5 多个随机变量的分布
),.,,,( 21 nxxxx ??
???
????
xdxf
xXxXxXpxxxF nnn
?? )(
),.,,,(),.,,,( 221121
)(xf ?
)(xf ?
1)(...),...,( 2121 ??? ?? ? xdxfdxdxdxxxxf nn ??
上述单个随机变量的概率分布的特征可推广到多个随机变量的情况
一、联合概率密度函数 (joint probability density function)
N维随机向量,
联合分布函数,
联合概率密度函数,
的性质,
在 n维空间中是非负的、单值函数,且满足归一化条件,
n个随机变量的整体,
3.5 多个随机变量的分布
),...,()( 21 nxxxgxg ?? x? )(xg?
?
?
?
?
??
??
?
xdxfxgExg
xgExgExgV
xdxfxgxgE
????
???
????
)() ] )([)((
) ] ]([)([)]([
)()()]([
2
2
二、期望值和方差
设 是随机向量 的函数,则 的期望值和方差定义为
三、协方差矩阵和相关系数
(Covariance Matrix,Correlation Coefficient)
随机向量 的某一分量 xi的平均值和方差的定义为,x?
?
?
?
?
????
??
xdxfxxE
xdxfxxE
iiii
iii
??
??
)()()(
)()(
222 ???
?
3.5 多个随机变量的分布
各分量的方差表示各分量偏离其期望值的分散程度,为表示各分量间的
相互关联的数字特征,引入协方差矩阵和相关系数的概念
协方差矩阵元的定义,
)()()(
)()()()(
)())(()])([(
jiji
jijijijijijijiji
jjiijjiiij
xExExxE
xExExxExxxxE
xdxfxxxxEV
??
????????
?????? ?
?
????????
???? ??
其中,?i 和 ?j分别为变量 xi和 xj的平均值。
协方差矩阵的特征,
( 1) V(x)是对称矩阵;
( 2)对角元素是随机向量各分量的方差;
222 )]([)( iiij xExEV ????
( 3)非对角元素称为变量 xi和 xj的协方差,记为,cov(xi,xj)
)()()(),c o v ()( jijiijjiij xExExxEVxxjiV ?????
协方差可正、可负。
3.5 多个随机变量的分布
相关系数的定义,
ii
ji
jjii
ij
ji
xx
VV
Vxx
???
),c o v (),( ??
可证,
1),(1 ??? ji xx?
相关系数的含义,
? 如果 ?=+1(或 -1),则称 xi和 xj为完全正相关 (或负相关 );
? 如果 ?=0,则称 xi和 xj不相关 ;
? 如果 ?>0,则 xi和 xj的变化趋势相同
? 如果 ?<0,则 xi和 xj的变化趋势相反
xi
xj xj
xi xi
xj
xi xi
xj x
j
3.5 多个随机变量的分布
四、独立变量 (Independent variables)
如果随机向量 的联合概率密度函数可写为 ),,( 21 nxxxx ?? ?
)()()(),,( 221121 nnn xfxfxfxxxf ?? ??
则称随机变量 x1,x2,…,x n是相互独立的
对于相互独立的随机变量,它们的协方差和相关系数为零,即不相关;
反之,不成立。
0),(,0),c o v ( ?? jiji xxxx ?
0)()()(),c o v (
)()(
)()(
)()(
),()(
???
?
?
?
?
??
?
?
??
?
?
jijiji
ji
jjjiii
jijiji
jijijiji
xExExxExx
xExE
dxxfxdxxfx
dxdxxfxfxx
dxdxxxfxxxxE
3.5 多个随机变量的分布
五、边缘概率密度函数,条件概率密度函数
边缘概率密度函数
概率密度函数 在某一子空间上的投影称为随机向量 对这一子空间
的边缘概率密度函数
)(xf ? x?
例:随机向量 对分量 x1的边缘密度函数定义为,x?
??? m a xm i nm a x2 m i n2 22111 ),,()( nnxx nnxx dxdxxxxfxh ???
如果 x1,x2,…x n是相互独立的,则有
h1=f1(x1),h2=f2(x2),…,
即:相互独立的随机变量的联合概率密度函数可因式分解为对各分量的边缘
概率密度函数之积
条件概率密度函数
)(
),,()|,,(
11
21
132 xh
xxxfxxxxf n
n
?? ?
( Marginal and Conditional p.d.f)
3.5 多个随机变量的分布
例子:邱-洛( Chew-Low)图和达里兹( Daliz)图
3.5 多个随机变量的分布
六、联合特征函数
随机向量 的联合特征函数的定义,x?
? ? ????? ???? ???? ???
???
?
??
nn
xitxitxit
xitxitxit
n
dxdxdxxxxfe
eEttt
n
n
???
?
?
?
2121
21
),,,(
)(),,(
11111
11111
如果 x1,x2,…x n是相互独立的,则有
)()()(),,( 2121 nn tttttt ?????? ??
其中,?(ti)为随机变量 xi的特征函数
证明:考虑两个变量的情况:如果 x1和 x2为相互独立的随机变量,则有
)()()()()(),(
)()(),(
2121
221121
22112211 tteEeEeeEtt
xfxfxxf
xitxitxitxit ?????????
??
由联合特征函数可得到,
0
21
21 |)()()( ?
?
??
???
tsr
sr
sr
itit
xxE
第三章
概率分布的基本性质
3.6 随机变量的线性函数
3.6 随机变量的线性函数
?
?
?
n
i
iin xaxxxg
1
21 ),,,( ?
????
????
??? n
i
ii
n
i
ii
n
i
ii
n
i
ii axEaxaExaE
1111
][][][ ?
??
??
??
???
???
??
??
??
???
???
??
?????
?????
????
??
ji
jiji
n
i
ii
ji
jjiiji
n
i
iii
ji
jjiiji
n
i
iii
n
i
iii
n
i
ii
n
i
ii
n
i
ii
n
i
ii
n
i
ii
xxaaxVa
xxEaaxEa
xxaaxaE
xaEaxaE
xaExaExaV
),c o v ()(
))([()(
}))(()({
})({}{
]}[{][
1
2
1
22
1
22
2
1
2
11
2
111
???
???
??
设 g(x1,x2,…,x n)是 n个随机变量的线性函数,
求 g(x1,x2,…,x n)的期望值和方差
1、期望值,
2、方差,
3.6 随机变量的线性函数
? ??? ?
? ????
???
1
1 111
2][
n
i
n
ij
ijji
n
i
iii
n
i
ii VaaVaxaV
??
??
?
n
i
iii
n
i
ii VaxaV
11
][
?
?
?
n
i
ixnx
1
1
x
22,,1 ???? ????
iiiii Vna
nn
axV
n
axE
n
i
ii
n
i
n
i
ii
2
22
1
22
11
)
1
()(
1
)(
?
??
???
???
???
??
??
?
??
若 x1,x2,…,x n是相互独立的随机变量,Vij=0,则
例,n个相互独立的随机变量 x1,x2,…,x n,具有相同的平均值 ?和方差 ? 2,
定义算术平均值,
求 的期望值和方差
第三章
概率分布的基本性质
3.7 变量变换
(Change of variables)
3.7 变量变换
(Change of variables)
X,连续型的随机变量,PDF,f(x)
y = y(x),x的函数,也是随机变量, 求 y(x)的概率密度函数 g(x)
1、若随机变量 x和 y是一一对应的,
2,若随机变量 x和 y不是一一对应的,
x dx
y
dy
x dx2
y
dy
dx1
[x,x+dx]?[y,y+dy]
即有 n个区间 [x,x+dx]?[y,y+dy],
X的取值在 [x,x+dx]的概率 ==Y的取值在 [y,y+dy]
的概率,
dy
dxxfyg )()( ?
取绝对值是为了保证 g(y)是非负的
f(x)dx=g(y)dy ?
?? dydxxfyg )()(
需要对这 n个区间求和
3.7 变量变换
(Change of variables)
3、推广到 n个随机变量的情况,
),,(),,( 2121 nn yyyyxxxx ???? ???
n
nnn
n
y
x
y
x
y
x
y
x
y
x
y
x
n
n
yyy
xxx
J
Jxfyg
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??
21
1
2
1
1
1
,
,
),,(
),,(
)()(
21
21
?Jacobian行列式
第三章
概率分布的基本性质
3.8 误差传播
(Propagation of errors)
3.8 误差传播
(Propagation of errors)
),,( 21 nxxxx ?? ?
)(),,( 21 xyxxxyy n ?? ??
x?
实验测量的物理量可分为,
直接测量量,其值是用实验仪器直接测量的
间接测量量,其值是用直接测量量的结果是通过适当的公式推断出来的
如何通过直接测量量的误差推导出间接测量量的误差??误差传播公式
一、单一函数的情况
设 y是随机变量 (直接测量量 ) 的函数,
求 y的方差
)(xV ?
),,( 21 n???? ?? ?
协方差矩阵
平均值,
3.8 误差传播
(Propagation of errors)
?
?
??
???? n
i
xx
y
ii ixyxy
1
|)()()( ??? ????
? ?
? ?
? ?
??
? ?
??
?
?
?
?
?
??
?
?
?
?
??
n
i
n
j
ijx
j
x
i
n
i
n
j
jjiix
j
x
i
V
x
y
x
y
xxE
x
y
x
y
xyV
1 1
1 1
||
)])([(||)]([
??
?? ??
????
????
?
)()]([ ??? yxyE ?
22 )]()([) ] }([)({)]([ ?????? yxyExyExyExyV ?????
?
? ??
???? n
i x
ii x
yxyxy
1
)()()(
?
??
??
??
3.8 误差传播
(Propagation of errors)
? ?
? ?
??
?
??
??
n
i
n
j
ijxx
y
xx
y VxyV
ji
1 1
||)]([ ?? ?????
?
?
??
??
n
i
iixx
y VxyV
i
1
2)|()]([
???
?
??
??
??
?
?
?
?
??
? ??
n
jji
jixx
y
x
y
n
i
ixx
y xxxy
jii
2,1
222 ),c o v ()(2)()|()(
?? ?? ????
?? ??
?
?
?? ?
?
)(,1
1
1
x
nx
y
x
n
xy
i
i
n
i
i
误差传播定律,
如果 x1,x2,…,x n是相互独立的,则有
将方差用 ?2代替,则得
例:算术平均值的方差
nxyx
n
i i
2
1
222 )()( ??? ????? ?
?
3.8 误差传播
(Propagation of errors)
? ?
? ?
? ?
? ?
?
?
?
?
?
??
?
?
?
?
?
???
???
n
i
n
j
ij
j
l
i
k
jjii
n
i
n
j j
l
i
k
llkk
llkkkl
xV
x
y
x
y
xxE
x
y
x
y
yxyyxyE
xyExyxyExyEyV
1 1
1 1
)(
)])([(
))]}()())][()({[
))]}(()())][(()({[)(
?
????
?????
??
??
二、多个函数的情况,矩阵表示
设有一组 m个函数 y1,y2,…y m都依赖于 n维随几向量 (x1,x2,…x n)
yk=yk(x1,x2,…xn)=yk(x),k=1,2,… m
mkxyxyxy n
i xi
kiikk ???? ??,2,1,|)()()(
1
??????? ?
? ? ?
??
mkyxyE kk ???,2,1),()]([ ?? ?
随机向量 y1,y2,…y m的
协方差矩阵元 ?
?误差传播定律的一般形式
3.8 误差传播
(Propagation of errors)
? ?
? ? ?
?
?
??? n
i
n
j
ij
j
k
i
k
kkk xVx
y
x
yyV
1 1
2 )()( ???
变量 y1,y2,…y m的误差为对角元素的平方根
?依赖于随即向量 X的协方差项
如果 xi是相互独立的,
时当 jixV ij ??,0)( ?
??
?? ?
??
?
??? n
i
i
i
kn
i
ii
i
kkkk x
x
yxV
x
yyV
1
22
1
22 )()()()()( ??? ??
矩阵表示,
???
??
??
??
?
x
i
k
ki
T
x
yS
SxSVyV
|
)()(
3.8 误差传播
(Propagation of errors)
三、几种常见到的函数的误差传播公式
第三章
概率分布的基本性质
3.9 分离型随机变量的概率分布
3.9 分离型随机变量的概率分布
1??
r r
p
222 )]([)())(()(
)(
rErEprErrV
rprE
r
r
r
r
????
?
?
?
??? r rrr pzzEzG )()(
2
22
21
))1(()1()1()(),1()(
)()()1()1(),()1(
)1()(,)(
GGGrVGrE
rErErpprprrGrErpG
pzrrzGprzzG
r
r
r
r
r
r
r
r
r
r
r
r
r
r
??????????
????????????
??????
????
?? ???
概率分布:一组概率值 pr表示,pr满足归一化条件,
pr,分离型随即变量取值为 r的概率
期望值和方差的定义:与连续型的随机变量类似,积分 ?求和
概率产生函数( probability generating function) ?特征函数
利用该函数可计算变量 r的各阶矩,
第三章
概率分布的基本性质
3.10 样本
(Sampling)
3.10 样本
(Sampling)
一、总体和样本( universe and sample)
总体(或母体),
研究对象的所有可能的观测结果
? 在物理实验中,总是用一些随机变量来描述某一物理系统,这些变
量的概率密度函数描述了总体的特征
? 如果能在相同的条件下对描述物理系统的随机变量进行无限多次的
测量,则可用概率密度函数来概括所有可能的实验结果;
样本( sample),
在实际实验中,测量的次数总是有限的,若实验的次数为 n,对某个物理
量的测量值为 x1,x2,… xn,则称这组测量值构成了容量为 n的样本。
? 样本只是总体的一个子集,希望能从该样本推断出总体的特征 ;
? 样本是随机的, 不同的样本对总体的特性的推断有差异,但基本类似,
3.10 样本
(Sampling)
二、样本的特性
希望用实验样本推断出所研究的总体的特性
样本平均值,
样本方差,?
?
?
?
?
?
?
?
n
i
i
n
i
i
xx
n
s
x
n
x
1
22
1
)(
1
1
1
?样本相对于其平均值的离散程度
2sx和 是随机变量 xi的函数 ?也是随机变量
? 如果从总体中抽取几组容量都为 n的样本,每组样本的平均值和方差将
是不同的;
? 样本平均值和方差将具有自己的分布,其分布依赖于总体的分布和样本
的容量;
3.10 样本
(Sampling)
?
?
?
?
?
?
??
??
n
i
i
n
i
i
xx
n
s
x
n
x
1
222
1
)(
1
1
?
1
?
?
?
特例:总体满足正态分布,则样本平均值和方差具有以下的性质,
1,样本平均值和方差是相互独立的随机变量;
2,样本平均值服从正态分布;
3,样本方差服从 ?2分布
三、由样本得出的推论
实验的目的就是要用有限的样本的特性推断出总体的特性,希望样本能在某
些方面代表所研究的总体的特性。
样本平均值和方差可用于估计总体的平均值 ?和方差 ?2
3.10 样本
(Sampling)
222?
?
??
??
??
??
s
x
nxVxE
2)(,)( ?? ??
0)(
)()(,)(
2
2
2)1(
22
24
12
2
22
????
????? ?
sVn
sVsE nnn
时,当
?????
因此,如果选择容量足够大的样本,则对总体参数的估计值可达到要求的精度
?估计式的一致性 (consistency)
当 n很大时,样本的特性应趋近于总体的特性
?广义的收敛定律
直观理解,
1、样本平均值的期望值和方差,
因此,当 n很大时,V(x)?0
2,s2的期望值和方差
3.10 样本
(Sampling)
?? ???? xn ?时,当
?
?
? n
i
ixnx
1
1
Nn? ?? ??x
()Px ? ? ?? ? ?
四、大数定理 (Law of Large Numbers)
是大数定理的一个结果
大数定理,
设 x1,x2,… 是一组具有相同分布的独立的随机变量(平均值都为 ?),对
于其中的前 n个变量,定义算术平均值为
给定任意的两个正整数 ?和 ?,存在着正整数 N,使得当 时,的概率
小于 ?
?给出了当 n很大时,算术平均值的行为
大数定理与随机变量的方差没有关系,即使方差不存在,该定理也成立
3.10 样本
(Sampling)
如果 xi的方差存在,利用切比雪夫不等式
2
22
()() VxPx
n
???
??? ? ? ?
当 n→∞ 时,的概率可以任意小 x ????