§ 1.4 条件概率、全概率公式和贝叶
斯公式
一、条件概率
简单地说,条件概率就是在一定附加
条件之下的事件概率,
从广义上看,任何概率都是条件概率,
因为任何事件都产生于一定条件下的试验
或观察,但我们这里所说的“附加条件”
是指除试验条件之外的附加信息,这种附
加信息通常表现为“已知某某事件发生了”
定义 1.2 设 A和 B为两个事件,,那
么,在,B已发生”的条件下,A发生的 条
件 概率 定义为
,( 1-10)
在具体计算 时,可以用公式( 1-
10)的右端来求,也可以像刚才的例子那
样,直接从缩小了的样本空间来求,后一
种求法有时更方便、实用,
0)( ?BP
)|( BAP
)(
)(
)|(
BP
ABP
BAP ?
)|( BAP
从条件概率的定义,不难验证条件概率具
有以下性质(习题一的第 23题):
( 1)
( 2)
但是,需要注意,一般地
,.
条件概率的一个重要应用便是下面的乘法
公式,
)|()|(]|)[( CBPCAPCBAP ???
)|(1)|( CAPCAP ??
)|()|()](|[ CAPBAPCBAP ???
1)|()|( ?? BAPBAP
二、乘法公式
根据( 1-10),当 或
时,立即有 或
,(1-11)
这就是概率的 乘法公式,它在计算复杂事
件的概率时十分有用,
乘法公式( 1-11)还可推广到多个事件的
情形,如 时,有
0)( ?AP 0)( ?BP
)|()()( ABPAPABP ??
)|()()( BAPBPABP ??
0)( 121 ??mAAAP ?
我们看到,运用乘法公式求复杂事件
的概率时,关键在于如何将事件依次划分
成‘适当’事件之积,使得前面事件都发
生的条件下后一事件发生的条件概率便于
计算,
关于复杂事件概率的计算方法,除乘法公
式外,下面还有一个更重要的公式
)|()(])[( )( 12112112121 ??? ??? mmmmmm AAAAPAAAPAAAAPAAAP ????
)|()|()|()( 121121121 ????? mmii AAAAPAAAAPAAPAP ?????
三、全概率公式
设事件组 互斥
且,则对任一事件 B,
,( 1-12)
称此式为 全概率公式,
由全概率公式可知,在计算复杂事件 B
的概率时,只要能找到一组适当的、互斥
简单事件 使它们的和事件是必
然事件
nAAA,,,21 ? ????? nAAA ?21
0)( ?iAP,,,2,1 ni ??
)|()()|()()|()()( 2211 nn ABPAPABPAPABPAPBP ??????? ?
?
?
?
n
i
ii ABPAP
1
)|()(
,,,21 ?AA nA
并且 和 ( )易于
计算,那么,的计算就可简化,
在公式( 1-10)、( 1-11)和( 1-12)
的条件下,若,则立即有
,( 1-13)
上式称为 贝叶斯公式 以纪念英国统计学家
贝叶斯 ( T,Bayes)对概率论的贡献,
)( iAP )|( iABP,,,2,1 ni ??
)(BP
四、贝叶斯公式
?
?
?
?
?? n
k
kk
iii
i
ABPAP
ABPAP
BP
BAP
BAP
1
)|()(
)|()(
)(
)(
)|(
,,,2,1 ni ??
这一公式最早发表于 1763年,当时贝叶斯
已经去世,其结果没有受到应有的重视, 后
来,人们才逐渐认识到了这个著名概率公
式的重要性, 现在,贝叶斯公式以及根据它
发展起来的贝叶斯统计已成为机器学习、
人工智能、知识发现等领域的重要工具,
贝叶斯公式给出了‘结果’事件 B已发
生的条件下,‘原因’事件 的条件概率
从这个意义上讲,它是一个“执果索因”
的条件概率计算公式,相对于事件 B而言,
概
iA
ni,,2,1 ??
率论中把称为 先验概率 ( PriorProbability)
,而把称为 后验概率
( Posterior Probability),这是在已有附加
信息(即事件 B已发生)之后对事件发生的
可能性做出的重新认识,体现了已有信息
带来的知识更新,