4.2 概率收敛与大数定理
频率的稳定性 —— 概率
观测值的算术平均值的稳定性 —— 大数定理。
大数定理是一系列定理。
服从大数定理随机变量序列 }{ n?
是随机变量序列，令，，，设,21 n
,21 n nn
，对任意的，，，如果存在常数序列 0,,21 naaa
,1}|{|l im nnn aP有服从大数定理。则称随机变量序列 }{ n?
,0}|{|l im nnn aP或定义：
定理 1 马尔可夫大数定理
，其方差存在，，，，若随机变量序列,21 n
，，则对任意的）（且满足 0)(01
1
2
nDn
n
i
i
。有 1}|11{|lim
11
n
i
i
n
i
in EnnP
)1(
1
n
i
inE?
证明：由切贝雪夫不等式：
2
1
1
)
1
(
1}|
1
{|
n
i
in
i
i
n
D
n
P
2
1
2 )(
1
1
n
i
iDn
。1}|11{|l i m
11
n
i
i
n
i
in EnnP
由夹逼定理：
定理 2 切比雪夫大数定理
,0),2,1(
,21
，则对任意的
，使得即存在常数方差存在且一致有界，
变量序列，，是两两不相关的随机，，，若
i
CDC i
n
。有 1}|11{|lim
11
n
i
i
n
i
in EnnP
两两不相关，，,,21 n证明：
011 2
1
2
1
2
n
C
n
nCD
nDn
n
i
i
n
i
i ）（
满足马尔可夫大数定理的条件，
。有 1}|11{|l i m,0
11
n
i
i
n
i
in EnnP
意 义,令n i
i
n
n
1
1
,则
E
n
En i
i
n
1
1
，
D
n
D
n
nK
K
nn ii
n
1 12
1
2
当 n 时,D n? 是 一 个 无 穷 小 量 。
说明,当 n 充分大时,? n 分布的分散程度很小，即? n
比较紧密地聚集在它的期望 E n? 的附近。
定 义,对 任 意 的 0,若 lim (| | )
n
nP a
1,则 称
r v.,? n 当 n 时 按 概 率 收 敛 于 a 。
切 贝 雪 夫 定 理 设 独 立 随 机 变 量1 2,,,,n
分 别 有 数 学 期 望 及 方 差,并 且 方 差 是 一致 有 上 界 的,则1 2,,,? n 的 算 术平 均 值 与 它 们 的 数 学 期 望 的 算 术 平 均 值之 差,当
n
时 按 概 率 收 敛 于 零 。
（ a = 0 ）
推 论,设 独 立 随 机 变 量
1 2
,,,,
n
服 从 同 一 分布,并 且 有 数 学 期 望? 及 方 差?
2
,则
1 2
,,,?
n
的 算 术 平 均 值,当 n 时,按 概 率 收 敛 于 数 学期 望?,即 对 于 任 何 0,恒 有
lim
n
i
i
n
P
n
1
1
1
伯努利定理伯 努 利 定 理,在 独 立 试 验 序 列 中,事 件 A 的 频 率,当试 验 次 数 无 限 增 加 时,按 概 率 收 敛 于 事 件A
的 概 率 。
证 明,设? i 表 示 第 i 次 试 验 中 事 件 A 出 现,
P pi( )1,P pi( )0 1,
i n? 1 2,,,?
即1 2,,,,n 服 从 同 一 分 布,且
E p D pq q pi i,,1,
i n? 1 2,,,?
n 次 试 验 中 事 件 A 出 现 的 次 数,m i
i
n
1
，
n 次 试 验 中 事 件 A 出 现 的 频 率,mn n i
i
n
1
1
,
由 推 论,对 于 任 何 0,limn P
m
n
p
1
＃意 义,频 率 的 稳 定 性,当 试 验 在 不 变 的 条 件 下 重 复 进行 很 多 次 时,随 机 事 件 的 频 率 在 它 们 的 概 率 附 近摆 动 。
小 概 率 事 件 的 实 际 不 可 能 原 理,
概 率 很 小 的 时 事 件 在 个 别 试 验 中 是 不 可 能 发 生 的 。
问 题,随 机 事 件 的 概 率 小 到 什 么 程 度 才 可 看 作 实 际 上不 可 能 发 生 的？
若 r v.,? ～ N (,)
2
，则有
P (| | ),3 0 9973 。
落在区间 (,)3 3 之外的概率不超过 0 003.,通常认为这一概率很小，因此认为? 的实际可能取值区间为：
(,)3 3
。
结 论,如 果 随 机 事 件 的 概 率 很 接 近 于 一,则 可 以 认 为在 个 别 实 试 验 中 这 事 件 一 定 发 生 。
3? 原理：
频率的稳定性 —— 概率
观测值的算术平均值的稳定性 —— 大数定理。
大数定理是一系列定理。
服从大数定理随机变量序列 }{ n?
是随机变量序列，令，，，设,21 n
,21 n nn
，对任意的，，，如果存在常数序列 0,,21 naaa
,1}|{|l im nnn aP有服从大数定理。则称随机变量序列 }{ n?
,0}|{|l im nnn aP或定义：
定理 1 马尔可夫大数定理
，其方差存在，，，，若随机变量序列,21 n
，，则对任意的）（且满足 0)(01
1
2
nDn
n
i
i
。有 1}|11{|lim
11
n
i
i
n
i
in EnnP
)1(
1
n
i
inE?
证明：由切贝雪夫不等式：
2
1
1
)
1
(
1}|
1
{|
n
i
in
i
i
n
D
n
P
2
1
2 )(
1
1
n
i
iDn
。1}|11{|l i m
11
n
i
i
n
i
in EnnP
由夹逼定理：
定理 2 切比雪夫大数定理
,0),2,1(
,21
，则对任意的
，使得即存在常数方差存在且一致有界，
变量序列，，是两两不相关的随机，，，若
i
CDC i
n
。有 1}|11{|lim
11
n
i
i
n
i
in EnnP
两两不相关，，,,21 n证明：
011 2
1
2
1
2
n
C
n
nCD
nDn
n
i
i
n
i
i ）（
满足马尔可夫大数定理的条件，
。有 1}|11{|l i m,0
11
n
i
i
n
i
in EnnP
意 义,令n i
i
n
n
1
1
,则
E
n
En i
i
n
1
1
，
D
n
D
n
nK
K
nn ii
n
1 12
1
2
当 n 时,D n? 是 一 个 无 穷 小 量 。
说明,当 n 充分大时,? n 分布的分散程度很小，即? n
比较紧密地聚集在它的期望 E n? 的附近。
定 义,对 任 意 的 0,若 lim (| | )
n
nP a
1,则 称
r v.,? n 当 n 时 按 概 率 收 敛 于 a 。
切 贝 雪 夫 定 理 设 独 立 随 机 变 量1 2,,,,n
分 别 有 数 学 期 望 及 方 差,并 且 方 差 是 一致 有 上 界 的,则1 2,,,? n 的 算 术平 均 值 与 它 们 的 数 学 期 望 的 算 术 平 均 值之 差,当
n
时 按 概 率 收 敛 于 零 。
（ a = 0 ）
推 论,设 独 立 随 机 变 量
1 2
,,,,
n
服 从 同 一 分布,并 且 有 数 学 期 望? 及 方 差?
2
,则
1 2
,,,?
n
的 算 术 平 均 值,当 n 时,按 概 率 收 敛 于 数 学期 望?,即 对 于 任 何 0,恒 有
lim
n
i
i
n
P
n
1
1
1
伯努利定理伯 努 利 定 理,在 独 立 试 验 序 列 中,事 件 A 的 频 率,当试 验 次 数 无 限 增 加 时,按 概 率 收 敛 于 事 件A
的 概 率 。
证 明,设? i 表 示 第 i 次 试 验 中 事 件 A 出 现,
P pi( )1,P pi( )0 1,
i n? 1 2,,,?
即1 2,,,,n 服 从 同 一 分 布,且
E p D pq q pi i,,1,
i n? 1 2,,,?
n 次 试 验 中 事 件 A 出 现 的 次 数,m i
i
n
1
，
n 次 试 验 中 事 件 A 出 现 的 频 率,mn n i
i
n
1
1
,
由 推 论,对 于 任 何 0,limn P
m
n
p
1
＃意 义,频 率 的 稳 定 性,当 试 验 在 不 变 的 条 件 下 重 复 进行 很 多 次 时,随 机 事 件 的 频 率 在 它 们 的 概 率 附 近摆 动 。
小 概 率 事 件 的 实 际 不 可 能 原 理,
概 率 很 小 的 时 事 件 在 个 别 试 验 中 是 不 可 能 发 生 的 。
问 题,随 机 事 件 的 概 率 小 到 什 么 程 度 才 可 看 作 实 际 上不 可 能 发 生 的？
若 r v.,? ～ N (,)
2
，则有
P (| | ),3 0 9973 。
落在区间 (,)3 3 之外的概率不超过 0 003.,通常认为这一概率很小，因此认为? 的实际可能取值区间为：
(,)3 3
。
结 论,如 果 随 机 事 件 的 概 率 很 接 近 于 一,则 可 以 认 为在 个 别 实 试 验 中 这 事 件 一 定 发 生 。
3? 原理：
