第四章 大数定律和中心极限定理
内容提要
本章主要讲述契比雪夫不等式，契比雪夫大数定律，贝努里大数定律和中心极限定理等内容．
重点分析
了解切比雪夫不等式、切比雪夫定理和伯努利定理。
了解独立同分布的中心极限定理和棣莫佛—拉普拉斯定理。
难点分析
切比雪夫定理。
独立同分布的中心极限定理。
习题布置
习题4 (3,5,8)
备注
教 学 内 容 ( Contents )
Chapter Four 大数定律和中心极限定理(Large Number Law and Central Limit Theorem)
§4.1 大数定律(Large number law)
人们在长期的实践中发现，事件发生的频率具有稳定性，也就是说随着试验次数的增多，事件发生的频率将稳定与一个确定的常数。对某个随机变量进行大量的重复观测，所得到的大批观测数据的算术平均值也具有稳定性，由于这类稳定性都是在对随机现象进行大量重复试验的条件下呈现出来的，因而反映这方面规律的定理我们就统称为大数定律。
一,契比雪夫不等式（Chebyshev inequality）
Theorem 4.1 设随机变量的均值及方差存在，则对于任意正数，有不等式
或 成立。
(If the mean and variance of the random variable are known，then for any value
or )
我们称该不等式为契比雪夫（Chebyshev）不等式。
Proof,（我们仅对连续性的随机变量进行证明）设为的密度函数，记，
则
从定理中看出，如果越小，那么随机变量取值于开区间中的概率就越大，这就说明方差是一个反映随机变量的概率分布对其分布中心(distribution center)的集中程度的数量指标。
利用契比雪夫不等式，我们可以在随机变量的分布未知的情况下估算事件的概率。
Example 4.1 设随机变量的数学期望，方差估计的大小。
Solution
因而 不会小于.
二,契比雪夫大数定律（Chebyshev Law of Large Number）
Theorem 4.2 设相互独立的随机变量分别具有均值及方差，若存在常数，使，则对于任意正整数，有
（Let be a sequence of independent random variables with the mean and variance ,，suppose there exists a constant ,such that ，then for any value ，
）
Proof,由于相互独立，那么对于任意的，相互独立。于是
令 ，则由契比雪夫不等式（Chebyshev inequality）有
令,则有
即 .
Corollary 4.1 设相互独立的随机变量有相同的分布，且 ，存在，则对于任意正整数，有,（Let be a sequence of independent and identically distributed random variables，and ，exist,then,for any value ，.）
定理4.2我们称之为契比雪夫大数定理（Chebyshev Law of Large Number），推论4.1是它的特殊情况，该推论表明，当很大时，事件的概率接近于1。一般地，我们称概率接近于1的事件为大概率事件(large probability event)，而称概率接近于0的事件为小概率事件(small probability event)，在一次试验中大概率事件几乎肯定要发生，而小概率事件几乎不可能发生，这一规律我们称之为实际推断原理(fact infer principle)。
三,贝努里大数定律（Bernoulli Law of Large Number）
Theorem 4.3 设是次独立重复试验中事件发生的次数，是事件在每次试验中发生的概率，则对于任意正整数，有 ,（Let represents the number of events that occur in the independent trials， represents the probability of events that occur in each trials,then for any value
.）
Proof,令，是个相互独立的随机变量，且.又 ，因而由推论4.1有
定理4.3我们称之为贝努利大数定律（Bernoulli Law of Large Number），它表明事件发生的频率依概率收敛于事件的概率，也就是说当很大时事件发生的频率与概率有较大偏差的可能性很小。根据实际推断原理，当试验次数很大时，就可以利用事件发生的频率来近似地代替事件的概率。
§4.2 中心极限定理(Central Limit Theorem)
中心极限定理(Central Limit Theorem)是研究在适当的条件下独立随机变量的部分和的分布收敛于正态分布的问题。
Theorem 4.4 设相互独立的随机变量服从同一分布，且 ，，则对于任意，随机变量的分布函数趋于标准正态分布函数，即有
(Let be a sequence of independent and identically distributed random variables，and ，exist,then,for any ,the distribution function of random variable tends to the standard normal distribution,
.)
定理的证明从略。
该定理我们通常称之为林德贝格-勒维(Lindeberg-Levy)定理。
Corollary 4.2 设相互独立的随机变量服从同一分布，已知均值为，方差为.单分布函数未知，当充分大时，近似服从正态分布,(Let be a sequence of independent and identically distributed random variables，with mean and variance .While the distribution function is unknown，and is large，then is a normal approximation distribution .)
Corollary 4.3 设相互独立的随机变量服从同一分布，已知均值为，方差为.单分布函数未知，当充分大时,近似服从正态分布.
(Let be a sequence of independent and identically distributed random variables，with mean and variance .While the distribution function is unknown，and is large，then is a normal approximation distribution .)
由推论4.3知，无论是什么样的分布函数，他的平均数当充分大时总是近似地服从正态分布。
Example 4.2 某单位内部有260部电话分机，每个分机有4%的时间要与外线通话，可以认为每个电话分机用不同的外线是相互独立的，问总机需备多少条外线才能95%满足每个分机在用外线时不用等候?
Solution 令，是260个相互独立的随机变量，且，表示同时使用外线的分机数，根据题意应确定最小的使成立。由上面定理，有
查得，故，取，于是
也就是说，至少需要16条外线才能95%满足每个分机在用外线时不用等候。
Example 4.3 用机器包装味精，每袋净重为随机变量，期望值为100克，标准差为10克，一箱内装200袋味精，求一箱味精净重大于20500克的概率。
Solution 设一箱味精净重为克，箱中第袋味精的净重为克，.
是200个相互独立的随机变量，且，
因而有
Theorem 4.5 （德莫佛—拉普拉斯定理DeMovire-Laplace Theorem）设表示次独立重复试验中事件发生的次数，是事件A在每次试验中发生的概率。则对于任意区间，恒有
(Let represents the number of events that occur in the independent trials，represents the probability of events that occur in each trials,then for any interal ,
That is
.)
这两个定理表明二项分布的极限分布是正态分布。一般来说，当较大时，二项分布的概率计算起来非常复杂，这是我们就可以用正态分布来近似地计算二项分布。
Example 4.4 设随机变量服从，求.
Solution
Example 4.5 设电路共电网中内有10000盏灯，夜间每一盏灯开着的概率为0.7，假设各灯的开关彼此独立，计算同时开着的灯数在6800与7200之间的概率。
Solution 记同时开着的灯数为，它服从二项分布，于是
第四章小结(Summary of Chapter Four)
本章介绍了大数定律和中心极限定理。要求了解契比雪夫不等式、契比雪夫定理和伯努利定理；了解独立同分布的中心极限定理和德莫佛—拉普拉斯定理。
内容提要
本章主要讲述契比雪夫不等式，契比雪夫大数定律，贝努里大数定律和中心极限定理等内容．
重点分析
了解切比雪夫不等式、切比雪夫定理和伯努利定理。
了解独立同分布的中心极限定理和棣莫佛—拉普拉斯定理。
难点分析
切比雪夫定理。
独立同分布的中心极限定理。
习题布置
习题4 (3,5,8)
备注
教 学 内 容 ( Contents )
Chapter Four 大数定律和中心极限定理(Large Number Law and Central Limit Theorem)
§4.1 大数定律(Large number law)
人们在长期的实践中发现，事件发生的频率具有稳定性，也就是说随着试验次数的增多，事件发生的频率将稳定与一个确定的常数。对某个随机变量进行大量的重复观测，所得到的大批观测数据的算术平均值也具有稳定性，由于这类稳定性都是在对随机现象进行大量重复试验的条件下呈现出来的，因而反映这方面规律的定理我们就统称为大数定律。
一,契比雪夫不等式（Chebyshev inequality）
Theorem 4.1 设随机变量的均值及方差存在，则对于任意正数，有不等式
或 成立。
(If the mean and variance of the random variable are known，then for any value
or )
我们称该不等式为契比雪夫（Chebyshev）不等式。
Proof,（我们仅对连续性的随机变量进行证明）设为的密度函数，记，
则
从定理中看出，如果越小，那么随机变量取值于开区间中的概率就越大，这就说明方差是一个反映随机变量的概率分布对其分布中心(distribution center)的集中程度的数量指标。
利用契比雪夫不等式，我们可以在随机变量的分布未知的情况下估算事件的概率。
Example 4.1 设随机变量的数学期望，方差估计的大小。
Solution
因而 不会小于.
二,契比雪夫大数定律（Chebyshev Law of Large Number）
Theorem 4.2 设相互独立的随机变量分别具有均值及方差，若存在常数，使，则对于任意正整数，有
（Let be a sequence of independent random variables with the mean and variance ,，suppose there exists a constant ,such that ，then for any value ，
）
Proof,由于相互独立，那么对于任意的，相互独立。于是
令 ，则由契比雪夫不等式（Chebyshev inequality）有
令,则有
即 .
Corollary 4.1 设相互独立的随机变量有相同的分布，且 ，存在，则对于任意正整数，有,（Let be a sequence of independent and identically distributed random variables，and ，exist,then,for any value ，.）
定理4.2我们称之为契比雪夫大数定理（Chebyshev Law of Large Number），推论4.1是它的特殊情况，该推论表明，当很大时，事件的概率接近于1。一般地，我们称概率接近于1的事件为大概率事件(large probability event)，而称概率接近于0的事件为小概率事件(small probability event)，在一次试验中大概率事件几乎肯定要发生，而小概率事件几乎不可能发生，这一规律我们称之为实际推断原理(fact infer principle)。
三,贝努里大数定律（Bernoulli Law of Large Number）
Theorem 4.3 设是次独立重复试验中事件发生的次数，是事件在每次试验中发生的概率，则对于任意正整数，有 ,（Let represents the number of events that occur in the independent trials， represents the probability of events that occur in each trials,then for any value
.）
Proof,令，是个相互独立的随机变量，且.又 ，因而由推论4.1有
定理4.3我们称之为贝努利大数定律（Bernoulli Law of Large Number），它表明事件发生的频率依概率收敛于事件的概率，也就是说当很大时事件发生的频率与概率有较大偏差的可能性很小。根据实际推断原理，当试验次数很大时，就可以利用事件发生的频率来近似地代替事件的概率。
§4.2 中心极限定理(Central Limit Theorem)
中心极限定理(Central Limit Theorem)是研究在适当的条件下独立随机变量的部分和的分布收敛于正态分布的问题。
Theorem 4.4 设相互独立的随机变量服从同一分布，且 ，，则对于任意，随机变量的分布函数趋于标准正态分布函数，即有
(Let be a sequence of independent and identically distributed random variables，and ，exist,then,for any ,the distribution function of random variable tends to the standard normal distribution,
.)
定理的证明从略。
该定理我们通常称之为林德贝格-勒维(Lindeberg-Levy)定理。
Corollary 4.2 设相互独立的随机变量服从同一分布，已知均值为，方差为.单分布函数未知，当充分大时，近似服从正态分布,(Let be a sequence of independent and identically distributed random variables，with mean and variance .While the distribution function is unknown，and is large，then is a normal approximation distribution .)
Corollary 4.3 设相互独立的随机变量服从同一分布，已知均值为，方差为.单分布函数未知，当充分大时,近似服从正态分布.
(Let be a sequence of independent and identically distributed random variables，with mean and variance .While the distribution function is unknown，and is large，then is a normal approximation distribution .)
由推论4.3知，无论是什么样的分布函数，他的平均数当充分大时总是近似地服从正态分布。
Example 4.2 某单位内部有260部电话分机，每个分机有4%的时间要与外线通话，可以认为每个电话分机用不同的外线是相互独立的，问总机需备多少条外线才能95%满足每个分机在用外线时不用等候?
Solution 令，是260个相互独立的随机变量，且，表示同时使用外线的分机数，根据题意应确定最小的使成立。由上面定理，有
查得，故，取，于是
也就是说，至少需要16条外线才能95%满足每个分机在用外线时不用等候。
Example 4.3 用机器包装味精，每袋净重为随机变量，期望值为100克，标准差为10克，一箱内装200袋味精，求一箱味精净重大于20500克的概率。
Solution 设一箱味精净重为克，箱中第袋味精的净重为克，.
是200个相互独立的随机变量，且，
因而有
Theorem 4.5 （德莫佛—拉普拉斯定理DeMovire-Laplace Theorem）设表示次独立重复试验中事件发生的次数，是事件A在每次试验中发生的概率。则对于任意区间，恒有
(Let represents the number of events that occur in the independent trials，represents the probability of events that occur in each trials,then for any interal ,
That is
.)
这两个定理表明二项分布的极限分布是正态分布。一般来说，当较大时，二项分布的概率计算起来非常复杂，这是我们就可以用正态分布来近似地计算二项分布。
Example 4.4 设随机变量服从，求.
Solution
Example 4.5 设电路共电网中内有10000盏灯，夜间每一盏灯开着的概率为0.7，假设各灯的开关彼此独立，计算同时开着的灯数在6800与7200之间的概率。
Solution 记同时开着的灯数为，它服从二项分布，于是
第四章小结(Summary of Chapter Four)
本章介绍了大数定律和中心极限定理。要求了解契比雪夫不等式、契比雪夫定理和伯努利定理；了解独立同分布的中心极限定理和德莫佛—拉普拉斯定理。
