第五章 基本极限定理
【授课对象】理工类本科二年级
【授课时数】2学时
【授课方法】课堂讲授与提问相结合
【基本要求】1、理解切比雪夫不等式；
2、了解切比雪夫大数定理及Bernoulli大数定理；
3、知道独立同分布的中心极限定理，了解德莫佛—拉普拉斯中心极限定理。
【本章重点】切比雪夫不等式，切比雪夫大数定理及Bernoulli大数定理。
【本章难点】对切比雪夫大数定理及独立同分布的中心极限定理的理解。
【授课内容及学时分配】
§5.1 切比雪夫不等式及大数定律
0.前言在第一章我们提到过事件发生的频率具有稳定性，即随着试验次数的增加，事件发生的频率逐渐稳定于某个常数，这一事实显示了可以用一个数来表征事件发生的可能性大小，这使人们认识到概率是客观存在的，进而由频率的三条性质的启发和抽象给出了概率的定义，而频率的稳定性是概率定义的客观基础。在实践中人们还认识到大量测量值的算术平均值也具有稳定性，而这种稳定性就是本节所要讨论的大数定律的客观背景，而这些理论正是概率论的理论基础。
下面介绍三个定理，它们分别反映了算术平均值及频率的稳定性。
一、大数定律(包括强大数定律和弱大数定律，本书主要讲弱大数定律)
事件的频率稳定于概率，能否有，答案是否定的。而是用[以概率收敛]来刻划（弱）。或者用[a.e.收敛] 来刻划（强）。
定义：设是随机变量序列，如果存在常数列，对，恒有，则称服从弱大数定律。
二、切比雪夫大数定律
1．切比雪夫不等式
设随机变量具有有限的期望与方差，则对，有
或
证明：我们就连续性随机变量的情况来证明。设，则有
该不等式表明：当很小时，也很小，即的取值偏离的可能性很小。这再次说明方差是描述取值分散程度的一个量。
切比雪夫不等式常用来求在随机变量分布未知，只知其期望和方差的情况下，事件概率的下限估计；同时，在理论上切比雪夫不等式常作为其它定理证明的工具。
2．定理1（切比雪夫大数定律）
设是相互独立的随机变量序列，每一随机变量都有有限的方差，且一致有界，即存在常数，使，则对任意的，有[即]
证明：由切比雪夫不等式知：有：
该定理表明：当很大时，随机变量的算术平均值接近于其数学期望，这种接近是在概率意义下的接近。通俗的说，在定理的条件下，个相互独立的随机变量算术平均值，在无限增加时将几乎变成一个常数。
推论：设是相互独立的随机变量，由相同的数学期望和方差，则有
（即以概率收敛于）
这个结论有很实际的意义：人们在进行精密测量时，为了减少随机误差，往往重复测量多次，测得若干实测值，然后用其平均值来代替。
切比雪夫大数定律是最基本的大数定理，作为切比雪夫大数定律的特殊情形有Bernoulli 大数定理和辛钦大数定律。
三、Bernoulli 大数定理定理2：设是重Bernoulli试验中事件出现的次数，而是事件在每次试验中出现的概率，则对，
证明：令，
则相互独立且＝，，，，
故由切比雪夫大数定律立刻推出贝努里大数定律。
或者，直接由切比雪夫不等式，对，有
即 。故{}服从大数定律。
Bernoulli 大数定律表表明：事件发生的频率依概率收敛于事件的概率，这个定理以严格的数学形式表达了频率的稳定性。就是说当很大时，事件发生的频率于概率有较大偏差的可能性很小。由实际推断原理，在实际应用中，当试验次数很大时，便可以用事件发生的频率来代替事件的概率。
切比雪夫大数定律（定理1）中要求随机变量的方差存在，但在这些随机变量服从相同分布的场合，并不需要这一要求，从而我们有以下的定理：
四、辛钦大数定律定理3：设随机变量独立同分布，且具有数学期望，则有 （即以概率收敛于）
证明：略。
显然，Bernoulli大数定律是辛钦大数定律的特殊情况。
§5.2 中心极限定理
0.前言在客观实际中有许多随机变量，它们是由大量的相互独立的随机因素的综合影响所形成的，而其中每一个因素在总的影响中所起的作用都是微小的，这种随机变量是近似地服从正态分布，这种现象就是中心极限定理的客观背景。
中心极限定理的内容包含极限，因而称它为极限定理是很自然的，又由于它在统计中的重要性，称它为中心极限定理这是Poyla在1920年取得名字。
设{}是相互独立的随机变量序列，它们的期望与方差均存在，考虑（标准化和），这时对于任意的都有，因而当时，不至于发生趋向于0或这种情形，这时讨论它的分布才有意义。下面研究的分布：
一、定义1：设{n}为相互独立的随机变量序列，若其标准化和的分布函数P{}弱收敛于标准正态分布的分布函数,即P{}=，则称{n}服从中心极限定理。[]
中心极限定理有多种不同的形式，下面我主要讲独立同分布的中心极限定理及其一特殊情形：
二、定理1:(Levy-Lindeberg极限定理)[独立同分布的中心极限定理]
设是独立同分布的随机变量序列，且（），，均存在，则，有
证：（略）
该定理也可改写为：对，有
在一般情况下，很难求出n个随机变量之和的分布函数，该定理表明：当n充分大时，可以通过给出其近似分布，这样就可以利用正态分布对作理论分析或作实际计算，其好处是明显的。
三、定理2（De Moivre-Laplace极限定理）(定理1的特殊情形)
设是n重Bernoulli试验中成功的次数，已知每次试验成功的概率为，则对有 。
该定理也可改写为：，有
证明,令 则
为独立同分布的随机变量序列,且均存在显然：，此时
该定理为上定理的一个特殊情形，故由上定理该定理得证。
中心极限定理表明：在相当一般的条件下，当独立随机变量的个数增加时，其和的分布趋于正态分布。因此，只要和式中加项的个数充分大，就可以不必考虑和式中的随机变量服从什么分布，都可以用正态分布来近似，这在应用上是有效的和重要的。
作为以上两个定理的应用，我们给出下面例子：
例1：（关于二项分布的近似计算式）设，试求
解：令，其中
则为独立同分布的随机变量序列,且均存在，所以由中心极限定理可得：
=
【注】：在进行近似计算时，对于，因为表示的是成功出现的次数，故其区间应为有限区间；而对于，由于的取值为非负整数，故其区间可以是无限的；对于其它类型的随机变量，应根据实际问题而定其区间类型。
例2:P119 例4
课后作业,1、仔细阅读P112-119；
2、作业：P120 2，5，7，9
【授课对象】理工类本科二年级
【授课时数】2学时
【授课方法】课堂讲授与提问相结合
【基本要求】1、理解切比雪夫不等式；
2、了解切比雪夫大数定理及Bernoulli大数定理；
3、知道独立同分布的中心极限定理，了解德莫佛—拉普拉斯中心极限定理。
【本章重点】切比雪夫不等式，切比雪夫大数定理及Bernoulli大数定理。
【本章难点】对切比雪夫大数定理及独立同分布的中心极限定理的理解。
【授课内容及学时分配】
§5.1 切比雪夫不等式及大数定律
0.前言在第一章我们提到过事件发生的频率具有稳定性，即随着试验次数的增加，事件发生的频率逐渐稳定于某个常数，这一事实显示了可以用一个数来表征事件发生的可能性大小，这使人们认识到概率是客观存在的，进而由频率的三条性质的启发和抽象给出了概率的定义，而频率的稳定性是概率定义的客观基础。在实践中人们还认识到大量测量值的算术平均值也具有稳定性，而这种稳定性就是本节所要讨论的大数定律的客观背景，而这些理论正是概率论的理论基础。
下面介绍三个定理，它们分别反映了算术平均值及频率的稳定性。
一、大数定律(包括强大数定律和弱大数定律，本书主要讲弱大数定律)
事件的频率稳定于概率，能否有，答案是否定的。而是用[以概率收敛]来刻划（弱）。或者用[a.e.收敛] 来刻划（强）。
定义：设是随机变量序列，如果存在常数列，对，恒有，则称服从弱大数定律。
二、切比雪夫大数定律
1．切比雪夫不等式
设随机变量具有有限的期望与方差，则对，有
或
证明：我们就连续性随机变量的情况来证明。设，则有
该不等式表明：当很小时，也很小，即的取值偏离的可能性很小。这再次说明方差是描述取值分散程度的一个量。
切比雪夫不等式常用来求在随机变量分布未知，只知其期望和方差的情况下，事件概率的下限估计；同时，在理论上切比雪夫不等式常作为其它定理证明的工具。
2．定理1（切比雪夫大数定律）
设是相互独立的随机变量序列，每一随机变量都有有限的方差，且一致有界，即存在常数，使，则对任意的，有[即]
证明：由切比雪夫不等式知：有：
该定理表明：当很大时，随机变量的算术平均值接近于其数学期望，这种接近是在概率意义下的接近。通俗的说，在定理的条件下，个相互独立的随机变量算术平均值，在无限增加时将几乎变成一个常数。
推论：设是相互独立的随机变量，由相同的数学期望和方差，则有
（即以概率收敛于）
这个结论有很实际的意义：人们在进行精密测量时，为了减少随机误差，往往重复测量多次，测得若干实测值，然后用其平均值来代替。
切比雪夫大数定律是最基本的大数定理，作为切比雪夫大数定律的特殊情形有Bernoulli 大数定理和辛钦大数定律。
三、Bernoulli 大数定理定理2：设是重Bernoulli试验中事件出现的次数，而是事件在每次试验中出现的概率，则对，
证明：令，
则相互独立且＝，，，，
故由切比雪夫大数定律立刻推出贝努里大数定律。
或者，直接由切比雪夫不等式，对，有
即 。故{}服从大数定律。
Bernoulli 大数定律表表明：事件发生的频率依概率收敛于事件的概率，这个定理以严格的数学形式表达了频率的稳定性。就是说当很大时，事件发生的频率于概率有较大偏差的可能性很小。由实际推断原理，在实际应用中，当试验次数很大时，便可以用事件发生的频率来代替事件的概率。
切比雪夫大数定律（定理1）中要求随机变量的方差存在，但在这些随机变量服从相同分布的场合，并不需要这一要求，从而我们有以下的定理：
四、辛钦大数定律定理3：设随机变量独立同分布，且具有数学期望，则有 （即以概率收敛于）
证明：略。
显然，Bernoulli大数定律是辛钦大数定律的特殊情况。
§5.2 中心极限定理
0.前言在客观实际中有许多随机变量，它们是由大量的相互独立的随机因素的综合影响所形成的，而其中每一个因素在总的影响中所起的作用都是微小的，这种随机变量是近似地服从正态分布，这种现象就是中心极限定理的客观背景。
中心极限定理的内容包含极限，因而称它为极限定理是很自然的，又由于它在统计中的重要性，称它为中心极限定理这是Poyla在1920年取得名字。
设{}是相互独立的随机变量序列，它们的期望与方差均存在，考虑（标准化和），这时对于任意的都有，因而当时，不至于发生趋向于0或这种情形，这时讨论它的分布才有意义。下面研究的分布：
一、定义1：设{n}为相互独立的随机变量序列，若其标准化和的分布函数P{}弱收敛于标准正态分布的分布函数,即P{}=，则称{n}服从中心极限定理。[]
中心极限定理有多种不同的形式，下面我主要讲独立同分布的中心极限定理及其一特殊情形：
二、定理1:(Levy-Lindeberg极限定理)[独立同分布的中心极限定理]
设是独立同分布的随机变量序列，且（），，均存在，则，有
证：（略）
该定理也可改写为：对，有
在一般情况下，很难求出n个随机变量之和的分布函数，该定理表明：当n充分大时，可以通过给出其近似分布，这样就可以利用正态分布对作理论分析或作实际计算，其好处是明显的。
三、定理2（De Moivre-Laplace极限定理）(定理1的特殊情形)
设是n重Bernoulli试验中成功的次数，已知每次试验成功的概率为，则对有 。
该定理也可改写为：，有
证明,令 则
为独立同分布的随机变量序列,且均存在显然：，此时
该定理为上定理的一个特殊情形，故由上定理该定理得证。
中心极限定理表明：在相当一般的条件下，当独立随机变量的个数增加时，其和的分布趋于正态分布。因此，只要和式中加项的个数充分大，就可以不必考虑和式中的随机变量服从什么分布，都可以用正态分布来近似，这在应用上是有效的和重要的。
作为以上两个定理的应用，我们给出下面例子：
例1：（关于二项分布的近似计算式）设，试求
解：令，其中
则为独立同分布的随机变量序列,且均存在，所以由中心极限定理可得：
=
【注】：在进行近似计算时，对于，因为表示的是成功出现的次数，故其区间应为有限区间；而对于，由于的取值为非负整数，故其区间可以是无限的；对于其它类型的随机变量，应根据实际问题而定其区间类型。
例2:P119 例4
课后作业,1、仔细阅读P112-119；
2、作业：P120 2，5，7，9
