概论论41

概率论与数理统计概率论与数理统计第四章大数定律与中心极限定理概率论与数理统计概率论与数理统计教学目的与要求1.掌握三个大数定律的条件、结论；2.了解随机变量序列的两种收敛性；3.掌握独立同分布中心极限定理的条件、结论，并会用来解决一些实际问题。教学重点和难点教学重点是讲清大数定律的条件、结论和中心极限定理的条件、结论。教学难点是随机变量序列的两种收敛性及大数定律和中心极限定理的应用。概率论与数理统计概率论与数理统计本章要解决的问题1.为何能以某事件发生的频率作为该事件的概率的估计？2.为何能以样本均值作为总体期望的估计？3.为何正态分布在概率论中占有极其重要的地位？4.大样本统计推断的理论基础是什么？答复大数定律中心极限定理概率论与数理统计概率论与数理统计主要内容一、大数定律的意义二、大数定律§4.1大数定律概率论与数理统计概率论与数理统计是研究随机现象统计规律性的学科.随机现象的规律性只有在相同的条件下进行大量重复试验时才会呈现出来.也就是说，要从随机现象中去寻求必然的法则，应该研究大量随机现象.问题的引入研究大量的随机现象，常常采用极限形式，由此导致了对极限定理进行研究.极限定理的内容很广泛，其中最重要的有两种:概率论与数理统计与大数定律中心极限定理下面我们先介绍大数定律大量的随机现象中平均结果(即频率)的稳定性大数定律的客观背景大量抛掷硬币正面出现频率字母使用频率生产过程中的废品率……概率论与数理统计在第一章中引入概率的概念时曾经指出，频率是概率的反映，随着观测次数n的增加，频率将会逐渐稳定到概率。详细地说：设在一次观测中事件A发生的概率.pAPn如果观测了n次（也就是一个n重伯努利试验），A发生了次，则A在n次观测中发生的频率,nn当n充分大时，逐渐稳定到p。i若用随机变量的语言表述，就是：设表示第k次观测中事件A发生次数，不发生次试验中第发生次试验中第AiAii01,2,1i则,,21为一列独立随机变量，显然niin1一、大数定律的意义概率论与数理统计从而有niinnn11nn因此“稳定于p”，又可表述为n次观测结果的平均值稳定于p.现在的问题是：“稳定”的确切含义是什么？nn稳定于p是否能写成pnnnlim（1）亦即，是否对pnNnNn有时当,,,0（2）对所有的样本点都成立？概率论与数理统计实际上，我们发现事实并非如此，在个别场合下，事件)(pnn还是有可能发生的，不过当n很大时，事件)(pnn发生的可能性很小。当n趋于无穷时，概率趋于0.所以“nn稳定于p”，意为着0)(limpnPnn（３）成立．（3）式可写成0)1(lim1pnPniin概率论与数理统计,,210一般地，设a为常数，如果对任意，有为一列独立随机变量，0)1(lim1anPniin（４）)1)1(lim(1anPniin或niin11则称稳定于a.概率论中，一切关于大量随机现象之平均结果稳定性的定理，统称为大数定律。概率论与数理统计,,,,21n,,,,21naaa0n定义：若为一列随机变量序列，，使对，有成立，则称随机变量序列服从大数定律。如果存在常数列1)1(lim1nniinanPn,2,1,nEn若随机变量具有数学期望则大数定律的经典形式是：1)11(lim,011niiniinEnnP,2,1,11nEnaniin这里常数列注：本书只讨论经典形式的大数定律。概率论与数理统计二、大数定律,,,,21n,2,1,nEn本段介绍一组大数定律，设为一列随机变量，我们总假定存在.定理（切比雪夫大数定律）设,,,,21n界，即存在常数为一列两两不相关的随机变量，又设它们的方差有0C，使有,,2,1,iCDi则称随机变量序列n服从大数定律，即有01)11(lim11niiniinEnnP对，有概率论与数理统计证明利用切比雪夫不等式，有)11(11niiniiEnnP,,,,21nnCDDniinii11因为有界即可得到两两不相关，且由它们的方差从而有nnCEnnPniinii,0)11(211从而0)11(lim11niiniinEnnP即1)11(lim11niiniinEnnP2DEP)(211niinD221nDnii概率论与数理统计[例1]设为独立同分布的随机变量,均服从参数为的泊松分布.由以往的讨论知道,,,,,21n,2,1,,iDEii因而满足切比雪夫大数定理的要求,则由定理的结论可知1)11(lim11niiniinEnnP概率论与数理统计12222,,,,,0111122?nnnanaPnnn设随机变量相互独立具有如下分布律：问是否满足切比雪夫定理解独立性依题意可知,检验是否具有数学期望？nE2222221)11(021nnannna0例1概率论与数理统计说明每一个随机变量都有数学期望。检验是否具有有限方差？222222()0()111122nnanaPnnn2nEnD22nnEE2a说明离散型随机变量有有限方差,故满足切比雪夫定理的条件.222212anna概率论与数理统计n10,pp01)(limpnPnn推论（伯努利大数定律）:设事件A出现的次数，又A在每次试验中出现的概率为，则对任意的是n重伯努利试验中，有不发生次试验中第发生次试验中第AiAii01,2,1i证：设显然,1niin,2,1,ii独立同分布（均服从二点分布）且ppDpEii1,都是常数，从而方差有界由切比雪夫大数定律，有11lim)(lim1pnPpnPniinnn概率论与数理统计在概率的统计定义中,事件A发生的频率“稳定于”事件A在一次试验中发生的概率是指：nnA频率与p有较大偏差pnnA是小概率事件,因而在n足够大时,可以用频率近似代替p.伯努利(Bernoulli)大数定律的意义nnA这种稳定称为依概率稳定.概率论与数理统计,,,,21n01lim12niinDnn例2设为一列随机变量，如果则服从大数定律。（*）01lim12niinDnnii1证明:表明对充分大的n，的方差存在.对0，由切比雪夫不等式)11(011niiniiEnnP))1(1(11niiniinEnPniinD1211niiDn1221两边取极限得0)11(lim11niiniinEnnP概率论与数理统计1)11(lim11niiniinEnnPn即故服从大数定律,此称为马尔可夫大数定律.（*）式称为马尔可夫条件。i,21lniPi,2,1,21lniiPi,,,,21nn例3设的分布列为：且相互独立，试证明服从大数定律.证：021ln21lniiEiiEEDiiiln22nnninDnDnniniinii,0lnln1)(11121212故n服从大数定律（马尔可夫大数定律）.概率论与数理统计以上大数定律是以切比雪夫不等式为基础的，所以要求随机变量的方差存在，通过进一步研究，我们发现方差存在的条件并不是必要条件。,,,,21n,2,1,iaEi定理（辛钦大数定律）设同分布的随机变量，且数学期望存在是一列独立01)1(lim1anPniin则对，有成立.,,,,21n独立同分布且期望存在n服从大数定律即:定理的证明将在下一章给出.概率论与数理统计n10,10112xxxxpnn例4设独立同分布，且共同密度函数为问（1）（2）是否服从大数定律？的数学期望及方差是否存在？解（1）因为dxxxdxxpx211111111dxx故n的数学期望存在.dxxxdxxpx212211故n的方差不存在.（2）由（1）知nE存在，故满足辛钦大数定律的条件，n服从辛钦大数定律.111dxx概率论与数理统计,,,,21nn10113xxxxpnn例5若为一列独立同分布的随机变量序列，的密度函数为问是否满足切比雪夫大数定律的条件？是否满足辛钦大数定律的条件？且解1313011dxxxdxxxdxxxpEn1321322211dxxxdxxxdxxpxEn故n的数学期望存在，但方差不存在.所以n不满足切比雪夫大数定律的条件，满足辛钦大数定律的条件.概率论与数理统计辛钦大数定律为实际生活中经常采用的算术平均值法则提供了理论依据，它断言：如果诸i学期望、相互独立、同分布的随机变量，则当n充分大是具有数时，算术平均值nn21一定以接近1的概率落在真值a的任意小的邻域内。据此，如果要测量一个物体的某指标值，可以独立重复地测量n次，得到一组数据：nxxx,,,21当n充分大时，可以确信nxxxan21且把nxxxn21近似值要精确的多，因作为a的近似值比一次测量作为a的,aEi;11anEnii但,2iD,121nnDnii即niin11关于a的偏差程度是一次测量的.1n概率论与数理统计概率论历史上第一个极限定理属于伯努利，后人称之为“大数定律”。概率论中讨论随机变量序列的算术平均值向常数收敛的定律。概率论与数理统计学的基本定律之一。又称弱大数理论。【基本概念】【主要含义】在随机事件的大量重复出现中，往往呈现几乎必然的规律，这个规律就是大数定律。通俗地说，这个定理就是，在试验不变的条件下，重复试验多次，随机事件的频率近似于它的概率。比如，我们向上抛一枚硬币，硬币落下后哪一面朝上本来是偶然的，但当我们上抛硬币的次数足够多后，达到上万次甚至几十万几百万次以后，我们就会发现，硬币每一面向上的次数约占总次数的二分之一。偶然必然中包含着必然。概率论与数理统计【发展历史】1733年，德莫佛——拉普拉斯在分布的极限定理方面走出了根本性的一步，证明了二项分布的极限分布是正态分布。拉普拉斯改进了他的证明并把二项分布推广为更一般的分布。1900年，李雅普诺夫进一步推广了他们的结论，并创立了特征函数法。这类分布极限问题是当时概率论研究的中心问题，卜里耶为之命名“中心极限定理”。20世纪初，主要探讨使中心极限定理成立的最广泛的条件，二三十年代的林德贝尔格条件和费勒条件是独立随机变量序列情形下的显著进展。伯努利是第一个研究这一问题的数学家，他于1713年首先提出后人称之为“大数定律”的极限定理。