第2章统计量与抽样分布

1第二章统计量与抽样分布2§1.基本概念总体与个体抽样、简单随机抽样样本、简单随机样本与样本空间分布族、参数空间统计量与样本矩3总体与个体在数理统计中，把研究对象的全体称为总体(Population)，把组成总体的每一个单元称为个体在实际中，总体通常是某个随机变量取值的全体，其中每一个个体都是一个实数以后我们把总体和数量指标X可能取值的全体组成的集合等同起来。随机变量X的分布就是总体的分布4抽样与简单随机抽样从一总体X中随机抽取n个个体x1,x2,…,xn，其中每个xi是一次抽样观察结果，我们称x1,x2,…,xn为总体X的一组样本（观察）值。这里的xi具有二重性：1.对每一次抽样结果，它是完全确定的一组数；2.由于抽样的随机性，每一个xi都可以看作某一个随机变量Xi(i=1,2,…,n)所取的观察值。我们称X1,X2,…,Xn是容量为n的样本（Sample）。5抽样与简单随机抽样定义：设X1,X2,…,Xn为来自总体X的容量为n的样本，如果随机变量X1,X2,…,Xn相互独立且与总体有相同的分布，则称这样的样本为总体X的简单随机样本，简称样本。这样获得简单随机样本的方法称为简单随机抽样。抽样方式：随机抽样,分层抽样,等距抽样,整群抽样,多阶段抽样以后如不特别声明，所提到的样本都是简单随机样本。6综上所述，所谓总体就是一个随机变量X，所谓样本（指简单随机样本）就是n个相互独立且与总体X有相同的分布的随机变量X1,X2,…,Xn，并称X1,X2,…,Xn为来自于总体X的样本.显然，若总体具有分布函数F(x),则X1,X2,…,Xn的联合分布函数（样本联合分布）为：1()niiFx7抽样与简单随机抽样以后对样本X1,X2,…,Xn作两种理解：在理论推导中把其作为随机向量在用理论推导所得出的结论进行具体推断时，作为实数向量，代入具体的观察值进行计算。8样本空间定义：样本X1,X2,…,Xn所有可能取值的全体称为样本空间（SampleSpace），或称为子样空间。样本空间为n维欧氏空间或它的一个子集。一个样本观察值（x1,x2,…,xn)是样本空间中的一个点。9分布族与参数空间在概率论中，总假定所用随机变量的分布函数已知，而在数理统计中，认为其是未知的，但总假定其是某一个分布族的成员。一般可凭经验，直方图或经验分布函数来对总体给出假定。10分布族与参数空间如果对总体了解甚少，那么总体所在的分布族可设为{F(x):F(x)为分布函数，其它条件}如果知道总体的分布形式，只是不知道具体参数，那么总体所在的分布族可设为，这里为总体的分布函数中的未知参数(可以是向量)，未知参数的全部可容许值组成的集合称为参数空间，记为称为统计模型(StatisticalModel)。{():}Fx;{():}Fx;11分布族与参数空间定义：若一个分布族中只含有有限个未知参数，或参数空间为欧氏空间的一部分，则称此分布族为参数分布族。凡不是参数分布族的分布族称为非参数分布族。由参数分布族出发所得到的统计方法称为参数统计方法；由非参数分布族出发所得到的统计方法称为非参数统计方法。这两类分布族在研究方法上有很大差异。12统计量与样本矩我们对某一个问题归纳出所在的分布族，并从总体中抽出了一个样本后，就要进行统计推断，即判断这个样本是来自总体分布族中哪一个基本的分布.虽然样本含有总体的信息，但仍比较分散。为了使统计推断成为可能，首先必须把分散在样本中的信息集中起来，用样本的某种函数表示，这种函数称为统计量(Statistic)。13统计量与样本矩定义：设X1,X2,…,Xn为总体X的一个样本，若样本的实值连续（可扩大为可测）函数T＝T(X1,X2,…,Xn)不依赖于可能含于总体中的未知参数，则称T为此分布族的一个统计量(Statistic)。往往从直观或某些一般性原则考虑提出统计量，再考虑它是否在某种意义下较好地集中了样本中与所讨论问题有关的信息量。14例如，X~N(,2),其中已知，2未知。而(X1，X2)是从X中抽取的一个样本，则X1＋X2，是统计量，但（X1－）/就不是统计量了。2211()2iiX15样本矩（SampleMoment）设X1,X2,…,Xn是来自于总体X的一个样本.11niiXnX样本均值（SampleMean）：样本方差（SampleVariance）：22221111().()1nnniiiiSXXSXXnn或16样本标准差（SampleStandardDeviation）：221111().().1nnniiiiSXXSXXnn或.2,1,11kXnAnikik.2,1,)(11kXXnBnikik阶原点矩:k阶中心矩:k样本矩（SampleMoment）1711()()nXYiiiSXXYYn再设Y1,Y2,…,Yn是来自总体Y的样本。两个样本之间的协方差：12211()()(())(())niiiXYnniiiiXXYYXXYY两个样本之间的相关系数：18记E(X)=,D(X)=2,E(Xk)=ak定理1若X的二阶矩存在，则有2(),()EXDXn22()ES22(),()kkkkkaaEAaDAn定理2若X的2k阶矩存在，则有19经验分布函数定义设X1,X2,…,Xn为总体X的一个样本，x1,x2,…,xn是样本的观察值，把其从小到大重新排列得到，定义函数如下(1)(2)()nxxx(1)*()(1)()0,(),,(1,2,,1)1,nkknxxkFxxxxknnxx称其为总体X的经验分布函数。20经验分布函数在点x的函数值其实就是观测值中小于或等于x的频率，它是一个右连续的非减函数，且，因而它具有分布函数的性质，可以将它看成是以等概率取的离散随机变量的分布函数。经验分布函数的图象是一个非减右连续的阶梯函数。()nFx0()1nFx12,,...,nxxx21对于的每一数值而言，经验分布函数为样本的函数，它是一统计量，即为一随机变量，其可能取值为。事件发生的概率，由于相互独立且有相同的分布函数，因而它等价于次独立重复试验的贝努里概型中事件发生k次而其余次不发生的概率，即有：其中，它是总体的分布函数。()()nFx12,,,nXXX0,1/,...,1/,1nnn()nkFxn12,,,nXXXXx()()1()knkknnkPFxCFxFxn(){}FxPXx22定理（格列汶科定理）设总体的分布函数为F(x),经验分布函数为Fn*(x)，则对任何实数x有*limsup()()01nnxPFxFx23从上面定理知道，经验分布函数Fn*(x)依概率1收敛于（理论）分布函数F(x)。可以利用经验分布函数构造出非参数统计推断中许多常用的统计量。24§2抽样分布统计量的分布称为抽样分布，求出统计量的分布函数是数理统计的基本问题之一。精确分布与小样本问题极限分布与大样本问题25正态总体的抽样分布正态总体样本的线性函数的分布－分布t－分布F－分布226正态总体样本线性函数的分布定理1设总体XN(,2),X1,X2,…,Xn是总体X的容量为n的样本,令U=a1X1+a2X2+…+anXn,其中a1,a2,…,an是已知常数，则U也是正态随机变量，其均值、方差分别为E(U)=,D(U)=21niia21niia27定理2设总体XN(,2),（X1,X2,…,Xn)是总体的容量为n的样本,A=(aij)是pn阶矩阵。记Y=(Y1,Y2,…,Yp)’=A(X1,X2,…,Xn)’,则Y1,Y2,…,Yp也是正态随机变量，其均值、方差、协方差分别为E(Yi)=,D(Yi)=2Cov(Yi,Yj)=2当=0,且A是－nn阶正交矩阵时，Y1,Y2,…,Yp也相互独立，且服从于N(0,2)正态变换下的不变性1nijia21nijia1nikjkkaa28分布定义设随机变量X1,X2,…,Xn相互独立且服从N(0,1)分布，则称随机变量服从自由度为n的分布，记为22~()n2221niiX229定理1设随机变量，则的密度函数为:122/21,0()2()20,0nynyeynfyy22~()n230定理2设，则E(X)=n,D(X)=2n定理3设，且X1与X2相互独立，则定理4(Cochra)设随机变量X1,X2,…,Xn相互独立且服从N(0,1)分布，又设Q1+Q2+…+Qk=其中Qj是秩为nj的X1,X2,…,Xn的非负定二次型。则Qj相互独立，且分别服从于自由度为nj的分布的充要条件是:n1+n2+…+nk=n21niiX2~()Xn221122~(),~()XnXn21212~()XXnn231引理设，则X的特征函数为(t)=(1-2it)-n/2.定理3的证明：11-211-222()(1-2),()(1-2).nnXtitXtit由引理知，的特征函数为＝的特征函数为＝1212-()/212()()()(1-2),nnXXtttit由特征函数的性质，的特征函数为:＝21212XXnn由一一对应性，知服从自由度为的分布。根据引理及特征函数性质，我们有得E(X)=n，E(X2)=n2+2n，D(X)=2n2~()Xn32定理5(抽样分布基本定理)设X1,X2,…,Xn是来自总体N(,2)的一个样本，则注：1.的独立性仅当总体分布为正态时才成立。当总体分布的三阶中心矩为零时，可以推出两者是不相关的。2.服从精确的正态分布也只有在总体为正态分布时才成立。2SX与X（1）（2）X与相互独立；2S222(1)~(1),nSn33证令，则且，选取正交矩阵A:作为正交变换,1,2,...,kkYXkn..21,,~(0,)iidnYYNXY2221111()()11nnkkkkSXXYYnn111111,(1)(1)(1)112,023232311,0,01212nnnnnnnnnnnnA11nnZYZYA34则，且1.2.，且，则而仅是Z1的线性函数，与无关，故与相互独立。..212,,,~(0,)iidnZZZN111()nkkZYnYnXn2211nnkkkkZY2221111()nnkkkkYYYYnn22222222221211()(1)nnkiniknSZnSYnYZZn～11XZn2,,nZZX221nS35t－分布定义设X～N(0,1),，且X和Y相互独立，则称随机变量所服从的分布是自由度为n的t分布，记为T~t(n)./XTYn1221()2()(1)()2nntftnnn定理1设T～t(n),则T的概率密度为2~()Yn36此定理的证明也同前面类似。先写出X,Y的密度函数，然后利用随机变量的函数的分布的知识写出根号下Y/n的密度函数，再利用独立性写出（X,根号下Y/n)的联合密度函数，最后利用两个随机变量商的密度函数给出结果。37定理2设X1,X2,…,Xn是来自总体的一个样本，则有。定理3设X1,X2,…,Xm和Y1,Y2,…,Yn是分别来自总体和的样本，且假定两总体相互独立，则有()~(1)XntnS122212(-)-(-)(2)(2)(-1)(-1)XYmnmnTtmnmnmSnS2(~(,))XN21(,