非参数统计学讲义(第六章)讲稿2

第六章分布检验和某些卡方检验§1引言本章属于拟合优度检验问题，即模型检验或分布的检验，属于非参数检验的范畴。在初等统计中，人们要想知道数据是否服从某一特定分布，可以通过直方图，或P-P图，Q-Q图来直接判断，但这种直观的方式很不精确。本章将介绍几种分布的检验：K-S检验，Lilliefors检验和2检验。实际上，K-S检验是在针对2检验的缺点1上提出的。它们是建立在经验分布函数基础上的检验结果。§2Kolmogorov检验一、基本假设一般地要检验手中的样本是否来自某个已知0()Fx，假定其真实分布为()Fx，对应的检验类型有00:()()AHFxFx对x10:()()HFxFx至少有一个x00:()()BHFxFx对x10:()()HFxFx至少有一个x00:()()CHFxFx对x10:()()HFxFx至少有一个x设()Sx为该组数据的经验分布函数，则()()iiIXxXxSxnn的数目二、基本方法Kolmogorov于三十年代提出了一种基于经验分布的检验方法，基本思想是：由格里文科定理，当n时，样本经验分布ˆnF以概率1一致收敛到总体分布F，为此可以定义()Sx到0()Fx的距离为00((),())sup()()DSxFxSxFx当H0成立时，由格氏定理，D以概率1收敛到0，因此D的大小可以度量0()Fx对总体分布拟合的好坏。可供选择的检验统计量分别为；类型A0()()supxDSxFx类型B0(()())supxDFxSx类型C0((()())supxDSxFx在实际操作时，如果有n个观察值，用下面的统计量代替上面的D0101maxmax()(),()()niiiiinDSxFxSxFxNOTE：①由()Sx的取值是离散的，考虑到跳跃性，该nD能够保证S与F0之间取得最大距离；②nD在H0下的分布有表可查，P201③在大样本时，有近似分布()()nPnDdKd，这里的分布函数()Kd有表达式，P122，该分布有表可查P203：12检验与K-S检验均属拟合优度检验，但2检验常用于定类尺度测量数据，K-S检验还用于定序尺度测量数据；当预期频数较小时，2检验常需要合并邻近的类别才能计算，K-S检验则不需要，因此它能比2检验保留更多的信息；对于特别小的样本数目，2检验不能应用，而K-S检验则不受限制。第页1三、应用举例【例6-1】轴承的内径检验检验某车间生产的20个轴承外座圈的内径，测得数据如下（单位：mm）表6-1轴承内径数据15.0415.3614.5714.5315.5714.6915.3714.6614.5215.4115.3414.2815.0114.7614.3815.8713.6614.9715.2914.95按照设计要求，这个内径应在15±0.2mm，检验是否符合标准，即检验该数据是否来自均值15，方差220.2的正态分布。分析：方法一，可以利用直方图、Q-Q图、P-P图进行直观判断；Histogram(例6-1.sta1v*20c)Var1=20*0.2*normal(x,14.9115,0.5216)13.413.613.814.014.214.414.614.815.015.215.415.615.816.016.2Var1012345NoofobsVar1:SW-W=0.974415813,p=0.8439;N=20,Mean=14.9115,StdDv=0.52155915,Max=15.87,Min=13.66;D=0.115991309,pn.s.,Lilliefors-p1Quantile-QuantilePlotofVar1(例6-1.sta1v*20c)Distribution:NormalVar1=14.9115+0.5327*x-2.5-2.0-1.5-1.0-0.50.00.51.01.52.02.5TheoreticalQuantile0.010.050.100.250.500.750.900.950.9913.413.613.814.014.214.414.614.815.015.215.415.615.816.0ObservedValue方法二，利用Kolmogorov检验由P122表中数据得：200.020.3390.32866Dd，拒绝H0，认为不满足要求。近似1.516nD，P-值=0.979＞0.05，接受H0。【例6-2】《数理统计与管理》论文作者服从洛特卡分布2将46期的《数理统计与管理》的文章按第一作者统计，得到表7-2的结果。论文作者数是否服从洛特卡分布。表6-2论文数目与作者数的统计表论文数（x）1234567作者（y）3432791112分析：洛特卡得出这样的一个关系：若以x表示每一作者所著的论文数，与其相应的写x篇论文的作者数为y，则y与x成反比关系。即有mxyNC(0.1)式中，N为论文总数，m、C为两个特定的常数，在不同的学科领域数值不同。假定根据表6—2提供的数据，认为论文作者服从洛特卡分布，并对其真实性进行检验，首先必须确定它的理论分布，即计算出m、C的值。估计m的值，通常采用最小二乘法。将（6.1）式进行对数变换，使其线性化，得到：2洛特卡定律是1926年6月19日洛特卡（Vlachy）在美国颇有影响的学术刊物《华盛顿科学院杂志》上首先提出，它第一次提示了作者与文献量的统计规律性。在这之后，洛特卡进一步发展了洛特卡定律，得出这样的一个关系：若以x表示每一作者所著的论文数，与其相应的写x篇论文的作者数为y，则y与x成反比关系。第页2lnlnlnyNCmx(0.2)m相当于一元线性回归方程ˆYabx中的回归系数b，根据表中的数据运用最小二乘法，得到m=3.0550。关于C值，可以用这样一个公式进行近似计算。这是1985年美国情报学家M.L.Pao教授在数学家的协助之下提出的。计算式为：191111/1/(219)1/[(1)19]/(2419)mmmmxCxmm经计算，1/(1.19080.0000620.0011460.0000008)0.8389C。因此46期《数理统计与管理》的论文与作者数的理论洛特卡分布为3.055()0.8389/fyx(0.3)为了判定《数理统计与管理》论文作者的实际分布是否与理论分布一致，可以采用Kolmogorov检验。建立的假设组为00:()()nHSxFx对x10:()()nHSxFx至少有一个x理论累积频率0()Fx的各个值，可以将x分别代入（6.3）式计算得到，实际累积频率是将累计的作者数y分别除以作者总人数得到。计算结果，作者实际累积频率及理论累积频率及各个差值如表6-3。表6-3作者实际累积频率与理论累积频率表x12345670()Fx0.83890.93980.96900.98110.98720.99070.9929()nSx0.89320.96350.98700.98960.99220.99481.00000()()nSxFx0.05430.02370.01800.00850.00500.00410.00710max()()0.0543nDSxFx根据显著性水平0.01，作者人数384ny，查表，由于45n，得临界值1.63/1.63/3840.0832dn。显然0.05430.0832Dd因此数据在1%的显著性水平上不能拒绝H0，若显著性水平0.05，查表得临界值1.36/1.36/3840.0694dn。显然0.05430.0694Dd因此，数据在5%的显著性水平上也不能拒绝H0，可以认为，《数理统计与管理》作者的分布服从洛特卡分布。§3Lilliefors正态性检验Lilliefors正态性检验实质上是对Kolmogorov检验的一个改进。当用Kolmogorov检验某样本是否来自一正态总体2(,)N时，当和2未知时，就会用样本均值X作为总体均值的估计，样本方差2S作为总体方差2的估计，从而将数据iX标准化为：iXZ，再用标准正态分布()x作0()Fx来计算K氏统计量nD。但这时统计量nD在H0下的分布发生了改变，Lilliefors（1976）对Kolmogorov的检验临界值表作了修正。§4Smirnov两样本检验一、Smirnov检验第页3主要用来检验两个样本是否同时来自于某一总体，设样本12,,,mXXX来自()Fx分布，而样本12,,,nYYY来自分布为()Gy的总体。Smirnov检验的基本思想和Kolmogorov检验一样，因此经常通称这两个检验为Kolmogorov-Smirnov拟合优度检验，简称K-S检验。1．基本假设检验类型为：类型A0:()()HFxGx对x1:()()HFxGx至少有一个x类型B0:()()HFxGx对x1:()()HFxGx至少有一个x类型C0:()()HFxGx对x1:()()HFxGx至少有一个x2．基本方法设()mFx和()nGy分别为这两个样本的经验分布函数。则检验A的统计量可以取maxmax()(),max()()NminimjnjijDFxGxFyGy(0.4)式中NmnNOTE：①含义②其它检验类型的统计量仿此可以写出③ND的分布有表可查，P204，P205④大样本时，有近似分布()NmnPDdKdmn二、应用举例【例6-4】检验两个地区的GDP指数是否具有相同的分布华北五省市区和华东七省市1996年的GDP指数（前一年为100）数据如下：表6-4两个地区的GDP指数华北109.2114.3113.5111.0112.7华东113.0112.2112.7114.4115.4113.4112.2检验这两个地区的GDP指数的分布是否相同。分析：数据的计算过程详见P1260.22/50.40.5714NDd接受H0。§5χ2拟合优度检验检验目的：检验样本是否来自于某一特定的分布或总体。在20世纪初，Pearson提出了拟合优度的2统计量。其基本做法是：首先将样本区间进行分割，抽取n个观察值（相当于做了n次试验），则X落在每个区间中的数目服从多项分布，我们就是让这个多项分布去逼近X的分布22211()1~(1)kkiiiiiiinnpnQnkrnpnp(0.5)其中：r为总体分布里待估参数的个数，k为划分的组数。卡方拟合优度检验就是用来检验一批分类数据所来自的总体分布是否与某种理论分布相一致，即检验00~)(:FxFH。其基本思想是：设总体可以分成k类，现对总体作了n次观察，各类出现的频数分别为knnn,,,21，第页4且nnkii1，则在0H成立时，应有实际频数in与理论频数inp相差不大。为此，在20世纪初，Pearson提出了拟合优度的2统计量。)1(~1)(21212knpnnnpnpnQkiiikiiii(0.6)§6二维列联表的齐性和独立性的2检验2统计量特别适合于分类数据的各种模型的检验。因为在分类数据的场合不存在假设分布与由对总体支撑集的划分所导出分布的区别。虽然2检验统计量的形式一样，但对不同的目的和不同的数据结构的解释是不一样的。一、列联表的齐性检验实际问题中，常遇到：有n组从不同来源得到的数据，要判定这些数据的来源是否相同3（有相同的分布），统计上我们可以将这些问题表述为：假定有组样本，分别取自k个总体，要检验这k个总体的分布是否相同。这样的假设检验问题称为“齐次性检验”。对一般的二维列联表P130，可以提出假设01:(1,2,,)iicHPPir1:H不全相等在H0下，这些概率ijP与j无关，因此ijn的期望值（理论频数）为jijnP，ˆ/iiPnn，因此期望值/ijjiijenPnnn，则2检验统计量为222(1)