统计学非参数检验

第六章非参数检验方法的回顾单个因素（两水平）的作用评价：两组比较完全随机设计下的单因素两组比较匹配设计的两组比较单个因素（多水平）的作用评价：多组比较完全随机设计下的单因素多水平比较两个因素的分析问题无交互作用、有交互作用单因素两组比较：t检验完全随机两组均数比较的t检验（独立t检验）匹配设计下两组均数比较的t检验（匹配t检验）单因素多组比较：方差分析完全随机设计下的多组均数比较局限性t检验独立t检验要求：正态、方差相等（或不相等）、个体独立匹配t检验要求：差值正态、个体独立方差分析单因素多水平比较方差分析要求：正态、方差相等、个体独立未解决问题两组性别结构是否相同？疗效用痊愈、显效、有效、无效四级分类法进行评价时，两组或多组如何比较？如何检验样本数据来自的总体服从正态分布？总体不是正态分布，小样本情况下，如何检验总体的集中趋势？有6名歌手参加比赛，4名评委进行评判打分，推断评委的评判标准是否一致……参数检验：样本被视为从分布族的某个参数族抽取出来的总体的代表，而未知的仅仅是总体分布具体的参数值推断问题就转化为对分布族的若干个未知参数的估计问题，用样本对这些参数做出估计或者进行某种形式的假设检验，这类推断方法称为参数方法。非参数检验（nonparametrictests）又称为任意分布检验（distribution-freetest），它不考虑研究对象总体分布具体形式，也不对总体参数进行统计推断仅仅依赖于数据观测值的相对大小(秩)等，而是通过检验样本所代表的总体分布形式是否一致来得出统计结论。非参数统计的名字中的“非参数(nonparametric)”意味着其方法不涉及描述总体分布的有关参数；它被称为“和分布无关”(distribution—free)，是因为其推断方法和总体分布无关；不应理解为与所有分布(例如有关秩的分布)无关．对总体假定较少，有广泛的适用性，结果稳定性较好。假定较少不需要对总体参数的假定与参数结果接近针对几乎所有类型的数据形态。容易计算在计算机盛行之前就已经发展起来。非参数检验的优点可能会浪费一些信息特别当数据可以使用参数模型的时候大样本手算相当麻烦一些表不易得到非参数检验的弱点已知总体分布类型，对未知参数进行统计推断依赖于特定分布类型，比较的是参数参数检验（parametrictest）非参数检验（nonparametrictest）对总体的分布类型不作严格要求不受分布类型的影响，比较的是总体分布位置优点：方法简便、易学易用，易于推广使用、应用范围广；可用于参数检验难以处理的资料(如等级资料，或含数值“50mg”等)缺点：方法比较粗糙，对于符合参数检验条件者，采用非参数检验会损失部分信息，其检验效能较低；样本含量较大时，两者结论常相同非参数检验的特点非参数检验不需要严格假设条件，因而比参数检验有更广泛的适用面。非参数检验几乎可以处理包括定类数据和定序数据在内的所有类型的数据，而参数检验通常只能用于定量数据的分析。在参数检验和非参数检验都可以使用的情况下，非参数检验的功效（power）要低于参数检验方法。以下情况下应当首选非参数方法参数检验中的假设条件不满足，从而无法应用。例如总体分布为偏态或分布形式未知，且样本为小样本时。检验中涉及的数据为定类或定序数据。所涉及的问题中并不包含参数，如判断某样本是否来自正态分布等，判断某样本是否为随机样本。常用的非参数检验方法用于单个样本的c2拟合优度检验、K-S拟合优度检验、中位数的符号检验用于两个匹配样本的Wilcoxon符号秩检验用于两个独立样本的Wlicoxon秩和检验用于多个独立样本的Kruskal-Wallis检验。第六章非参数检验非参数检验概述非参数检验、特点及应用单样本的非参数检验两个样本和多个样本的非参数检验单样本的非参数检验c2拟合优度检验K-S拟合优度检验中位数的符号检验分类数据检验分布对中位数的推断c2统计量用来测定定类变量之间的相关程度c2统计量的分布与自由度有关；c2统计量描述了观察值与期望值的接近程度eefff202)(c表示期望值频数表示观察值频数，其中eff002c拟合优度检验（goodnessoffittest）用c2统计量进行统计显著性检验的重要内容之一；依据总体分布状况，计算出分类变量中各类别的期望频数，与分布的观察频数进行对比，判断期望频数与观察频数是否有显著差异，从而达到对分类变量进行分析的目的。1912年4月15日，豪华巨轮泰坦尼克号与冰山相撞沉没。当时船上共有2208人，其中男性1738人，女性470人。海难发生后，幸存者共718人，其中男性374人，女性344人，以显著性水平为0.1检验存活状况与性别是否有关？706.2)1(21.0c提出零假设和备择假设H0：观察频数与期望频数一致H1：观察频数与期望频数不一致计算期望频数男性的期望频数，女性为153人计量c2统计量查表（自由度为类别数-1）做出判断：决绝原假设，认为存活状况与性别显著相关ef56522081738718220()303eefffc706.2)1(21.0c一种饮料的容器材料可以选择玻璃、塑料或者金属。为了比较消费者对包装材料的偏好，抽样调查了120名消费者发现，最喜欢玻璃、塑料和金属容器的分别有55、25和40人。根据调查结果，能否认为消费者对3种材料的偏好程度是无差异的（显著性水平a=0.05）？分析如果消费者对3种材料的偏好程度是无差异的，也就是说消费者对材料的偏好服从均匀分布，则理论上来说，调查120名消费者，偏好每种材料的人数应该是相等的，也就是40人。各组观测到的人数与理论人数（期望值）之间的差异应该都是由于抽样的随机性造成的，因此不应该太大。如果二者之间的差异特别大，则说明我们所作的假设（消费者对3种材料的偏好程度是无差异的）很可能不成立。检验统计量k是样本分类的个数，表示实际观察到的频数，表示理论频数。观察频数与期望频数越接近，则c2值越小。根据皮尔逊定理，当n充分大时，c2统计量渐近服从于k-1个自由度的c2分布。kiiiiEEO122)(c软件操作：数据录入软件操作：方法设定选择“分析”“非参数检验”“卡方”，在弹出的对话框中将“材料”设定为检验变量；单击对话框中的“精确…”，选中弹出对话框中的“精确”，单击“继续”、“确定”软件操作：结果分析（1）观察数期望数残差1.005540.015.02.002540.0-15.03.004040.0.0总数120软件操作：结果分析（2）材料卡方11.250df2渐近显著性.004精确显著性.003点概率.000结果分析（3）结论：计算出的c2统计量的值为11.250，自由度为2，相应的p值（渐近显著性）为0.004，小于a=0.05。所以检验的结论是拒绝总体中消费者对3种材料的偏好程度无差异的零假设。特别说明大样本、每个单元中的期望频数大于等于5时可以使用c2分布。小样本时应该按照精确方法计算得到的p值得出结论。c2检验也可以按照同样的思想对正态分布或者任何想象的其他分布进行检验，但主要用于对定性变量的检验。另外，c2检验也可以用于对两个总体分布的比较。单样本的非参数检验c2拟合优度检验对定类变量用c2统计量进行统计显著性检验K-S拟合优度检验中位数的符号检验检验分布单样本K-S检验检验总体分布是否为理论分布（正态、Possion、均匀、指数）是以两位苏联数学家Kolmogorov和Smirnov命名的，全称为Kolmogorov-Smirnov检验。通过对两个分布差异的分析确定能否认为样本的观察值来自所设定的理论分布总体。定义，显然若对每一个x值来说，如果经验分布函数与特定分布函数的拟合程度很高，则有理由认为样本数据来自具有该理论分布的总体。检验统计量：根据检验统计量的精确分布或渐进分布，可以计算出假设检验的p值，从而得出检验的结论。()()niiDFxFxmaxmax()()niiDFxFxSPSSK-S检验中检验统计量Z的计算SPSSK-S检验中p值的计算有100名儿童每周看电视时间的数据（数据文件：电视时间.sav）。检验能否认为总体中儿童每周看电视的时间服从正态分布（显著性水平a=0.05）。这里K-S检验的零假设和备择假设为：H0：总体中儿童每周看电视的时间服从正态分布。H1：总体中儿童每周看电视的时间不服从正态分布。在SPSS软件中打开数据文件，选择“分析”“非参数检验”“1样本K-S”，在弹出的对话框中将“时间”设定为检验变量；检验分布为默认的“常规”（正态分布）。单击“确定”时间N100正态参数a,,b均值27.191标准差8.3728最极端差别绝对值.096正.096负-.039Kolmogorov-SmirnovZ.960渐近显著性(双侧).315检验结论相应的p值（渐近显著性）为0.315。由于0.315大于0.05，所以在5%的显著性水平下不能拒绝原假设，也就是说根据样本数据不能认为总体分布是非正态的。注意这里并不能得出总体服从正态分布的严格结论。总体服从正态分布的结论可能犯第二类错误（取伪错误），这个概率是未知的，在有些情况下可能会很大。特别声明在K-S检验中如果使用的是小样本，则根据渐进分布计算p值的误差会增大。这时应该通过相应的设定要求软件输出精确检验的p值，根据精确检验的p值得出检验结论。K-S检验也可以用于对两个总体分布是否一致的检验。单样本的非参数检验c2拟合优度检验对定类变量用c2统计量进行统计显著性检验K-S拟合优度检验检验总体分布形态中位数的符号检验对中位数的推断单样本中位数的检验秩符号检验Wilcoxon符号秩检验秩（rank）是指全部观察值按某种顺序排列的位序；通常是将数据按照升幂排列之后，每个观测值的位置，秩次在一定程度上反映了等级的高低。下面一行Ri就是上面一行数据Xi的秩。数据中有相同的数值，称为结。结中数字的秩为它们所占位置的平均值Xi159173178513719Ri758.518.54263105.8298A组：－、、+、+、+、+、++、++、++、++、+++、+++-±++++++++++++++++++123456789101112124.54.54.54.58.58.58.58.511.511.5平均秩次=（3+6)/2=4.5利用秩的大小进行推断就避免了不知道背景分布的困难。这也是非参数检验的优点。多数非参数检验明显地或隐含地利用了秩的性质；但也有一些非参数方法没有涉及秩的性质。符号检验（signtest）在非正态总体小样本的情况下，如果要对总体分布的位置进行推断，由于t检验不适用，也可使用符号检验的方法。在数据呈偏态分布的情况下，我们可能对总体的中位数更感兴趣，希望对总体的中位数作出推断，这时可以使用符号检验的方法。例6.3在某地区随机调查了60个家庭的月收入。（数据文件：家庭月收入.sav）。根据样本数据能否认为总体中家庭月收入的中位数等于5000元（显著性水平a=0.05）？01:5000:5000eeHMHM符号检验的基本思想：每个数据都减去零假设中的中位数，记录其差值的符号。计算正、负符号的个数（差值为0的不计算在任何一个中）当原假设为真时二者应该很接近；若两者相差太远，就有理由拒绝原假设。检验统计量原假设成立时，检验统计量S服从二项分布。根据二项分布计算得到p值，从而得出检验的结论。当正号和负号个数之和大于25时，可以按照正态分布进行近似计算。min()SSS，(',0.5)SBn'nSS(0.5)'2(0,1)'2SnZNn例6.3在某地区随机调查了60个家庭的月收入。（数据文件：家庭月收入.sav）。根据样本数据能否认为总体中家庭