非参数统计ch01.

教材：王星。非参数统计。清华大学出版社，2009参考书：[1]孙山泽。非参数统计讲义。北京大学出版社，1997[2]吴喜之，王兆军。非参数统计方法。高等教育出版社，1996[3]王静龙，梁小筠。非参数统计分析。高等教育出版社[4]陈希孺，方兆本等。非参数统计。中国科技大学出版社[5]JeanDickinsonGibbons,SubhabrataChakraborti.NonparametricStatisticalInference.MARCELDEKKER,INC.第二章基本概念主要内容1.非参数统计方法简介2.参数统计过程与非参数统计的比较3.非参数统计的历史4.必要的准备知识1.非参数统计方法简介参数方法定义：样本被视为从分布族的某个参数族抽取出来的总体的代表，而未知的仅仅是总体分布具体的参数值，推断问题就转化为对分布族的若干个未知参数的估计问题，用样本对这些参数做出估计或者进行某种形式的假设检验，这类推断方法称为参数方法。比如：（1）研究保险公司的索赔请求数时，可能假定索赔请求数来自泊松分布P(a);（2）研究化肥对农作物产量的影响效果时，平均意义之下，每测量单元（可能是）产量服从正态分布N(a,b).一个典型的参数检验过程●分布族假定●抽样●统计量和抽样分布●估计和检验●评价模型一个例子：对两组学生进行语法测试，如何比较两组学生的成绩是否存在差异？RANKofSCORE25.020.015.010.05.00.0HistogramForGROUP=Group1Frequency6543210Std.Dev=6.28Mean=13.0N=12.00原始数据秩2530293424251332243032379.514.012.021.07.59.52.017.57.514.017.524.04433228473140303335182135282226.019.55.51.027.016.025.014.019.522.53.04.022.511.05.5RANKofSCORE25.020.015.010.05.00.0HistogramForGROUP=Group2Frequency6543210Std.Dev=9.17Mean=14.8N=15.00非参数检验过程1.不涉及总体的分布–Example:假定连续型分布或关于某点对称2.数据的形态各异–定量数据–顺序数据–Example:Good-Better-Best–类别数据–Example:Male-Female3.例子:随机游程检验F,F,F,F,F,F,F,F,M,M,M,M,M,M,MF,M,F,M,F,M,F,M,F,M,F,M,F,M,F3.参数统计与非参数统计比较对总体假定较少，有广泛的适用性，结果稳定性较好。–1.假定较少–2.不需要对总体参数的假定–3.与参数结果接近针对几乎所有类型的数据形态。容易计算–在计算机盛行之前就已经发展起来。非参数统计的优点1.可能会浪费一些信息特别当数据可以使用参数模型的时候。2.大样本手算相当麻烦3.一些表不易得到非参数统计的弱点第一章S-Plus基础第二章非参数统计基础第三章单一总体的统计推断第四章两总体位置和尺度推断第五章多总体位置和尺度推断第六章定性数据的独立性第七章定量数据的相关性和回归第八章非参数密度估计第九章非参数回归本学期内容结构体系非参数统计的主要内容内容非参数检验相应的参数检验2独立样本中位数检验秩和检验独立样本t检验2配对样本/单一样本符号检验Wilcoxon检验成对样本t-检验2独立样本Kruskal-Wallis检验单一因素ANOVA两因素Friedman检验双因素ANOVA相关性检验Spearman秩相关Pearson相关性检验分布的检验Kolmogorov-Smirnov4.非参数统计的历史非参数统计的历史非参数统计的形成主要归功于20世纪40年代～50年代化学家F.Wilcoxon等人的工作。Wilcoxon于1945年提出两样本秩和检验，1947年Mann和Whitney二人将结果推广到两组样本量不等的一般情况；Pitman于1948年回答了非参数统计方法相对于参数方法来说的相对效率方面的问题；非参数统计的历史（续）60年代中后期，Cox和Ferguson最早将非参数方法应用于生存分析。70年代到80年代，非参数统计借助计算机技术和大量计算获得更稳健的估计和预测，以P.J.Huber以及F.Hampel为代表的统计学家从计算技术的实现角度，为衡量估计量的稳定性提出了新准则。90年代有关非参数统计的研究和应用主要集中在非参数回归和非参数密度估计领域，其中较有代表性的人物是Silverman和J.Fan。5.必要的准备知识(1)假设检验(2)检验的相对效率(3)秩检验统计量(4)U统计量(1)假设检验回顾考察样本是否支持对总体的某种猜测，这些没有被数据验证的猜测是假设，求证的过程是假设检验。比如问题：(a)新引进的生产过程是否优于旧过程？（b）几种不同的肥料哪一种更有效？（c）大学生的就业率与城市失业率之间是否存在关系？内容（a）如何选择零假设和备择假设（b）两类错误（c）显著性水平和检验的p-值的作用(d)检验的势（功效函数）单边检验和双边检验的p值??例2：Poisson分布H0:1H1:按照假设检验的步骤，可以选取统计量为检验统计量，检验的目的是使得足够小)()(CXPi的变化）随（和)(lamdapp0.00.51.01.52.00.00.20.40.60.81.0C=5C=7的变化）随（和)()()()(（2）检验的相对效率渐近效率的概念秩检验统计量无结点秩的定义例题：某学院本科三年级有9个专业组成，统计每个专业学生每月消费数据如下，用S-Plus求消费数据的秩和顺序统计量的现值：3002302085806902002632155202.有结数据的秩设样本取自总体X的简单随机抽样，将数据排序后,相同的数据点组成一个“结”，称重复数据的个数为结长。例1：3.83.21.21.23.43.23.2解：结长为3。分位数和非参数置信区间顺序统计量非参数方法通常并不假定总体分布。因此，观测值的顺序及性质则作为研究的对象。1、顺序统计量：对于样本X1，X2，X3，…，Xn如果按照升幂排序得到称为第k个顺序统计量.(1)(2)()nXXX()kX顺序统计量分布函数设总体的分布函数F(X)，则第r个顺序统计量的分布函数为)()()()(xXrPxXPxFirr小于或等于个至少nrjnxjXXXP),,,(21个小于中恰好有innriiinxFxFC)(1)(dtttrnrnxFrnr)(01)1()!()!1(!)()(1)()!()!1(!)(1xfxFxFrnrnxfrnrr其密度函数为U统计量核的概念例：总体期望有无偏估计X1，总体期望是1可估的，X1是总体期望的核。对称核和U统计量的概念其中求和表示对{1,2,……,n}中所有可能的k个数的组合求和求和表示对（1,2,…,k)的所有排列求和U统计量的特征计算U统计量的大样本性质U统计量举例本章内容回顾1.统计的实践2.非参数统计方法简介3.参数统计过程与非参数统计的比较4.非参数统计的历史5.必要的准备知识