试验数据异常值的检验及剔除方法

目录摘要......................................................................................................................................................I关键词................................................................................................................................................I1引言..............................................................................................................................................12异常值的判别方法.............................................................................................................12.1检验（3S）准则................................................................................................................12.2狄克松（Dixon）准则....................................................................................................22.3格拉布斯（Grubbs）准则.............................................................................................22.4指数分布时异常值检验..................................................................................................32.5莱茵达准则（PanTa）....................................................................................................32.6肖维勒准则（Chauvenet）..........................................................................................43实验异常数据的处理.......................................................................................................44结束语.........................................................................................................................................5参考文献...........................................................................................................................................6内江师范学院本科学年论文I试验数据异常值的检验及剔除方法摘要：在实验中不可避免会存在一些异常数据，而异常数据的存在会掩盖研究对象的变化规律和对分析结果产生重要的影响，异常值的检验与正确处理是保证原始数据可靠性、平均值与标准差计算准确性的前提.本文简述判别测量值异常的几种统计学方法，并利用DPS软件检验及剔除实验数据中异常值，此方法简单、直观、快捷，适合实验者用于实验的数据处理和分析.关键词：异常值检验；异常值剔除；DPS；测量数据内江师范学院本科学年论文11引言在实验中，由于测量产生误差，从而导致个别数据出现异常，往往导致结果产生较大的误差，即出现数据的异常.而异常数据的出现会掩盖实验数据的变化规律，以致使研究对象变化规律异常，得出错误结论.因此，正确分析并剔除异常值有助于提高实验精度.判别实验数据中异常值的步骤是先要检验和分析原始数据的记录、操作方法、实验条件等过程，找出异常值出现的原因并予以剔除.利用计算机剔除异常值的方法许多专家做了详细的文献[1]报告.如王鑫，吴先球，用Origin剔除线形拟合中实验数据的异常值；严昌顺．用计算机快速剔除含粗大误差的“环值”；运用了统计学中各种判别异常值的准则，各种准则的优劣程度将体现在下文.2异常值的判别方法判别异常值的准则很多，常用的有t检验（3S）准则、狄克松（Dixon）准则、格拉布斯（Grubbs）准则等准则.下面将一一简要介绍.2.1检验（3S）准则t检验准则又称罗曼诺夫斯基准则，它是按t分布的实际误差分布范围来判别异常值，对重复测量次数较少的情况比较合理.基本思想：首先剔除一个可疑值，然后安t分布来检验被剔除的值是否为异常值.设样本数据为123,,nxxxx，若认jx为可疑值.计算余下1n个数据平均值1nx及标准差1ns，即21111,1,11,()12nnnininiijiijxxsxxnn.然后，按t分布来判别被剔除的值jx是否为异常值.若1(,)njxxkna，则jx为异常值，应予剔除，否则为正常值，应予以保留.其中：a为显著水平；n数据个数；(,)kna为检验系数，可通过查表得到.内江师范学院本科学年论文22.2狄克松（Dixon）准则设有一组测量数据123nxxxx，且为正态分布，则可能为异常值的测量数据必然出现在两端，即1x或nx.狄克松给出了不同样本数量n时检验统计量的计算公式（见表1）.当显著水平a为1%或5%时，狄克松给出了其临界值1()anD.如果测量数据的检验统计量1()anDD，则1x为异常值，如果测量数据的检验统计量'1()anDD，则nx为异常值.表1狄克松检验统计量计算公式为数据个数n统计量D1x为可疑值Dnx为可疑值'D37n211()/()nxxxx11()/()nnnxxxx810n2111()/()nxxxx12()/()nnnxxxx1113n3111()/()nxxxx22()/()nnnxxxx1430n3121()/()nxxxx23()/()nnnxxxx2.3格拉布斯（Grubbs）准则设有一组测量数据为正态分布，为了检验数据中是否存在异常值，将其按大小顺序排列，即123nxxxx，可能为异常值的测量数据一定出现在最大或最小的数据中.若最小值1x是可疑的，则检验统计量1()/Gxxs.式中x是均值、s是标准差，即21111,()1nniiiixxsxxnn.对于检验统计量G，格拉布斯导出了其统计分布，并给出了当显著水平a为1%或5%时的临界值(1)()nGn.(1)()nGn称格拉布斯系数，可通过抽查表得到.当最小值1x或最大值nx对应的检验统计量G大于临界值时，则认为与之对应的1x或nx为可疑异常值，应予以剔除.内江师范学院本科学年论文32.4指数分布时异常值检验设一组测量数据为指数分布，为了检验数据中是否存在异常值，将其按大小顺序排列，即123nxxxx.检验最小值或最大值是否为异常值的检验方法如下：当样本量100n时，计算统计量()1/nnnniiTxx及(1)11/nniiTxx对于给定的显著水平a（通常取0.5）和样本数量n，通过查表得到()nnT及(1)nT分别对应的临界值()(1)nnTa和(1)()nTa.若()()(1)nnnnTTa时，认为nx为异常值；若(1)(1)()nnTTa时，认为1x为异常值.当样本容量100n时，计算统计量()111(1)()/()nnnnniniEnxxxx及(1)111(1)/()nniiEnnxxnx.对于给定显著水平a和样本数量n，若11()2,2~2,1(1)(1)nnnnaEFna，则判断nx为异常值；若11(1)2,22,(1)[(1)1]nnnaEFna，则判断1x为异常值.2.5莱茵达准则（PanTa）对于实验数据测出值123,,,,nxxxx，求取其算术平均值11/niixnx及剩余误差值iivxx，然后求出其均方根偏差21/2(/1)ivn.判别依据（假设iv服从正态分布）：3ixx，则ix相对而言误差较大，应舍去；3ixx，ix为正常数据，应该保留.有概率论统计可知，如果误差服从正要分布，误差大于3的观测数据出现的概率小于0.003，相当大于300次观测中有一次出现的可能.莱茵达准则只是进行粗略的剔除，取舍的概率较小，可能将不合理的异常值保留.内江师范学院本科学年论文42.6肖维勒准则（Chauvenet）次准则也是建立在实验数据服从正态分布.假设多次测量的n个测量值中，数据的参与误差icvZ，则剔除该数据.其中21/2(/1)ivn，样品容量为n时的判别系数3cZ，弥补了莱茵达准则的不足，故此准则优胜于莱茵达准则，但条件更为苛刻.3实验异常数据的处理对于测定中异常数据的处理，必须慎重考虑，不能凭预感任意删除或添加.应该从所学知识上考虑，异常值有时能反映试验中的某些新现象.这类“异常值”正深化人们对客观事物的认识，如果随意删除它，可能深入了解和发现新事物的一次机会，那么对学者深入研究非常可惜.所以对任何异常数据都因首先在技术上寻找原因，如果在技术上发现原因，理应舍去.如在技术上无法作出判断，却可在上述准则中发现其高度异常，也因舍弃.其中，运用DPS软件进行异常数据的检验与剔除特别方便，而且不许编写程序，它融合了SPSS表格和EXCELL表格，操作简单，实用性强.如图一下为DPS数据处理系统对话框.图一数据处理系统对话框只要执行菜单命令下的“数据分析——异常值检验”弹出如图二下图的窗口，然后进行选择检验分析方法及显著水平，点击确定即可.内江师范学院本科学年论文5图二用户对话框在测定中，有时发现个别数据离群严重，上述检验原则为异常值，但它与其他测定值的差异在仪器的精度范围内，这种数据不应舍去，应予保留.而对于一些分析而言，需要估计总体参数，异常数据一般都要舍去.对于不同的之心度应作相应的处理，则要据实际情况而定.4结束语由上述可知，用DPS软件进行异常值检验和剔除的过程简单、直观、快捷，适用于大众学生进行各实验数据的处理和分析.将此软件运用于实验教学，可以使学生快速准确判断实验结果，也可以提高教学质量.内江师范学院本科学年论文6参考文献[1]王鑫，吴先球．用Origin剔除线形拟合中实验数据的异常值[J]．山西师范大学学报，2003，17(1)，56—57.[2]严昌顺．用计算机快速剔除含粗大误差的“环值”[J]．计量技术，1994（5），45—47.[3]苏金明，傅荣华，周建斌．统计软件SPSS系列应用实战篇[M]．电子工业出版社，2002[4]唐起义．DPS数据处理系统——实验设计、统计分析及数据挖掘[M]．科学出版社，2006[5]何国伟等编著.误差分析方法．北京：国防工业出版社，1978