统计学数据预处理

统计数据的预处理数据预处理•把混在原始数据中的“异常数据”排除、把真正有用的“信息”提取出来，有助于推断统计得出正确分析结论。1：异常数据取舍2：未检出值和/或缺失值估算•采用异常数据进行推断统计得到的结论误导带给科研与统计控制判断出错的隐患不可小视。异常数据•单个异常值：是指单个样本观测数据组内隐含的个别异常数据。同义词有：可疑值、异常值、极端值、端值、离群值、逸出值、奇异值、超限值、粗值…•异常均数：三个以上（k≥3）样本多均数要作统计分析比较时，无疑也要检查其中是否隐含可疑均数。•研究者对7例糖尿病患者给某种药物后，测量其血中胰岛素(/ml,X1)和血糖(mg%,X2)•作者采用直线相关分析•结论：血液中胰岛素与血糖两者含量之间无直线相关患者编号1234567胰岛素（X1）241718121512110血糖（X2）1421701942132142382490.05P,3140.0Correlations1.314.49377.3141.49377PearsonCorrelationSig.(2-tailed)NPearsonCorrelationSig.(2-tailed)N胰岛素x1血糖x2胰岛素x1血糖x2Correlations1-.936**.00666-.936**1.00666PearsonCorrelationSig.(2-tailed)NPearsonCorrelationSig.(2-tailed)N胰岛素xa血糖xb胰岛素xa血糖xbCorrelationissignificantatthe0.01level(2-tailed).**.•剔出第6对数据前后的Pearson相关系数，前者是0.314，后者是-0.936，显示有相关性！异常数据的判别法•物理判别法：根据人们对客观事物已有的认识，判别由于外界干扰、人为误差等原因造成实测数据偏离正常结果，在实验过程中随时判断，随时剔除•统计判别法：给定一个置信概率，并确定一个置信限，凡超过此限的误差，就认为它不属于随机误差范围，将其视为异常数据剔除•能用物理判别法判定异常数据有时不易做到，此时只能用统计判别法统计判别法•拉依达准则•肖维勒准则•格拉布斯准则•狄克逊准则•t检验（罗马诺夫斯基准则）•极差法统计判断对异常数据的区分•异常数据有两种情况：•1.异常值不属于该总体，抽样抽错了，从另外一个总体抽出一个(一些)数据，其值与总体平均值相差较大；•2.异常值虽属于该总体，但可能是该总体固有随机变异性的极端表现，比如说超过3σ的数据，出现的概率很小。•犯错误1：将本来属于该总体的、出现的概率小的、第二种情况的异常值判断出来舍去，就会犯错误。----去真•犯错误2：不属于该总体但数值又和该总体平均值接近的数据被抽样抽出来，统计检验方法判断不出它是异常值，就会犯另外一种错误。----存伪统计判别法之一：拉依达准则•如果实验数据的总体x是服从正态分布的，则•根据上式对于大于μ+3σ或小于μ-3σ的实验数据作为异常数据，予以剔除。•剔除后，对余下的各测量值重新计算偏差和标准偏差，并继续审查，直到各个偏差均小于3σ为止。•无需查表，使用简便003.0)3(uxp对某一长度L测量10次，其数据如下：试用拉依达准则剔除坏值。解：cm.)L(Lii1631101012cm48.9316.33LLLi1034113320..48.9399.820.33不能用拉依达准则剔除次数12345678910L(cm)10.3510.3810.310.3210.3510.3310.3710.3110.3420.33对某一长度L测量10次，其数据如下：试用拉依达准则剔除坏值。解：cmLLii01.3111)(1112cm03.9301.33LLLi1025113320..03.9308.920.33用拉依达准则剔除次数1234567891011L(cm)10.3510.3810.310.3210.3510.3310.3710.3110.3420.3310.37•对于服从正态分布的测量结果，其偏差出现在±3σ附近的概率已经很小，如果测量次数不多，偏差超过±3σ几乎不可能，因而，用拉依达判据剔除疏失误差时，往往有些疏失误差剔除不掉。•另外，仅仅根据少量的测量值来计算σ，这本身就存在不小的误差。•因此拉依达准则不能检验样本量较小的情况。（显著性水平为0.1时，n必须大于10）统计判别法之二：肖维勒准则•肖维勒准则又称为等概率原则，以正态分布为前提,假设多次重复测量所得n个测量值中,某个测量值的残余误差|vi|=Zcσ,则剔除此数据。•实用中Zc3,所以在一定程度上弥补了3σ准则的不足，另外考虑了测量次数的因素，在一定程度上比拉依达准则更合理。•Zc是一个与测量次数相关的系数，可以查表获取。•肖维勒准则可用于n10时粗大误差的判定。X-XnZc系数表nZcnZcnZc31.38112.00252.3341.54122.03302.3951.65132.07402.4961.73142.10502.5871.80152.131002.8081.86162.1591.92182.20101.96202.24统计判别法之三：格拉布斯准则•格拉布斯准则是在未知总体标准差情况下，对正态样本或接近正态样本异常值的一种判别方法。•某个测量值的残余误差|vi|=Tσ，则判断此值中含有粗大误差,应予剔除。•T值与重复测量次数n和置信概率α均有关，因此格拉布斯准则是比较好的判定准则。•格拉布斯准则理论较严密，概率意义明确，可用于严格要求的场合,当n=20-100时，判别效果较好。•T值通过查表获得。X-XnT0(n,α)值表•采用格拉布斯方法判定异常数据的过程如下：•1.选定危险率α•α是一个较小的百分数，例如1%，2.5%，5%，它是采用格拉布斯方法判定异常数据出现误判的几率。•2.计算T值•如果x(n)是可疑数据，则令•xxTn)(•3.根据n及α，查表得到T0(n,α)值•4.如果T≥T0(n,α),则所怀疑的数据是异常数据，应予剔除。如果T0(n,α)，则所怀疑的数据不是异常数据，不能剔除。•5.余下数据重复操作至无异常数据•格拉布斯准则可以检验较少的数据狄克逊准则•亦称Q检验法，狄克逊准则是通过极差比判定和剔除异常数据。•该准则认为异常数据应该是最大数据和最小数据，因此该其基本方法是将数据按大小排队，检验最大数据和最小数据是否异常数据。•将实验数据xi按值的大小排成顺序统计量•x(1),≤x(2),≤x(3),……≤x(n)•计算f0值•或•根据狄克逊系数表将f0与f(n,α)进行比较•如果f0f(n,α)，说明x(n)离群远，则判定该数据为异常数据，予以剔除。110xxxxfnnn112xxxxn狄克逊系数f(n,a)与f0的计算公式t检验准则（罗马诺夫斯基准则）•t检验准则与狄克逊准则相似，也是检验最大实验数据和最小实验数据。首先将实验数据按大小排列•x(1),≤x(2),≤x(3),……≤x(n)•对最小数据和最大数据分别进行检验，如果••或•则x(1)或x(n)是异常数据，应予剔除•式中及分别为不包括x(1)或x(n)的n-1个数据的均值和标准差。),()1(nKxx),()(nKxxnxt检验中的K(n,α)应注意的问题：•①所有的检验法都是人为主观拟定的，至今无统一的规定。以数据按正态分布为前提的，当偏离正态分布和测量次数少时检验不一定可靠。•②若有多个可疑数据同时超过检验所定置信区间，应逐个剔除，重新计算，再行判别。若有两个相同数据超出范围时，应逐个剔除。•③在一组测量数据中，可疑数据应很少。反之，说明系统工作不正常。•④为了减少犯错误的概率，可以将3种以上统计检验法结合使用，根据多数方法的判断结果，确定可疑值是否为异常值•拉依达准则不能检验样本量较小的情况，格拉布斯准则则可以检验较少的数据。在国际上，常推荐格拉布斯准则和狄克逊准则。•但对于异常数据一定要慎重，不能任意的抛弃和修改。往往通过对异常数据的观察，可以发现引起系统误差的原因，进而改进过程和试验。SPSS实现•研究者对7例糖尿病患者给某种药物后，测量其血中胰岛素(/ml,X1)和血糖(mg%,X2)•作者采用直线相关分析•结论：血液中胰岛素与血糖两者含量之间无直线相关患者编号1234567胰岛素（X1）241718121512110血糖（X2）1421701942132142382490.05P,3140.0SPSS实现•本例为小样本，单击Analyze，后单击Descriptivestatistics选择[Explore]主对话框中，再单击[Plots…]选项→进入[Explore：Plots]对话框：在Boxplots项下点选⊙DependentsTogether，在Descriptive项下勾选Stem-and-leaf，其余各项可以不要勾选和点选；单击[Continue]返回[Explore]对话框，单击OK,SPSS运行、输出结果FrequencyStem&Leaf2.001.03.001.781.002.41.00Extremes(=121)Stemwidth:10Eachleaf:1case(s)胰岛素检出离群值121•叶茎图和箱须图提示有极端值（≥121）缺失数据的处理数据缺失的机制•将数据集中不含缺失值的变量（属性）称为完全变量，数据集中含有缺失值的变量称为不完全变量，Little和Rubin定义了以下三种不同的数据缺失机制：•1）完全随机缺失：数据的缺失与不完全变量以及完全变量都是无关的。•2）随机缺失：数据的缺失仅仅依赖于完全变量。•3）非随机、不可忽略缺失：不完全变量中数据的缺失依赖于不完全变量本身，这种缺失是不可忽略的。缺失数据预处理思想•1.直接丢弃含缺失数据的记录•2.补缺•A.用平均值来代替所有缺失数据•B.K-最近距离邻居法：先根据欧式距离或相关分析来确定距离具有缺失数据样本最近的K个样本，将这K个值加权平均来估计该样本的缺失数据。•C.用预测模型来预测每一个缺失数据：该方法最大限度地利用已知的相关数据，是比较流行的缺失数据处理技术。（一）个案剔除法(ListwiseDeletion)•最常见、最简单的处理缺失数据的方法，也是很多统计软件（如SPSS）默认的缺失值处理方法。•如果缺失值所占比例比较小，这一方法十分有效。至于具体多大的缺失比例算是“小”比例，专家们意见也存在较大的差距。有学者认为应在5%以下，也有学者认为20%以下即可。•这种方法却有很大的局限性。它是以减少样本量来换取信息的完备，会造成资源的大量浪费，丢弃了大量隐藏在这些对象中的信息。当缺失数据所占比例较大，特别是当缺数据非随机分布时，这种方法可能导致数据发生偏离，从而得出错误的结论。（二）均值替换法(MeanImputation)•缺失值是数值型的：平均值来填充该缺失的变量值•缺失值是非数值型的，众数来补齐该缺失的变量值。•均值替换法也是一种简便、快速的缺失数据处理方法。使用均值替换法插补缺失数据，对该变量的均值估计不会产生影响。但这种方法是建立在完全随机缺失（MCAR）的假设之上的，而且会造成变量的方差和标准差变小。（三）热卡填充法（Hotdecking）•在数据库中找到一个与最相似的对象，然后用这个相似对象的值来进行填充。•不同的问题可能会选用不同的标准来对相似进行判定。•变量Y与变量X相似，把所有个案按Y的取值大小进行排序。那么变量X的缺失值就可以用排在缺失值前的那个个案的数据来代替了。•与均值替换法相比，利用热卡填充法插补数据后，其变量的标准差与插补前比较接近。但在回归方程中，使用热卡填充法容易使得回归方程的误差增大，参数估计变得不稳定，而且这种方法使用不便，比较耗时。（四）回归替换法(RegressionImputation)•回归替换法首先需要选择