异方差和自相关

1第三章异方差和自相关2本章要点异方差的定义、产生原因及后果异方差的检验方法异方差的修正方法自相关的产生原因忽略自相关的严重后果自相关的检验自相关的修正3在前面的章节里我们已经完成了对经典正态线性回归模型的讨论。但在实际中，经典线性回归模型的基本假定经常是不能得到满足的，而若在此状况下仍应用OLS进行回归，就会产生一系列的问题，因此我们就需要采取不同的方法对基本假定不满足的情况予以处理。在本章中，我们将着重考虑假定2和假定3得不到满足，即存在异方差和自相关情况下的处理办法。4第一节异方差的介绍一、异方差的定义及产生原因异方差(heteroscedasticy)就是对同方差假设(assumptionofhomoscedasticity)的违反。经典回归中同方差是指随着样本观察点X的变化，线性模型中随机误差项的方差并不改变，保持为常数，即i=1,2,…,n(3.1)如果的数值对不同的样本观察值各不相同，则称随机误差项具有异方差，即常数i=1,2,…n(3.2)22var)iiE（）＝（22var()iiiE（）i5图3-1异方差直观图6为什么会产生这种异方差性呢？一方面是因为随机误差项包括了测量误差和模型中被省略的一些因素对因变量的影响，另一方面来自不同抽样单元的因变量观察值之间可能差别很大。因此，异方差性多出现在横截面样本之中。至于时间序列，则由于因变量观察值来自不同时期的同一样本单元，通常因变量的不同观察值之间的差别不是很大，所以异方差性一般不明显。7二、异方差的后果一旦随机误差项违反同方差假设，即具有异方差性，如果仍然用OLS进行参数估计，将会产生什么样的后果呢？结论就是，OLS估计量的线性和无偏性都不会受到影响，但不再具备最优性，即在所有线性无偏估计值中我们得出的估计值的方差并非是最小的。所以，当回归模型中随机项具有异方差性时，OLS法已不再适用。8第二节异方差的检验由于异方差的存在会导致OLS估计量的最佳性丧失，降低精确度。所以，对所取得的样本数据（尤其是横截面数据）判断是否存在异方差，是我们在进行正确回归分析之前要考虑的事情。异方差的检验主要有图示法和解析法，下面我们将介绍几种常用的检验方法。9一、图示法图示法是检验异方差的一种直观方法，通常有下列两种思路：（一）因变量y与解释变量x的散点图：若随着x的增加，图中散点分布的区域逐渐变宽或变窄，或出现了偏离带状区域的复杂变化，则随机项可能出现了异方差。（二）残差图。残差图即残差平方（的估计值）与x的散点图，或者在有多个解释变量时可作残差与y的散点图或残差和可能与异方差有关的x的散点图。具体做法：先在同方差的假设下对原模型应用OLS法，求出和残差平方，再绘制残差图（，）。2ˆi2i2ˆi2ˆi2ˆiˆiy2ˆi10二、解析法检验异方差的解析方法的共同思想是，由于不同的观察值随机误差项具有不同的方差，因此检验异方差的主要问题是判断随机误差项的方差与解释变量之间的相关性，下列这些方法都是围绕这个思路，通过建立不同的模型和验判标准来检验异方差。11（一）Goldfeld-Quandt检验法Goldfeld-Quandt检验法是由S.M.Goldfeld和R.E.Quandt于1965年提出的。这种检验方法以F检验为基础，适用于大样本情形（n30），并且要求满足条件：观测值的数目至少是参数的二倍；随机项没有自相关并且服从正态分布。统计假设：零假设：是同方差（i=1,2,…,n）备择假设：具有异方差0Hi1Hi12Goldfeld-Quandt检验法涉及对两个最小二乘回归直线的计算，一个回归直线采用我们认为随机项方差较小的数据，另一个采用我们认为随机项方差较大的数据。如果各回归直线残差的方差大致相等，则不能拒绝同方差的原假设，但是如果残差的方差增加很多，就可能拒绝原假设。步骤为：13第一步，处理观测值。将某个解释变量的观测值按由小到大的顺序排列，然后将居中的d项观测数据除去，其中d的大小可以选择，比如取样本容量的1/4。再将剩余的（n-d）个数据分为数目相等的二组。14第二步，建立回归方程求残差平方和。拟合两个回归模型，第一个是关于较小x值的那部分数据，第二个是关于较大x值的那部分数据。每一个回归模型都有(n-d)/2个数据以及[(n-d)/2]-2的自由度。d必须足够小以保证有足够的自由度，从而能够对每一个回归模型进行适当的估计。对每一个回归模型，计算残差平方和：记值较小的一组子样本的残差平方和为=，值较大的一组子样本的残差平方和为=。1RSS21i2RSS22iix15第三步，建立统计量。用所得出的两个子样本的残差平方和构成F统计量：若零假设为真，则上式中n为样本容量（观测值总数），d为被去掉的观测值数目，k为模型中自变量的个数。22222211/(1)2~(1,1)22/(1)2iiiindkndndFFkkndk16第四步，得出结论。假设随机项服从正态分布（并且不存在序列相关），则统计量/将服从分子自由度和分母自由度均为（）的F分布。对于给定的显著性水平，如果统计量的值大于上述F分布的临界值，我们就拒绝原假设,认为残差具有异方差性。否则，就不能拒绝原假设。2RSS1RSS12ndk17（二）Spearmanrankcorrelation检验法首先引入定义Spearman的等级检验系数：其中表示第i个单元或现象的两种不同特性所处的等级之差，而n表示带有级别的单元或现象的个数。在这里，我们假设模型为：2216[](1)isdrnnid01iiiYXu18第一步，运用OLS法对原方程进行回归，计算残差＝，i=1，2…n。第二步，计算Spearman等级相关系数。将和解释变量观察值按从小到大或从大到小的顺序分成等级。等级的大小可以人为规定，一般取大小顺序中的序号。如有两个值相等，则规定这个值的等级取相继等级的算术平均值。然后，计算与的等级差，＝的等级－的等级。最后根据公式计算Spearman等级相关系数。ˆiˆiiyyiiixixixididi19第三步，对总体等级相关系数进行显著性检验：＝0，：0。样本的显著性可通过t检验按下述方法加以检验：t＝对给定的显著水平，查t分布表得的值，若，表明样本数据异方差性显著，否则，认为不存在异方差性。对于多元回归模型，可分别计算与每个解释变量的等级相关系数，再分别进行上述检验。sss0H1Hsr22~(2)1ssrntnr/2(2)tn/2(2)tnti20（三）Park检验法Park检验法就是将残差图法公式化，提出是解释变量的某个函数，然后通过检验这个函数形式是否显著，来判定是否具有异方差性及其异方差性的函数结构。该方法的主要步骤如下：第一步，建立被解释变量y对所有解释变量x的回归方程，然后计算残差（i=1,2,…,n）第二步，取异方差结构的函数形式为＝，其中，和是两个未知参数，是随机变量。写成对数形式则为：＝。2ˆi2i2ivixe2iv2lni2lnlniixv2iix21第三步，建立方差结构回归模型，同时用来代替，即＝。对此模型运用OLS法。对进行t检验，如果不显著，则没有异方差性。否则表明存在异方差。Park检验法的优点是不但能确定有无异方差性，而且还能给出异方差性的具体函数形式。但也有质疑，认为仍可能有异方差性，因而结果的真实性要受到影响。2ˆi2ˆlni2lnlniixviv2i22（四）Glejser检验法这种方法类似于Park检验。首先从OLS回归取得残差之后，用的绝对值对被认为与密切相关的X变量作回归。有如下几种函数形式（其中是误差项）：2iˆiˆiˆˆ1ˆiiiiiiiiiXvXvvX21ˆˆˆiiiiiiiiivXXvXviv23Glejser检验方法的优点是允许在更大的范围内寻找异方差性的结构函数。缺点是难于确定的适当的幂次，这往往需要进行大量的计算。从实际方面考虑，该方法可用于大样本，而在小样本中，则仅可作为异方差摸索的一种定性技巧。iX24（五）Breusch-Pagan检验法该方法的基本思想是构造残差平方序列与解释变量之间的辅助函数，得到回归平方和ESS，从而判断异方差性存在的显著性。设模型为：（3.7）并且（3.8）在式（3.8）中表示是某个解释变量或全部。12233tttkkttY201122var()tttppt12,,p25提出原假设为，具体步骤如下：第一步，用OLS方法估计式（3.7）中的未知参数，得（3.9）和（n为样本容量）（3.10）第二步，构造辅助回归函数（3.11）式中为随机误差项。012:0p122ˆˆˆtttkkteY22ˆten2011222ˆtttppttet26第三步，用OLS方法估计式（3.11）中的未知参数，计算解释的平方和ESS，可以证明当有同方差性，且n无限增大时有第四步，对于给定显著性水平，查分布表得，比较与，如果，则拒绝原假设，表明模型中存在异方差。2~2pESS22()P2()P2ESS2ESS2()P27（六）White检验White检验的提出避免了Breusch-Pagan检验一定要已知随机误差的方差产生的原因，并且要求随机误差服从正态分布。White检验与Breusch-Pagan检验很相似，但它不需要关于异方差的任何先验知识，只要求在大样本的情况下。下面是White检验的基本步骤：设二元线性回归模型为（3.12）12233ttttY28异方差与解释变量的一般线性关系为第一步，用OLS法估计式3.3的参数。第二步，计算残差序列和。第三步，求对，，，，的线性回归估计式，即构造辅助回归函数。第四步，计算统计量，其中n为样本容量，为辅助回归函数中的决定系数。222012233243523ttttttttete2te2te2t3t22t23t23tt2nR2R123ˆˆˆ,,29第五步，在的原假设下，服从自由度为5的分布，给定显著性水平，查分布表得临界值，比较与，如果前者大于后者，则拒绝原假设，表明式（3.12）中随机误差存在异方差。此外，由于金融问题研究中经常需要处理时间序列数据，当存在异方差性的时候，可考虑用ARCH方法检验。检验异方差的方法多种多样，可以根据所研究问题的需要加以选择，也可以同时选择不同的方法，对检验结果进行分析比较，以求得出更准确的结论。0125:02nR2(5)2nR2(5)230第三节异方差的修正异方差性虽然不损坏OLS估计量的无偏性和一致性，但却使它们不再是有效的，甚至不是渐近（即在大样本中）有效的。参数的显著性检验失效，降低了预测精度。故而直接运用普通最小二乘法进行估计不再是恰当的，需要采取相应的修正补救办法以克服异方差的不利影响。其基本思路是变异方差为同方差，或者尽量缓解方差变异的程度。在这里，我们将会遇到的情形分为两种：当误差项方差为已知和当为未知。31一、当为已知：加权最小二乘法（weightedleastsquares,WLS在同方差的假定下，对不同的，偏离均值的程度相同，取相同权数的做法是合理的。但在异方差情况下，则是显而易见的错误，因为的方差在不同的上是不同的。比如在递增异方差中，对应于较大的x值的估计值的偏差就比较大，残差所反映的信息应打折扣；而对于较小的x值，偏差较小，应给予重视。2i