第十一章异方差

1第十一章异方差古典线性回归模型的一个重要假设是的随机扰动项ui具有相同的方差2；如果方差随观察值不同而异，也即ui的方差为2i，就是异方差性。本章主要讨论下列问题：(1)异方差的性质是什么？(2)异方差的后果是什么？(3)如何检验异方差的存在？(4)如果存在异方差，有哪些补救措施？11.1异方差的性质一个简单的双变量线性回归模型：应变量Y是个人储蓄，解释变量X是个人可支配收入。图11-1(a)表明，随着个人可支配收入的增加，储蓄的平均水平也增加，但是储蓄的方差在所有可支配收入水平上保持不变，即同方差。图11-1(b)所示，尽管随着个人可支配收入的增加，平均储蓄水平也增加，但在各个收入水平上，储蓄的方差并非保持不变，而是随着个人可支配收入的上升而增加，即异方差。图11-1(b)表明，平均而言高收入者比低收入者储蓄得多，但高收入者的储蓄变动也较大。因此，在收入对储蓄的回归分析中，对高收入家庭有关的预期误差比与低收入家庭的误差要大一些。异方差问题多存在于横截面数据中而非时间序列数据。在横截面数据中，通常处理的是一定时间点上总体单位，例如个别消费者，或公司、行业，或者区域上分区、县、市等。例11.1美国工业的研究与发展费用支出、销售和利润。表11-2所给美国18个行业1988年的销售、利润及研究与发展(R&D)支出数据。由于每个行业包括若干不同子类，各子类所包括公司的规模又各不相同，如果作研究和发展支出对销2售量和利润的回归，很难保证同方差假定。考虑如下模型：R&Di=B1+B2销售额I+ui(11-2)先验地，预期两个变量呈正相关关系，图11-3为散点图。3利用普通最小二乘法，得到回归结果如下：R&Di=192.99+0.0319销售额i(11-3)se=(990.99)(0.0083)t=(0.1948)(3.8434)r2=0.4783从图11-3可以看出：平均而言，R&D支出费用随着销售额的增加而增加。但是，随着销售的增加，R&D支出费用的变动幅度也增大了，即存在异方差。如果把从回归方程中得到的残差对各个观察值作图(图11-4)，可以更明显地看到这一点。是不是基于同方差假定所得到的式(11-3)回归结果毫无用处呢？11.2异方差的后果在古典线性回归模型的假设下，普通最小二乘法估计量是最优线性无偏估计量，即在众多线性无偏估计量中，最小二乘估计量方差最小。如解除同方差假定，但其他假定保持不变，会产生下面后果。(1)OLS估计量仍然是线性的。(2)OLS估计量也是无偏的。(3)但不再具有最小方差性，不再是最优的，即使对大样本也如此。简言之，OLS估计量都不再是最优线性无偏估计量。(4)OLS估计量的方差通常是有偏的。(5)OLS估计量方差有偏产生的原因是由于2ˆ（2..eidf，）不再是真实2的无偏估计量。（d.f.为自由度）。（注：用此方法计算OLS估计量的方差，前提条件就是ui具有同方差性）4(6)相应地，建立在t分布（2ˆ/kkibBtx，）和F分布（23232()/2/..ttttbyxbyxFeidf，两个解释变量的情况）之上的置信区间和假设检验是不可靠的。回到模型(11-3)的R&D回归结果，如果存在着异方差的可能，那么在解释回归结果时必须非常小心。虽然销售变量的系数显著不为零，因为其t值为3.84，在1%的显著水平下是“显著地”的。（对于自由度为16，在0.01显著水平下，单边t临界值为2.921)。但如果确实存在异方差，那么就不能相信估计得到的标准差，0.0083，因而也就不能相信计算的t值。为什么在异方差的情形下OLS估计量是无效？考虑双变量回归模型。在运用普通最小二乘法的过程中我们要使残差平方和(RSS)最小：22(12)eiYibbxi现在考虑图11-4图形描绘了某一假设总体Y对变量X之间的关系。图中可以看出，给定X，对应每一(子)总体Y的方差是不同的，这表明存在异方差。假设对应每一个X值随机地选取一个Y值。根据普通最小二乘法可知，每一个2ei都有同样的权重，无论它是来自于一个较大方差的总体5还是来自于一个较小方差的总体(比较点Yn和点Y1)。一个更合理的方法是，应该给那些取自较小方差总体的观察值以更大的权重，而给那些取自较大方差总体的观察值以更小的权重。这能够更为精确地估计总体回归函数，这就是加权最小二乘法，稍后讨论。11.3如何知道存在异方差问题检验异方差较为困难。因为只有拥有与所选X相对应的整个Y总体时，才能知道2i。然而，通常很少能够得知整个总体，一般仅仅知道一个样本。典型情况是，我们仅有与给定X值相对应的单独的一个Y值，根据单独的Y值根本无法确定其条件分布方差。看表11-2给出的R&D数据。对每一个行业，只有一个R&D数据，仅从这个R&D数据，根本无法求出该行业的R&D的方差2i。而回归方程(11-3)是基于假设—表11-2中每个观察值都相同。与多重共线性的情形相同，并没有单一的规则用来检验异方差。11.3.1根据问题性质所考察问题的性质往往提供是否存在异方差的信息。例如，在涉及不均匀单位的横截面数据中，异方差可能是常有的情况而不是例外。在与销售、利率、成本等相关的投资支出的横截面数据分析中，如果把小、中和大型的公司聚集在一起加以抽样，就很可能存在异方差。11.3.2残差的图形检验见图11-4，残差的(绝对)值随销售量的增加而增加，表明或许数据中存在着异方差。有时不是将残差对销售描图，而是将残差平方对销售描图。尽管2ie与2i不同，经常可以用来替代2i。参见图11-66在图11-6a中，变量X与之间没有可观察到的系统模式，表明数据中可能不存在异方差。另一方面，从图11-6b到e可以看出残差平方与解释变量X之间的系统关系；例如，图11-6c表明，两者之间存在着线性关系。而图11-6d和e则表明存在着四次方关系。注意，上述散点图只不过是一个检测工具，一旦怀疑存在异方差，再继续分析时应该更为谨慎。如果解释变量过多怎么办？最直观的方法是将2ie对每个变量描图，但也可以直接对Y的估计均值ˆiY描图，因为ˆiY是XS的线性组合。2ie对ˆiY的散点图可能会呈现出图11-6(b到e)某种模式，表明数据中可能存在异方差。11.3.3帕克检验(Parktest)如果存在着异方差，方差2i可能与一个或者多个解释变量系统相关，可以作2i对一个或者多个解释变量的回归。例如：ln2i=B1+B2lnXi+vi(11-4)7所选择的特殊函数形式(11-4)是为了方便起见.其中，vi是残差项。但是并不知道异方差方差，用2ie来代替（可从原始回归方程中获得2ie的值）。ln2ie=B1+B2lnXi+vi(11-5)如果是检验是显著的，则存在异方差。注意:(1)结果只是建议性的。(2)帕克检验存在一个比较严重的问题，在回归方程(11-5)中，误差项vi本身可能存在着异方差！我们又回到问题起点。11.3.4Glejser检验Glejser检验与帕克检验很相似,从原始模型中获得残差ei之后，作|ei|对X的回归。Glejser建议的一些函数形式如下：121212////1//iiiiiiiiieBBXveBBXveBBvX与帕克检验一样，在Glejser所建议的回归方程中，误差项本身可能就存在异方差问题。11.3.5Gold-Quandt检验(P85，实验)11.3.6White检验(P86)11.4异方差补救措施11.4.1加权最小二乘法(WLS)考虑一元回归总体回归函数：12iiiYBBXu（11-18）设Y是R&D支出，X是销售量，现在假设2i是已知的。对模型作如下变换：121()()iiiiiiYuXBB令iiiuV，称作“变换后的误差项”。现证明该误差项同方差性（证明其为常量）：8因为222iiiuV22222222()()1=()1=()1iiiiiiiiuEVEEu因为已知显然是一个常量，因此变换后的误差项vi是同方差的，我们可以用常规的OLS方法加以估计。由此获得的B1、B2称为加权最小二乘估计量；Y和X的每个观察值都以其(异方差的)标准差为权数。11.4.22i为未知直观上看加权二乘法很简单，但是如何知道或者如何找出真实的误差项方差2i？现实中有关误差方差的信息是极少的，需要对未知的误差项方差做假设，一下为两种简单的情形：情形1：误差与Xi成比例：平方根变换将回归所得的残差对解释变量X做散点图，如果观察到图案与图11-8相似，则表明误差与解释变量X线性相关。即22()iiEuX常数2(注意其没有下标)是比例因子。9将模型(11-18)作如下变换：12121()()=iiiiiiiiiYuXBBXXXXBBXVX方程完成平方根变换，根据前面的思路容易证明回归方程的误差方差vi是同方差的，因此可以应用OLS法来估计方程。情形2：误差方差2iX与成比例如果所估计的残差呈现如图11-9所示的模式，则表明误差项方差随X的平方按比例增加。即，222()iiEuX将模型(11-18)作如下变换：12121()1=()iiiiiiiYuBBXXXBBVX也很容易证明回归方程的误差方差vi是同方差的。