违背经典假设的线性回归模型及估计

第二章违背经典假设的线性回归模型及估计在经典基本假设下，应用普通最小二乘法可以得到无偏的、有效的参数估计量。但是，在实际应用中，完全满足这些基本假设的情况并不多见，如果违背了某一项基本假设，那么应用普通最小二乘法估计模型就不能得到无偏的、有效的参数估计量，就需要发展新的方法估计模型。这里主要讨论异方差、自相关、多重共线性和随机变量四种情况。一、异方差异方差是指模型违背了经典假设（1）中的同方差。回顾经典假设（1），随机误差项的方差阵是一个对角矩阵22101()(')01nnVarEI（49）式（49）表示随机误差向量的方差协方差矩阵。当矩阵的主对角线上的元素相等时，即具有同方差；当非对角线上的元素均为零时，即具有无自相关。当这些假设不成立时，式（49）中的矩阵不再是纯量对角矩阵。111212122222212()(')nnnnnnnnVarEI（50）当误差向量的方差协方差矩阵主对角线上的元素不相等时，称该随机误差系列存在异方差，即误差向量中的元素t取自不同的分布总体；若方差协方差矩阵非主对角线上的部分或全部元素都不为零，误差项就是自相关的。本节主要讨论异方差问题，仍假设模型服从其他经典基本假设，误差项之间不相关，即方差协方差矩阵主对角线上的元素不相等，而非主对角线上的元素仍都为零。即11222220()(')0nnnnVarEI（51）1、异方差的表现和来源（1）异方差的表现异方差通常有三种表现形式：（1）递增型，（2）递减型，（3）条件自回归型。（画图）（2）异方差的来源在计量经济学研究中，产生异方差的原因主要有以下几种：1）模型中遗漏某些解释变量；2）模型形式设定不当；3）样本数据的测量误差；4）随机因素的影响。在计量经济学的实际研究当中，异方差问题是一种普遍现象。当模型存在异方差问题时，对模型的参数估计、显著性检验和预测等均会产生不利后果。2、异方差的后果（1）参数估计非有效回顾第一章第三节估计量性质中有关参数估计量线性性、无偏性和有效性的证明（（13）、（14）和（15）），异方差对线性性和无偏性的证明均无影响，即即便误差不具有同方差，参数估计量仍然具有线性性和无偏性；但是，有效性的证明利用了误差同方差性，则当误差存在异方差时，误差向量的方差为^^^^^^^111121121()(())(())'()()'((')''('))(')'(')(')'(')'(')'(')VarEEEEEXXXXXXXXXEXXXXXXXXXXX　　　　　　　　　　　　　　　　　　　　（52）在式（52）中，误差向量的方差在所有无偏估计量中方差不是最小的，即参数估计量是非有效的。（2）显著检验失效在第一章第四节的显著性检验中，t统计量中包含有随机误差项共同的方差2，且在实际计算中用其估计量^2代替，则并且有统计量服从自由度为（1nk）的t分布。当出现异方差，即2t表示n个不同的值。此时需要n个不同的2t分别进行估计，这在一组样本观测值中是难以实现的。如果仍然采用样本标准误差()s进行检验，则统计量将会产生偏差，则对t检验就失去意义。同样地，F检验也失效。（3）预测失效回顾第一章第五节的讨论，预测值的置信区间中也包含有随机误差项共同的方差2，同样在实际计算中仍以^2代替。由于参数估计非有效，即参数估计值与真实值的差异增大，模型不具有良好的统计性质。利用这样的估计模型进行预测将会降低预测精度，造成预测功能失效。3、异方差的检验（1）图示法：（附图？）相关图分析残差分析（2）Goldfeld-Quandt检验Goldfeld-Quandt检验法是由S.M.Goldfeld和R.E.Quandt在1956年提出来的。该检验的基本思想是：将样本分为容量相等的两部分（样本1和样本2），然后对样本1和样本2进行回归，并分别计算两个子样本的残差平方和，如果随机误差项是同方差的，则这两个子样本的残差平方和应该大致相等；如果存在异方差，则两者会存在较大的差别。Goldfeld-Quandt检验法对样本容量要求较大，一般不得少于参数个数的两倍，且随机误差项仅违背同方差假设，其他基本假设均不违背。检验步骤：1）将样本观测值按解释变量的大小按升序排列；2）将顺序排列后的样本的中间约1/4的观察值剔除（该部份记为c），将余下的样本平均分为两部分，即每部分的样本量为()/2nc；3）提出检验假设原假设0H：t具有同方差；备择假设1H：t存在递增异方差。4）构造检验统计量－F统计量首先对两个子样本分别进行回归，分别计算得到两部分的残差1SSE和2SSE，它们的自由度均为()/21nck。其次，构造如下检验统计量2211/[()/21](()/21,()/21)/[()/21]SSEnckSSEFFncknckSSEnckSSE5）判别给定显著性水平，若(()/21,()/21)FFncknck，则接受原假设0H，即随机误差不存在异方差性；若(()/21,()/21)FFncknck，则拒绝原假设0H，接受备择假设1H，表明第二个子样本的随机误差项方差显著地大于第一个子样本的随机误差项方差，即随机误差项存在递增异方差性。Goldfeld-Quandt检验法的特点：1）该方法要求将样本观测值按解释变量的大小按升序排列；2）该方法仅适用于递增型异方差；3）对样本容量要求较大，一般不得少于参数个数的两倍；4）要求随机误差项仅违背同方差假设，其他基本假设均不违背。（3）Glejser检验和Park检验Glejser检验和Park检验方法是由Glejser和Park在1969年提出来的。该检验的基本思想是：通过建立残差序列对解释变量的回归模型，判断随机误差项的方差与解释变量之间是否存在着较强的相关关系，即是检验残差的绝对值te（Glejser检验）或残差平方2te（Park检验）是否与解释变量tx存在函数关系，若存在某种显著的函数关系，则表明异方差性的存在；若不存在，则表明异方差性不存在。检验步骤：1）利用普通最小二乘法对样本观测值进行回归，估计模型参数并求得残差te；2）分别建立残差的绝对值te（Glejser检验）或残差平方2te（Park检验）对每个解释变量的回归方程；3）检验各回归模型参数的显著性；4）判别：若残差序列与解释变量的回归模型参数显著地不为零，则表明存在异方差；反之，若模型参数显著地为零，则随机误差项满足同方差性。检验通常假设的几种函数形式：1）Glejser提出的假设函数形式01htttex（1,2,1/2,h）2）Park提出的假设函数形式120tttexe或201tttexGlejser检验的特点：1）既可检验递增型异方差，也可检验递减型异方差；2）当存在异方差时，能够发现了异方差的具体表现形式；3）对样本容量要求也较大，且计算量相对较大；4）当原模型为多元回归模型时，可以把te或2te拟合成多变量回归形式。（4）White检验White检验法是由H.White在1980年提出来的。前述的Goldfeld-Quandt检验要求先把数据按解释变量的值从小到大进行排序，且随机误差项除违背同方差性外，仍然必须服从其他基本假设，包括正态性假设；Glejser检验通常要试拟合多种形式的回归模型，而对回归模型形式的准备把握要求具备关于异方差的一定的先验知识。而White检验不需要对观测值排序，也不依赖于随机误差项服从正态分布，不需要任何关于异方差的先验知识，它是通过构造一个辅助回归模型的方式来对异方差性进行检验。同样地，White检验法也对样本容量要求较大。检验步骤：以如下的二元线性回归模型为例01122ttttyxx（1,2,,tn）（53）1）对二元线性回归模型（53）进行OLS回归，求得残差te；2）构造如下辅助回归模型222011223142512ttttttttexxxxxx（1,2,,tn）（54）求出辅助回归模型（54）的未调整可决系数2WR。3）提出检验假设原假设0H：123450，即模型(53)中的t不存在异方差；备择假设1H：i（1,2,,5i）不全为零，即模型(53)中的t存在异方差。4）构造检验统计量在原假设下，即t不存在异方差时统计量22(5)WnR其中自由度5表示辅助回归模型（54）中解释变量个数（不包括常数项）。5）判别给定显著性水平，若22(5)WnR，则接受原假设0H，即t不存在异方差；若22(5)WnR，则拒绝原假设0H，接受备择假设1H，即t存在异方差。（5）ARCHLM检验Engle在1982年针对时间序列回归模型中的残差序列是否存在自回归条件异方差（AutoRegressiveConditionalHeteroscedasticity，ARCH）效应，提出了拉格朗日乘数检验（lagrangeMultipliertest），即ARCHLM检验。即如果样本数据为时间序列数据，当存在异方差时，可采用ARCH检验方法进行检验。该检验方法把原回归模型中随机误差项的二阶矩2t看作其滞后项2212,,tt的函数。检验步骤：1）对原模型作最小二乘估计，计算残差te和2212,,ttee2）定义p阶辅助回归模型222201122tttptpteeee（1,2,,tppn）（55）估计辅助回归模型（55），计算未调整可决系数2AR。3）提出检验假设原假设0H：120p，即原模型中的t不存在ARCH效应；备择假设1H：i（1,2,,ip）不全为零，即原模型中的t存在ARCH效应。4）构造检验统计量在原假设下，即t不存在ARCH效应时，LM检验统计量22()ALMnRp5）判别给定显著性水平，若22()AnRp，则接受原假设0H，即t不存在ARCH效应；若22()AnRp，则拒绝原假设0H，接受备择假设1H，即t存在ARCH效应。（有关ARCH的详细内容将在后面章节中继续讨论）4、存在异方差时的模型估计（异方差的解决）通过前面的分析，我们知道，当模型存在异方差问题时，将会对模型的参数估计、显著性检验和预测等均会产生不利后果。因此，需要采取适当的措施对异方差问题进行修正。首先应先分析模型的异方差问题是否由存在遗漏解释变量或形式设定不恰当造成的，这时应考虑加入遗漏变量或调整模型形式后再利用最小二乘法对模型重新估计，如果此时异方差已消除，则参数估计量仍然是最优线性无偏的；如果异方差没有消除，则说明问题是由其他因素导致的，这时应考虑运用其他估计方法对模型进行估计，以消除或减小异方差性对模型的不利影响。（1）加权最小二乘法（WLS）利用最小二乘法对样本数据进行拟合时，残差te（1,2,,tn）表示的是样本点ty对总体回归直线的偏离程度。在同方差假定下，残差te大致相同，即样本点与总体的偏差程度大致相当，因此，普通最小二乘法对每个样本点所提供的信息给予同等程度的对待，对每个残差平方2te（1,2,,tn）赋予相同的权重以最小化残差平方和。而当模型存在异方差时，残差te表现出较大的波动，每个样本点对总体的偏差存在较大差异，它们所提供的信息的重要程度也就不能同等对待。同样是利用使残差平方和最小化的最小二乘法原理，加权最小二乘法对每个残差平方2te赋予不同的权重，对较大的2te赋予较小的权重，对较小的2te赋予较大的权重，即是对不同样本点所提供的信息给予不同程度的重视，从而有效地改善模型参数估计的统计性质。设定模型YX（56）其中，除违背同方差假设外，