设定误差与测量误差

1引子：简单一定胜于复杂吗?西方国家盛行“Occam`srazor”原则，意思是“简单优于复杂”的节约性原则。经济模型永远无法完全把握现实，在建立模型中一定的抽象和简化是不可避免的。在研究进口与国内生产总值的关系时，考虑到时间趋势，建立并估计了以下模型IMGDPTTT23=-172.42+0.271-949.12+160.73-10.18(-0.177)(5.67)(-2.22)(2.20)(-2.74)tDWRF0.991272.951.9722有人根据“简单优于复杂”原则，得到以下方程：(2)进行比较：两个方程的检验结果都较理想；方程（2）GDP的t检验值似乎优于方程（1）；方程（2）函数形式也更为简单；然而，能否根据“Occam’srazor”原则，判断方程（2）比方程（1）好？IMGDP-217.1860.173(-0.5)(16.94)tDWRF20.960286.950.7353对模型的设定是计量经济研究的重要环节。前面各章除了对随机扰动项分布的基本假定以外，还强调:假定设定的模型对变量和函数形式的设定是正确地描述被解释变量与解释变量之间的真实关系，假定模型中的变量没有测量误差。但是在实际的建模实践中，对模型的设定不一定能够完全满足这样的要求，从而会使模型出现设定误差。iu4第九章设定误差与测量误差本章主要讨论:●设定误差●设定误差的检验●测量误差5第一节设定误差本节基本内容:●设定误差及类型●变量设定误差的后果6一、设定误差及类型计量经济模型是对变量间经济关系因果性的设想，若所设定的回归模型是“正确”的，主要任务是所选模型参数的估计和假设检验。但是如果对计量模型的各种诊断或检验总不能令人满意，这时应把注意力集中到模型的设定方面：考虑所建模型是否遗漏了重要的变量？是否包含了多余的变量？所选模型的函数形式是否正确？随机扰动项的设定是否合理？变量的数据收集是否有误差？所有这些，计量经济学中被统称为设定误差。7从误差来源看，设定误差主要包括：（1）变量的设定误差，包括相关变量的遗漏（欠拟合）、无关变量的误选（过拟合）；（2）变量数据的测量误差；（3）模型函数形式的设定误差；（4）随机扰动项设定误差。本章主要讨论的两类变量设定误差:（1）相关变量的遗漏（欠拟合）；（2）无关变量的误选（过拟合）。设定误差的类型81.相关变量的遗漏（OmittingRelevantVariables）例如，如果“正确”的模型为而我们将模型设定为即设定模型时漏掉了一个相关的解释变量。这类错误称为遗漏相关变量（“欠拟合”）。12233iiiiYXX122iiiYX92.无关变量的误选(IncludingIrrevelantVariables)例如，如果“真实模型”为：但我们却将模型设定为即设定模型时，多选了一个无关解释变量。这类错误称为无关变量的误选（“过拟合”）。12233iiiiYXX1223344iiiiiYXXX10●数据来源渠道可能不畅。例如，数据很难取得被迫将具有重要的经济意义变量排斥在模型之外。●不知道变量应当以什么确切的函数形式出现在回归模型中。●事先并不知道所研究的实证数据中所隐含的真实模型究竟是什么。设定误差在建模中较容易出现。设定误差的存在可能会对模型形成不良的后果。设定误差的原因11二、变量设定误差的后果当模型设定出现误差时，模型估计结果也会与“实际”有偏误；偏误的性质与程度与模型设定误差的类型密切相关。从实质上看，变量设定误差的主要后果，是一个或多个解释变量与随机扰动项之间存在着相关性，进而影响参数估计的统计特性。121.遗漏相关变量（欠拟合）偏误采用遗漏了重要解释变量的模型进行估计而带来的偏误，称为遗漏相关变量偏误。设正确的模型为：正确模型离差形式为：12233iiiiiYXXu2223(-)iiiiyxxuu13却对方程进行回归，得：取期望2322232222(-)ˆEEiiiiiixxxuuxx122iiiYX2322232222(-)ˆiiiiiixxxuuxx14遗漏变量设定误差的后果由此可以看出，的遗漏将产生如下后果。两边取概率极限，有：23222322Cov,Cov,ˆlimVarVariiiiniiXXXupXXX3151.如果漏掉的与相关，则分别在小样本下求期望、在大样本下求概率极限，有：2.如果与不相关，则的估计满足无偏性与一致性；但这时的估计却是有偏的。即OLS估计量在小样本下有偏，在大样本下非一致。X3X211221122ˆˆE()E()ˆˆlim()lim()nnpp且22X3X2163.的方差是方差的有偏估计：由得由得2ˆ2ˆ2222ˆVar()ixY=+x+v122Y=β+βX+βX+u122332222223222322223ˆVar()(1-)(1-)iiiiiixxxrxxx17如果与相关，显然有如果与不相关，也有4.遗漏变量，式中的随机扰动项的方差估计量将是有偏的，即：5.与方差相关的检验，包括假设检验、区间估计，在关于参数的统计显著性方面，都容易导出错误的结论。22ˆEvu22ˆˆVar()Var()22ˆˆVar()Var()3Xiv2ˆRSS(-2)vvn3X2X3X2X18(1)若但实际情形并不完全如此。可以注意到残差平方和RSS的计算因此，有可能：232230XXr与相关，，显然，22ˆˆVarVar22ˆˆVarVar;似乎有：22ˆˆRSS(2)RSS(3);vuunnRSS(2)RSS(3);vunn19（2）若不相关，有似乎分别有：若这两个等式成立，意味着尽管变量，在理论上分析是有关的变量，但从所选模型中略去似乎也不会导致什么危害。这种认识实际也不正确。32XX与222323200iiirxxx和；2222ˆˆˆEVar()Var();3X20因为的有偏估计，即使不相关，也有致使假设检验程序很有可能是可疑的。必须清楚，一旦根据相关理论把模型建立起来，再从中遗漏变量需要充分地谨慎。222222222222ˆˆRSS-2RSS-3ˆˆˆˆVar()Var()vvuuiiiinnxxxx是32XX与2ˆˆˆˆVar()Var()，212.包含无关变量偏误定义:模型中包括了不重要的解释变量，即采用误选了无关解释变量的模型进行估计而带来的偏误，称为包含无关变量偏误设正确模型但却估计了如果，则(2)与(1)相同，因此，可将(1)式视为以为约束的(2)式的特殊形式。采用OLS法对（2）进行估计，有：Y=β+βX+μ122(1)αYαXαXv12233(2)303022将（1）式的离差形式代入，整理得：期望和方差：22332322222323-ˆ-()iiiiiiiiiiixyxxyxxxxxx22()iiiyxuu232233222222323()((-))-()((-))ˆ-()iiiiiiiiiiixxuuxxxuuxxxx22ˆE()2222223ˆVar()(1-)vixr23无关变量的设定误差的后果1.可以证明，（2）式参数的OLS估计量是无偏，且为一致性的。即：同理，可证明：2222ˆˆE()limnp1133ˆˆE(),E()01133ˆˆlimlim0nnpp242ˆ22232ˆVar()1ˆ(1-)Var()r1ˆ2.不是有效估计量：此结论对也成立。3.随机误差项的方差的估计仍为无偏估计。4.通常的区间估计和假设检验程序依然有效，但方差增大，接受错误假设的概率会较高。25（1）遗漏相关变量将导致参数估计量和假设检验有偏且不一致；（2）误选无关变量虽参数估计量具无偏性、一致性，又会损失有效性。（3）注重检验的无偏性、一致性宁愿误选无关变量也不愿遗漏相关变量；（4）注重估计量的有效性，宁愿删除相关变量。通常误选无关变量不如遗漏相关变量的后果严重。因此，模型的设定实际是对偏误与有效进行权衡，偏爱哪一方取决于模型的研究目的。遗漏相关变量和误选无关变量的比较26第二节设定误差的检验本节基本内容:●DW检验●拉各朗日乘数检验●一般性检验27对变量设定误差进行检验必须在经济理论指导下进行，不可抛弃经济理论而进行假设检验。对于是否误选无关变量的检验，只要针对无关变量系数的期望值为零的假设，用t检验或F检验，对无关变量系数作显著性检验即可。对于遗漏变量设定误差的检验有多种方法，例如DW检验、拉格朗日乘数检验、豪斯曼检验、RESET一般性检验等。这里只讨论设定误差的一些最常用的检验方法。28基本思想：遗漏的相关变量应包含在随机扰动项中，那么回归所得的残差序列就会呈现单侧的正（负）相关性，因此可从自相关性的角度检验相关变量的遗漏。从遗漏变量的模型看，可以认为遗漏变量模型是无遗漏变量模型的一个特例：被遗漏变量的系数为0。一、DW检验29，DW检验的具体步骤1.对回归模型运用OLS法得残差序列2.设定按遗漏解释变量的递增次序对残差序列，进行排序，对排序后的残差序列，计算d统计量：ie22-121(-)nniiiiideee0H:,受约束回归模型1H:无约束回归模型。303.查Durbin-Watson表，若为显著，则拒绝原假设，受约束回归模型不成立，存在模型设定误差，否则接受原假设，受约束回归模型成立，模型无设定误差。d31对下表的数据设定总生产成本函数，准备使用如下三个备选模型：有（1）为真实模型，试用DW法检验模型设定误差。2312341iiiiiYXXXu21232iiiYXX123iiYX举例32总成本（）产出（）1193122262324034244452575626067274782978935091042010YX33三个模型分别代入数据回归(1)2322141.76763.487-12.9620.939se(6.375)(4.778)(0.9856)(0.0592)(22.238)(13.285)(-13.151)(15.861)0.99830.9975DW2.70iiiiYXXXtRR222222.383-8.02502.542se(23.488)(9.809)(0.869)(9.468)(-0.818)(2.925)0.92840.9079DW=1.038iiiYXXtRR(2)34本例中遗漏变量已按递增次序排列，此时的值等于值，无需重新计算d统计量。22166.46719.933se(19.201)(3.066)(8.752)(6.502)0.84090.82DW=0.716iiYXtRRdDW(3)35对上述模型的DW统计量的分析及查表情况如下：1.模型(1)：有=2.70，当时=0.525，=2.016，不能表明存在显著的正相关关系，接受H0，表示没有遗漏的变量。2.模型(2)：有=1.038，当时=0.697，=1.641。显然有0.6971.0381.641，属于无法确定的区域。采用修正的DW检验法进行检验即扩大拒绝区域，宁可判别残差中存在正的自相关，认为也存在遗漏变量。LdUdUdLdnk10,3,5%DWnk10,2,5%DW363.模型(3)：有=0.716，当时，=0.879，=1.320，显然存在正的自相关，拒绝，表明存在遗漏变量；LdUdnk10,1,5%DW0H37二、拉格朗日乘数（LM）检验基本思想：●模型中遗漏的相关变量包含在随机扰动项中，因此随机扰动