多元线性回归模型常见问题及解决方法

多元线性回归模型基本假设(1)随机扰动项ui数学期望（均值）为零。E(ui)=0(2)随机扰动项ui的同方差性且无自相关Var(ui)=σ2(3)解释变量X列线性无关。R(Xn×k)=K(4)随机扰动项ui与解释变量X不相关。cov(ui,X)=001122;1,2,,iiikikiYXXXin异方差性的定义对于线性回归模型同方差性假设为如果出现即对于不同的样本点，随机误差项的方差不再是常数，而是互不相同，则认为出现了异方差性(Heteroscedasticity)。01122;1,2,,iiikikiYXXXin212(,,,);1,2,,iiiikVarXXXin212(,,,);1,2,,iiiikiVarXXXin实际经济问题中的异方差性（1）研究居民家庭的储蓄行为Yi=β0+β1Xi+uiY-储蓄额X-可支配收入ui的方差单调递增（2）居民消费函数Ci=β0+β1Yi+ui将居民收入等距离分成n组，取组平均数作为样本观测值。Y服从正态分布。人数多的组平均数误差小。样本观测值的观测误差随解释变量观测值改变。异方差性的检验异方差性，即相对于不同的样本点，也就是相对于不同的解释变量观测值，随机误差项具有不同的方差。检验异方差性，就是检验随机误差项的方差与解释变量观测值之间的相关性。问题在于随机误差项的方差如何估计？一般处理方法是先采用普通最小二乘法估计模型，得到随机误差项的估计量，用表示，称为近似估计量。即ie22()()()iiiVarEEeˆ()iiiOLSeYY检验方法（1）图示检验法—大概判断（2）帕克检验与戈里瑟检验（3）GQ检验（4）怀特检验怀特(White)检验以两个解释变量的回归模型为例，说明怀特检验的基本思想与步骤。设回归模型为Yi=β0+β1X1i+β2X2i+μi先对模型作普通最小二乘回归，得到，然后作辅助回归：2ie222011223142512iiiiiiiieXXXXXX在同方差性假设下，辅助回归的可决系数R2与样本容量n的乘积，渐进地服从自由度为辅助回归方程中解释变量个数的χ2分布，即nR2~χ2在大样本下，对统计量nR2进行相应的χ2检验。若存在异方差性，表明与解释变量的某种组合有显著的相关性，这时往往有较大的可决系数R2，并且某一参数的t检验值较大。2ie加权最小二乘法(WLS)加权最小二乘法(WeightedLeastSquares,WLS)是对原模型加权，使之变成一个新的不存在异方差性的模型，然后采用普通最小二乘法估计其参数。加权的基本思想：在采用普通最小二乘法时，对较小的残差平方赋予较大的权数，对较大的赋予较小的权数，从而对残差提供的信息的重要程度作校正，提高参数估计的精度。加权最小二乘法就是对加了权重的残差平方和实施普通最小二乘法。记wi为权数，则加了权重的残差平方和为如在异方差检验过程中已知即随机误差项的方差与解释变量Xji之间存在相关性。22011ˆˆˆ[()]iiiikkwewYXX222()()()iiijiVarEfX2i可以用去除原模型，使之变为如下形式新模型：()jifX011221111()()()()11()()iiijijijijikkiijijiYXXfXfXfXfXXfXfX在新模型中，即满足同方差性，可用普通最小二乘法估计其参数，得到参数β0,β1,…,βk的无偏、有效估计量。222111()()()()()iijijijijiVarVarfXfXfXfX上述即为加权最小二乘法，其中权数为。普通最小二乘法只是加权最小二乘法中权数恒取1的一种特例，加权最小二乘法具有比普通最小二乘法更普遍的意义。加权最小二乘法也称为广义最小二乘法(GeneralizedLeastSquares,GLS)。1()jifX加权最小二乘法的关键是寻找适当的权，或者说是寻找随机误差项μ的方差与解释变量之间适当的函数形式。如发现则加权最小二乘法中的权即为。21212(,,,)(,,,)iiiikiiikVarXXXfXXX121/(,,,)iiikfXXX序列相关性的定义对于线性回归模型在其他假设仍成立的条件下，随机误差项序列相关即Cov(μi,μj)=E(μiμj)≠0序列相关性经常出现在以时间序列为样本的模型里。自相关现象是指一个变量前后期数值之间存在的相关关系。μt=ρμt-1+εt01122;1,2,,iiikikiYXXXin序列相关性产生的原因经济变量故有的惯性（物价指数，消费）模型设定的偏误数据的编造（由已知数据生成）(一)经济变量故有的惯性消费函数模型：消费习惯没有包括在解释变量中，其对消费的影响包含在随机误差项中，产生序列相关性。01;1,2,,tttCYtn(二)模型设定的偏误模型设定偏误指所设定的模型不正确，表现为遗漏了重要解释变量或模型函数形式有偏误。如应估计模型但将模型设定为0112233tttttYXXX01122ttttYXXv序列相关性的检验序列相关性检验的思路：首先采用普通最小二乘法估计模型，以求得随机误差项的近似估计量，用表示：然后通过分析这些近似估计量之间的相关性，以达到判断随机误差项是否具有序列相关性的目的。序列相关性的检验方法有：回归检验法、D.W.检验法、冯诺曼比检验法等。teˆ()tttOLSeYY回归检验法以为被解释变量，以各种可能的相关量，如等为解释变量，建立各种方程：……对方程进行估计并进行显著性检验，如存在某一种函数形式，使方程显著成立，则说明原模型存在序列相关性。te212,,ttteee1;2,,ttteetn1122;3,,tttteeetnD.W.检验法D.W.检验由杜宾(J.Durbin)和瓦森(G.S.Watson)于1951年提出，用于检验序列自相关。D.W.检验的假定条件是：(1)解释变量X非随机；(2)随机误差项μt为一阶自回归形式：μt=ρμt-1+εt(3)回归模型中不含有滞后因变量作为解释变量，即不出现以下形式：(4)回归模型含有截距项。D.W.检验的原假设为：H0:ρ=0，即μt不存在一阶自回归。0111ttktkttYXXY构造统计量：该统计量的分布与给定样本中的X值有复杂关系，其精确分布很难得到。21221()..ntttntteeDWe但可导出临界值的上限dU与下限dL，且上下限只与样本容量n和解释变量的个数k有关，而与解释变量的取值无关。根据样本容量n和解释变量的个数k查D.W.分布表，得到临界值dU和dL，按照下列准则判断模型的自相关状态：若0D.W.dL，则存在正自相关；若dLD.W.dU，则不能确定；若dUD.W.4-dU，则无自相关；若4-dUD.W.4-dL，则不能确定；若4-dLD.W.4，则存在负自相关。如果存在完全一阶正相关，则ρ≈1，D.W.≈0；如果存在完全一阶负相关，则ρ≈-1，D.W.≈4；如果完全不相关，则ρ=0，D.W.=2；从判断准则看，存在一个不能确定的D.W.值区域，这是该检验方法的一个缺陷。D.W.检验只能检验一阶自相关，且对存在滞后被解释变量的模型无法检验。序列相关性的修正（1）回归模型选用不当，改用适当的回归模型。（2）缺少重要的自变量，增加自变量。（3）以上都不行，则采用广义最小二乘法、广义差分法。广义最小二乘法广义最小二乘法是最具有普遍意义的最小二乘法，普通最小二乘法和加权最小二乘法是它的特例。对于模型Y=Xβ+μ若存在序列相关性，同时存在异方差性，即有21121222122212(,')(')nnnnnCovE其中，Ω为对称正定矩阵，故存在一可逆矩阵D，使得Ω=DD’用D-1左乘模型两边，得到新模型：D-1Y=D-1Xβ+D-1μ即Y*=X*β+μ*由于故，可用普通最小二乘法估计新模型，记参数估计量为，则此即原模型的广义最小二乘估计量，是无偏、有效估计量。**11111211212(')['()'](')()'()''()'EEDDDEDDDDDDDI*ˆ***1**11111111ˆ(')'['()']'()'(')'XXXYXDDXXDDYXXXY由上可知，只要知道随机误差项的方差-协方差矩阵σ2Ω，就可采用广义最小二乘法得到参数的最佳线性无偏估计量。矩阵Ώ？下面的证明出自潘文卿李子奈版计量课后习题答案P62。需要对随机误差项的自相关结构进行特殊设定，才能得到其估计值。一般假设随机误差项具有一阶序列相关性：μt=ρμt-1+εt;-1ρ1此时，2221()1tVar2221(,)1ssttsCov于是122221211()11nnnnVar2212221000010000100011000100001000012110000010000010000001000001000001D多重共线性多元线性回归模型其基本假设之一是解释变量X1,X2,…,Xk相互独立。如果某两个或多个解释变量之间出现了相关性，则成为存在多重共线性(Multicollinearity)。01122iiikikiYXXX实际经济问题中的多重共线性服装需求函数模型：Qi=f(Ii,Pi,....)I--收入P--价格直观判断，收入与价格不相关。调查数据表明，二者有一定的相关性。多重共线性的后果完全共线性下参数估计量不存在近似共线性下普通最小二乘法参数估计量的方差变大参数估计量经济含义不合理（若出现参数估计值的经济意义明显不合理的情况，应首先怀疑是否存在多重共线性。）变量的显著性检验和模型的预测功能失去意义多重共线性的检验多重共线性表现为解释变量之间具有相关关系。多重共线性检验的任务：(1)检验多重共线性是否存在；(2)判明存在多重共线性的范围。（哪些变量之间存在多重共线性）多重共线性检验的方法：判定系数检验法、逐步回归检验法等。(一)检验多重共线性是否存在(1)对两个解释变量的模型，采用简单相关系数法：求出X1与X2的简单相关系数r，若︱r︱接近1，说明两变量存在较强的多重共线性。(2)对多个解释变量的模型，采用综合统计检验若在普通最小二乘法下，模型的R2与F值较大，但各参数估计值的t检验值较小，说明各解释变量对Y的联合线性作用显著。各解释变量间存在共线性使得它们对Y的独立作用不能分辨，使t检验不显著。(二)判明存在多重共线性的范围确定多重共线性由哪些变量引起。判定系数检验法将模型中每个解释变量分别以其余解释变量为解释变量进行回归，计算相应的拟合优度，也称为判定系数。若某一种形式的判定系数较大，说明该形式中作为被解释变量的Xj可以用其他解释变量的线性组合替代，即Xj与其他解释变量间存在共线性。对出现较大判定系数的回归方程作F检验：其中，为第j个解释变量对其他解释变量的回归方程的判定系数。若存在较强的共线性，则较大且接近于1，此时1-较小，从而Fj的值较大。2.2./(1)~(1,)(1)/()jjjRkFFknkRnk2