第四章多重共线性问题

第四章多重共线性问题与多重共线性问题有关的基本假定是“矩阵列满秩”。——多重共线性模型的岭回归估计——多重共线性问题的检测•本章讨论的问题——多重共线性问题——多重共线性模型的主成分估计X§4.1多重共线性问题（一）多重共线性问题严格共线性线性相关kXXl,,,11)(),(kXXrYXXXr驻点条件方程组有解，但解不惟一。高度共线性近似线性相关kXXl,,,1驻点条件方程组有惟一解，病态。（二）多重共线性问题的症状严格共线性1)()(kXrXXr0)det(10kaaaXX高度共线性1)()(kXrXXr0)det(10kaaaXXiiaXXTr1)()ˆvar(212OLS估计可能出现与较大方差有关的一类症状：（ａ）个别可能很大；)ˆr(aˆvi（ｂ）某些的符号与理论或常识不符；iˆ（ｃ）某些重要的解释变量不能通过检验；t（ｄ）值对样本敏感，样本数据或样本容量的轻微变动，会引起发生较大的变化。iˆiˆ§4.1多重共线性问题例农民消费函数Y=农民消费(亿元)X1=农业净产值(亿元)X2=农村人口数(万人)X3=粮食总产值(亿元)X4=轻工业总产值(亿元)X5=农产品收购价格指数与农村工业品牌价指数比样本区间:1953-1982§4.1多重共线性问题农民消费函数主要回归计算结果-223.3357.127-3.910.81290.10257.93132.520.00390.00085.045.49-0.14780.1495-0.99167.130.00680.02910.2332.4294.6241.102.3022.91iˆ)ˆvar(iit)ˆ(iVIF997.02R14.19SE064.22t§4.1多重共线性问题多重共线性问题发生的原因——很多宏观经济总量随着经济周期的波动，呈现出几乎同步增长或削减的趋势，它们的数据向量极易出现近似线性相关的现象。——还有一些经济行为不仅需要某些变量作为其解释因素，同时还需要它们的滞后值变量也作为其解释因素。由于变量与它的滞后变量几乎总是同方向发生变化，模型也容易存在多重共线性问题。§4.1多重共线性问题§4.2多重共线性问题的检测方差扩大化因子检测（以为例）21121)ˆ()ˆvar(xVIF方差的因子分解其中22,1111)ˆ(kRVIF10221vXXXkk为以下模型的拟合2...2,1kR2R1ˆ10)ˆ(iVIF检测临界指标：受三方面因素的影响：)ˆvar(121x)ˆ(1VIF§4.3多重共线性模型的岭回归估计——线性无偏估计类整体不再适用于多重共线性模型——岭回归估计是具有较小均方误差的线性有偏估计量（一）均方误差2)~()~()~()~(iiEEMSE对于无偏估计量)~var()~(iMSE对于有偏估计量)~var()~(MSE2)~()~var()~(iiiEMSE较小均方误差估计量必须取值集中而且中心点在真值附近。（二）向量组、离差向量组与标准离差向量组——若向量组线性相关，则离差向量组线性相关。kXX,,1kxx,,1——若离差向量组线性相关，则向量组线性相关。kxx,,1kXXl,,,1——若向量组线性相关，则标准离差向量组线性相关。kxx~,,~1kXX,,1§4.3多重共线性模型的岭回归估计（三）岭回归估计YxIxxxxYXXkkkk~)~~(~~~~~111110称由关系式所确定的估计量：)(~,),(~),(~10k为线性回归模型的岭回归估计，其中是待定常数。0§4.3多重共线性模型的岭回归估计ˆ)0(~2.矩阵有特征根xx~~1.k,,1kii,,1,0矩阵有特征根Ixx~~k,,1逆运算矩阵有较小特征根的情形得到改善3.岭回归估计是线性估计量YxIxxD~)~~()(~1*1YxIxxMDln]~)~~(1[)(~11*04.岭回归估计是有偏估计量*11*~~)~~()(~DxxIxxDE§4.3多重共线性模型的岭回归估计5.岭回归估计的均方误差21))(~(MSEMSEMSE))(()())(~(222jiijiiiMSEijxx~~其中，只与矩阵有关，而与无关；xx~~0i只与矩阵有关，与参数有关，而与无关。考虑函数))(~()(MESfka,,min1),(a§4.3多重共线性模型的岭回归估计均方误差结论32)(2)(iiifjijiij,))((2jijijiij,222)()()2(222)0(iif0)0(f存在，对于，0),0[0)(f)0()(ff)ˆvar()ˆ())0(~())(~(iMSEMSEMSE由以上邻域内之所确定的岭回归估计，其误差将小于OLS估计的误差。)(~ˆ§4.3多重共线性模型的岭回归估计岭回归估计实施步骤（ａ）试探性选取：,02.0,01.0计算相应的：)(~iki,,1（ｂ）绘制岭迹图，；))(~,(iki,,1（ｃ）观察岭迹图，使得各岭迹图均已经趋于平缓的即为所求。§4.3多重共线性模型的岭回归估计例4.1设Y=为我国粮食产量（LSCL，单位万吨），X1=为化肥使用量（HFSYL，单位万吨），X2=为农业劳动力（NYLDL，单位万人）。21059735.03646.0436931.8ˆLnXLnXYnL)833972.2()092784.3()163413.0(938492.02R931256.02R036201.0SE97707.2)ˆr(aˆv0117887.0)ˆr(aˆv1365544.0)ˆr(aˆv2693.129F6462.10)(LnYMean§4.3多重共线性模型的岭回归估计模型的岭回归估计00.010.020.030.040.36460.29190.25830.23880.2258-0.05970.16040.25910.31450.34940.050.060.070.080.090.21650.20940.20380.19910.19520.37310.39000.40240.41180.419)(~1)(~1)(~2)(~2§4.3多重共线性模型的岭回归估计-0.10.00.10.20.30.40.50.000.020.040.060.080.10SLMDBATA1BATA2岭迹图§4.3多重共线性模型的岭回归估计取，求得07.0790031.4)07.0(~0得岭回归函数：21402443.0203776.0790031.4~LnXLnXYnL岭回归估计的残差平方和：普通最小平方估计的残差平方和：024952.0)07.0(~2ie022278.02ie拟合程度损失不算太大，模型的岭回归估计是比较成功的。拟合程度评价§4.3多重共线性模型的岭回归估计统计性质比较9631.1013334.323334.326047.10)ˆcov(25513.49550.09550.04734.0))07.0(~cov(2)ˆvar()~var(iki,,1§4.3多重共线性模型的岭回归估计§4.4多重共线性模型的主成分估计(一)主成分方法按照系列优化模型构造组合变量。1z设第一个组合变量为，其数据向量仍记为：1z1~..~~11111111max1aaaxztsaxxazza11~axz求解知：其中：是矩阵的属于最大特征根的单位特征向量；xx~~11a1111111~~)~()~(axxaaxaxzz01z构造第二个组合变量，其数据向量也记为：2z2z01~..~~2122222222max2aaaaaxztsaxxazza求解知：，其中：22~axz是矩阵的属于第二大特征根的单位特征向量；2axx~~2222zz01z0~~)~()~(212212121aaaxxaaxaxzz§4.4多重共线性模型的主成分估计逐一求得全部个组合变量，它们具有以下性质：kkzzz,,,21（ａ）任何，与正交；jiizjz（ｂ）各的变差平方和等于的对应特征根，且依次单调递减；izxx~~i（ｃ）组合变量组的总变差平方和等于解释变量的标准离差变量组的总变差平方和，即：kzz,,1kxx~,,~1kxxzziiiii~~§4.4多重共线性模型的主成分估计（二）多重共线性模型的主成分估计设0,1kl),,(11lzzZ),,(12klzzZ),,(11laaA),,(12klaaAkkkxxD1*kkXXYYZZZAD~~~)(~110111111*记称为线性回归模型的主成分估计，其中§4.4多重共线性模型的主成分估计（三）例4.1的主成分估计11~~1212rrxx解特征方程011~~1212rrxxI983286.11121r016714.01122r解方程组iiiaaxx~~21211a21212a0211~axz111121A§4.4多重共线性模型的主成分估计计算可得8384.1005929.01*D535407.0172668.0~622658.3~0主成分回归函数：21535407.0172668.0622658.3~LnXLnXYnL主成分回归、岭回归、最小平方回归的残差平方和：025781.0~2ie024952.0)07.0(~2ie022278.02ie§4.4多重共线性模型的主成分估计多重共线性问题小结样本性共线性模型的处理扩充样本容量变量替换岭回归估计主成分估计实质性共线性模型的处理加权合并共线性变量删除变量岭回归估计主成分估计THEEND