《计量经济学》多媒体教学课件-多元线性回归模型

1多元线性回归模型计量经济学第三章2引子:中国汽车的保有量会达到1.4亿辆吗?中国经济的快速发展，使居民收入不断增加，数以百万计的中国人开始得以实现拥有汽车的梦想，中国也成为世界上成长最快的汽车市场。中国交通部副部长在中国交通可持续发展论坛上做出预测:“2020年，中国的民用汽车保有量将比2003年的数字增长６倍，达到1.4亿辆左右”。是什么因素导致中国汽车数量的增长?影响中国汽车行业发展的因素并不是单一的，经济增长、消费趋势、市场行情、业界心态、能源价格、道路发展、内外环境，都会使中国汽车行业面临机遇和挑战。3分析中国汽车行业未来的趋势,应具体分析这样一些问题：中国汽车市场发展的状况如何？（用销售量观测）影响中国汽车销量的主要因素是什么？（如收入、价格、费用、道路状况、能源、政策环境等）各种因素对汽车销量影响的性质怎样？（正、负）各种因素影响汽车销量的具体数量关系是什么？所得到的数量结论是否可靠？中国汽车行业今后的发展前景怎样？应当如何制定汽车的产业政策？很明显，只用一个解释变量已很难分析汽车产业的发展,还需要寻求有更多个解释变量情况的回归分析方法。怎样分析多种因素的影响？4第三章多元线性回归模型本章主要讨论:●多元线性回归模型及古典假定●多元线性回归模型的估计●多元线性回归模型的检验●多元线性回归模型的预测5第一节多元线性回归模型及古典假定本节基本内容:一、多元线性回归模型的意义二、多元线性回归模型的矩阵表示三、多元线性回归中的基本假定6一、多元线性回归模型的意义例如:有两个解释变量的电力消费模型其中:为各地区电力消费量；为各地区国内生产总值（GDP）；为各地区电力价格变动。模型中参数的意义是什么呢?12233iiYXXu2X3XiY7多元线性回归模型的一般形式一般形式：对于有个解释变量的线性回归模型模型中参数是偏回归系数，样本容量为偏回归系数：控制其它解释量不变的条件下，第个解释变量的单位变动对应变量平均值的影响。k12233...iiikkiiYXXXu(1,2,...,)jjkjn8指对各个回归系数而言是“线性”的，对变量则可是线性的，也可是非线性的例如：生产函数取自然对数lnlnlnlnlnYALKuYALKu多元线性回归9的总体条件均值表示为多个解释变量的函数总体回归函数也可表示为:2312233E(,,...,)...iiikiiikkiYXXXXXX12233...iiikkiiYXXXuY多元总体回归函数10的样本条件均值表示为多个解释变量的函数或其中回归剩余（残差）：ˆ-iiieYY多元样本回归函数12233ˆˆˆˆˆY...iiikkiXXX12233ˆˆˆˆ...iiikkiiYXXXeYni,,2,111二、多元线性回归模型的矩阵表示个解释变量的多元线性回归模型的个观测样本，可表示为1122133111...kkYXXXu2122233222...kkYXXXu12233...nnnkknnYXXXunk12Y1n用矩阵表示1n1knk1211112222222111kknnknknYXXβuYXXβuYXXβuXYuβ13总体回归函数或样本回归函数或其中：都是有个元素的列向量是有个元素的列向量是第一列为1的阶解释变量数据矩阵(截距项可视为解释变量取值为1)nkknE(Y)=XβY=Xβ+uˆˆY=XβˆY=Xβ+eˆY,Y,u,eXˆβ,β14三、多元线性回归中的基本假定假定1：零均值假定或假定2和假定3：同方差和无自相关假定假定4：随机扰动项与解释变量不相关E()0(1,2,,)iuinCov(,)02,3,,jiiXujkCov(,)E[(-E)(-E)]E()ijiijjijuuuuuuuu20()iji=j (Eu)=015假定5:无多重共线性假定(多元中)假定各解释变量之间不存在线性关系，或各个解释变量观测值之间线性无关。或解释变量观测值矩阵列满秩(列)。即可逆假定6：正态性假定X2~(0,)iuNσk()RankkX()RankKXXXX16第二节多元线性回归模型的估计本节基本内容:●普通最小二乘法（OLS）●OLS估计式的性质●OLS估计的分布性质●随机扰动项方差的估计●回归系数的区间估计217一、普通最小二乘法（OLS）最小二乘原则剩余平方和最小：求偏导,令其为0:22ˆmin(-)iiieYY2212233ˆˆˆˆmin[-(...)]iiiikkieYXXX2()0ˆije18即注意到12233ˆˆˆˆ-(...)iiikikiiYXXXe0ie12233ˆˆˆˆ-2-(...)0iiikikiYXXX12233ˆˆˆˆ-2-(...)0kiiiikikiXYXXX212233ˆˆˆˆ-2-(...)0iiiikikiXYXXX20iiXe0kiiXe19用矩阵表示因为样本回归函数为两边乘有：因为，则正规方程为：XXe=021222221110001in2iik1kknnkiieeXXXeXe===...XXXeXeXeˆXXβ=XYˆXY=XXβ+XeˆY=Xβ+eXe20由正规方程多元回归中二元回归中注意：和为的离差ˆ-1β=(XX)XY(),kk是满秩矩阵其逆存在XXˆXXβ=XY12233ˆˆˆY-βX-βX23222332222323()()-()()ˆ()()-()iiiiiiiiiiiyxxyxxxxxxx22332322222323()()-()()ˆ()()-()iiiiiiiiiiiyxxyxxxxxxxxyX,YOLS估计式21二、OLS估计式的性质OLS估计式1.线性特征:是的线性函数，因是非随机或取固定值的矩阵2.无偏特性:ˆE()kkββ(-1XX)Xˆ-1β=(XX)XYˆβY223.最小方差特性在所有的线性无偏估计中，OLS估计具有最小方差结论：在古典假定下，多元线性回归的OLS估计式是最佳线性无偏估计式（BLUE）kβˆkβ23三、OLS估计的分布性质基本思想●是随机变量，必须确定其分布性质才可能进行区间估计和假设检验●是服从正态分布的随机变量,决定了也是服从正态分布的随机变量●是的线性函数，决定了也是服从正态分布的随机变量iuˆiβiYˆiβiYˆiβ24的期望(由无偏性)的方差和标准误差：可以证明的方差-协方差矩阵为这里是矩阵中第行第列的元素2-1ˆVar-Cov()()σβXXˆβˆE()ββˆSE()jjjβσc2ˆVar()jjjβσcˆβˆβjjc-1()XXjj2ˆ~(,)1,2,...,jjjjβNβσcjk故有：25四、随机扰动项方差的估计多元回归中的无偏估计为：或表示为将作标准化变换：2ˆkβˆˆ--~(0,1)ˆSE()kkkkkjjkββββzNσcβ22ˆ-ieσnk2ˆ-σnkee2σ26因是未知的，可用代替去估计参数的标准误差:●当为大样本时，用估计的参数标准误差对作标准化变换，所得Z统计量仍可视为服从正态分布●当为小样本时，用估计的参数标准误差对作标准化变换，所得的t统计量服从t分布：22ˆˆβ^ˆ-~(-)ˆSE()kkkββttnkβˆβ2ˆβ27五、回归系数的区间估计由于给定，查t分布表的自由度为的临界值或:或表示为:*22^ˆ-P[-(-)(-)]1-ˆSE()jjααjββtnkttnkαβ2(-)2(-)ˆˆˆˆ(-,)jjnkjjjnkjjββtσcβtσc22ˆˆˆˆP[-]1-jαjjjjαjjβtσcββtσcα^^22ˆˆˆˆP[-()()]1-jαjjjαjβtSEβββtSEβαˆˆ()ˆˆSE()jjjj*^jjjβ-ββ-βt==~tn-kσcβ2(-)tnk(1,...,)jknk28第三节多元线性回归模型的检验本节基本内容:●多元回归的拟合优度检验●回归方程的显著性检验（F检验）●各回归系数的显著性检验（t检验）29一、多元回归的拟合优度检验多重可决系数：在多元回归模型中，由各个解释变量联合解释了的的变差，在的总变差中占的比重，用表示与简单线性回归中可决系数的区别只是不同，多元回归中多重可决系数也可表示为22313ˆˆˆˆˆiiikikY=β+βX+βX+...+βX22222ˆ(-)ESSTSS-RSS1-TSS(-)TSSiiiiYYeRYYyˆiY2R2RYY302ˆESS-nYβXY特点：多重可决系数是模型中解释变量个数的不减函数，这给对比不同模型的多重可决系数带来缺陷，所以需要修正。2TSSnYYY222ˆESS-TSS-nYRnYβXYYY232322ˆˆˆ...iiiikiikiβxyβxyβxyRy可以证明：多重可决系数的矩阵表示31思想可决系数只涉及变差，没有考虑自由度。如果用自由度去校正所计算的变差，可纠正解释变量个数不同引起的对比困难。自由度统计量的自由度指可自由变化的样本观测值个数，它等于所用样本观测值的个数减去对观测值的约束个数。修正的可决系数32可决系数的修正方法2211TSS()nniiiiYYY总变差自由度为解释了的变差自由度为剩余平方和自由度为修正的可决系数为22222(-)-11-1-(-1)-iiiienkenRynnky22ˆRSS(-)iiiYYe22ˆESS(-)iiYYy＝1n-1k-n-k33特点可决系数必定非负，但修正的可决系数可能为负值，这时规定修正的可决系数与可决系数的关系：22-11-(1-)nRRn-k2R2R2R2R20R34二、回归方程显著性检验（F检验）基本思想在多元回归中有多个解释变量，需要说明所有解释变量联合起来对应变量影响的总显著性,或整个方程总的联合显著性。对方程总显著性检验需要在方差分析的基础上进行F检验。35总变差自由度模型解释了的变差自由度剩余变差自由度变差来源平方和自由度方差归于回归模型归于剩余总变差方差分析表22TSS(-)iiYYy2ˆESS(-)iYY2ˆRSS(-)iiYY2ˆESS(-)iYY1n-1k-n-k2TSS(-)iYY2ˆRSS(-)iiYYTSS/-1nESS/-1kRSS/n-k1n-1k-n-k36原假设备择假设不全为0建立统计量(可以证明):给定显著性水平，查F分布表得临界值并通过样本观测值计算值F检验FESS(-1)~F(-1,)RSS(-)kFkn-knk(-1,-)Fknk1H:(12)jβj=,,...,k023H:0kβ=β=...=β=37▼如果(小概率事件发生了)则拒绝，说明回归模型有显著意义，即所有解释变量联合起来对有显著影响。▼如果(大概率事件发生了)则接受，说明回归模型没有显著意义，即所有解释变量联合起来对没有显著影响。(-1,-)FFknk(-1,-)FFknk023H:0kβ=β=...=β=YY023H:0kβ=β=...=β=38可决系数与F检验由方差分析可以看出，F检验与可决系数有密切联系，二者都建立在对应变量变差分解的基础上。F统计量也可通过可决系数计算：可看出：当时，越大，值也越大当时，结论：对方程联合显著性检验的F检验，实际上也是对的显著性