3多元回归模型.

第三章经典单方程计量经济学模型：多元线性回归模型MultipleLinearRegressionModel1本章内容•多元线性回归模型概述•多元线性回归模型的参数估计•多元线性回归模型的统计检验•多元线性回归模型的预测•可化为线性的非线性模型•受约束回归2§3.1多元线性回归模型概述(RegressionAnalysis)一、多元线性回归模型二、多元线性回归模型的基本假设3一、多元线性回归模型4总体回归模型ikikiiiXXXY22110i=1,2…,n•总体回归模型：总体回归函数的随机表达形式k为解释变量的数目。习惯上，把常数项看成为虚变量的系数，该虚变量的样本观测值始终取1。于是，模型中解释变量的数目为（k+1）。j称为回归参数（regressioncoefficient）。5•总体回归函数：描述在给定解释变量Xi条件下被解释变量Yi的条件均值。kikiikiiiiXXXXXXYE2211021),,|(j也被称为偏回归系数(partialregressioncoefficients)，表示在其他解释变量保持不变的情况下，Xj每变化1个单位时，Y的均值E(Y)的变化。或者说j给出了Xj的单位变化对Y均值的“直接”或“净”（不含其他变量）影响。总体回归函数6总体回归模型的矩阵表示μXβY)1(212221212111111knknnnkkXXXXXXXXXX121nnYYYY1)1(210kkβ121nnμ7样本回归函数与样本回归模型•从一次抽样中获得的总体回归函数的近似，称为样本回归函数（sampleregressionfunction）。•样本回归函数的随机形式，称为样本回归模型（sampleregressionmodel）。kikiiiiXXXYˆˆˆˆˆ22110ikikiiiieXXXYˆˆˆˆ221108样本回归函数的矩阵表示βXYˆˆeβXYˆkˆˆˆˆ10βneee21e9二、多元线性回归模型的基本假设101、关于模型关系的假设•模型设定正确假设。Theregressionmodeliscorrectlyspecified.•线性回归假设。Theregressionmodelislinearintheparameters。ikikiiiXXXY22110112、关于解释变量的假设•确定性假设。Xvaluesarefixedinrepeatedsampling.Moretechnically,Xisassumedtobenonstochastic.与随机项不相关假设。ThecovariancesbetweenXiandμiarezero，j=0,1,…,k.由确定性假设可以推断。cov(,)0,1,2,,()0,1,2,,iiiiXinEXin12j•观测值变化假设。Xvaluesinagivensamplemustnotallbethesame.•无完全共线性假设。Thereisnoperfectmulticollinearityamongtheexplanatoryvariables.适用于多元线性回归模型。•样本方差假设。随着样本容量的无限增加，解释变量X的样本方差趋于一有限常数。时间序列数据作样本时间适用13)(112112有限常数jninijijijQXXnxn3、关于随机项的假设•0均值假设。Theconditionalmeanvalueofμiiszero.•同方差假设。Theconditionalvariancesofμiareidentical.(Homoscedasticity)由模型设定正确假设推断。()0,1,2,,iiEXin2(),1,2,,iiVarXin是否满足需要检验。14•序列不相关假设。Thecorrelationbetweenanytwoμiandμjiszero.是否满足需要检验。(,,)0,,1,2,,,ijijCovXXijnij154、随机项的正态性假设•在采用OLS进行参数估计时，不需要正态性假设。在利用参数估计量进行统计推断时，需要假设随机项的概率分布。•一般假设随机项服从正态分布。可以利用中心极限定理（centrallimittheorem,CLT）进行证明。•正态性假设。Theμ’sfollowthenormaldistribution.22~(0,)~(0,)iiNNID165、CLRM和CNLRM•以上假设（正态性假设除外）也称为线性回归模型的经典假设或高斯（Gauss）假设，满足该假设的线性回归模型，也称为经典线性回归模型（ClassicalLinearRegressionModel,CLRM）。•同时满足正态性假设的线性回归模型，称为经典正态线性回归模型（ClassicalNormalLinearRegressionModel,CNLRM）。17§3.2多元线性回归模型的估计一、普通最小二乘估计二、最大或然估计三、矩估计四、参数估计量的性质五、样本容量问题六、估计实例18说明估计方法：–3大类方法：OLS、ML或者MM–在经典模型中多应用OLS–在非经典模型中多应用ML或者MM19一、普通最小二乘估计(OLS)201、普通最小二乘估计•最小二乘原理：根据被解释变量的所有观测值与估计值之差的平方和最小的原则求得参数估计量。21kjniXYjii,2,1,0,,,2,1),,(KikiiiiXXXYˆˆˆˆˆ221100ˆ0ˆ0ˆ0ˆ210QQQQk2112)ˆ(niiiniiYYeQ2122110))ˆˆˆˆ((nikikiiiXXXY已知假定•步骤：QMin22kiikikikiiiiikikiiiiiikikiiikikiiXYXXXXXYXXXXXYXXXXYXXX)ˆˆˆˆ()ˆˆˆˆ()ˆˆˆˆ()ˆˆˆˆ(221102222110112211022110kjj,,2,1,0,ˆ23•正规方程组的矩阵形式nknkknkkiikikikiiiikiiYYYXXXXXXXXXXXXXXXXn212111211102112111111ˆˆˆYXβX)X(ˆYXXXβ1)(ˆ条件？24•OLS估计的矩阵表示0)ˆ()ˆ(ˆβXYβXYβ0)ˆˆˆˆ(ˆβXXββXYYXβYYβ0ˆβXXYXYXXXβ1)(ˆβXXYXˆ)ˆ()ˆ(12βXYβXYeeniieQ252、正规方程组的另一种表达βXXYXˆβXXeXβXXˆˆ0eX26iijiiikjeXe,...,2,10027⃟样本回归函数的离差形式ikikiiiexxxyˆˆˆ2211i=1,2…n其矩阵形式为eβxyˆ其中：nyyy21yknnnkkxxxxxxxxx212221212111xkˆˆˆˆ21β在离差形式下，参数的最小二乘估计结果为kkXXYˆˆˆ110yxxxβ1)(ˆ3、随机误差项的方差的无偏估计βXYeˆMμμXXXXIμXXXXμμXβXXXXμXβ))(()()()(111eeμMMμμMμM为等幂矩阵28))1(()))((())(()))((()(212121kntrtrtrEEXXXXIXXXXIμXXXXIμee1)(2knEee1ˆ2knee29BAtrABtrnnknknkkknkkkknnnnnnnnuuuumumumuuummmmmmmmmuuu21111212121222211121121,,,,,,nknknknkknkkkkuumuumuum1112211二、最大似然估计301、最大似然法•最大似然法(MaximumLikelihood,ML)，也称最大或然法，是不同于最小二乘法的另一种参数估计方法，是从最大或然原理出发发展起来的其它估计方法的基础。•基本原理：当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大。•ML必须已知随机项的分布。312、估计步骤:以一元模型为例),ˆˆ(~210iiXNY2102)ˆˆ(2121)(iiXYieYP),,,(),ˆ,ˆ(21210nYYYPL21022)ˆˆ(21)2(1iinXYneYi的分布Yi的概率函数Y的所有样本观测值的联合概率—似然函数322102*)ˆˆ(21)2ln()ln(iiXYnLL0)ˆˆ(ˆ0)ˆˆ(ˆ21012100iiiiXYXY2212220)(ˆ)(ˆiiiiiiiiiiiiiXXnXYXYnXXnXYXYX对数似然函数对数似然函数极大化的一阶条件结构参数的ML估计量330)ˆˆ(210)(212*2222iinXYLneXYniii22102)ˆˆ(1ˆ分布参数的ML估计量343、似然函数ikikiiiXXXY22110)ˆ()ˆ(21))ˆˆˆˆ((212122222211022)2(1)2(1),,,(),ˆ(βXYβXYβeeYYYPLnXXXYnnnkikiiin2~(,)iYNiXβ2~(0,)iN354、ML估计量•由对数似然函数求极大，得到参数估计量*2()1ˆˆ(2)()()2MaxLLnLnLnYXβYXβˆˆ()()MinYXβYXβYXXXβ1)(ˆ结果与参数的OLS估计相同36•分布参数估计结果与OLS不同22ˆˆ()()ˆiMLennYXβYXβ22ˆ11iOLSenknkee37三、矩估计MomentMethod,MM381、参数的矩估计•参数的矩估计就是用样本矩去估计总体矩。•用样本的一阶原点矩作为期望的估计量。•用样本的二阶中心矩作为方差的估计量。•从样本观测值计算样本一阶（原点）矩和二阶（原点）矩，然后去估计总体一阶矩和总体二阶矩，再进一步计算总体参数（期望和方差）的估计量。392、多元线性计量经济学模型的矩估计（略）•如果模型的设定是正确，则存在一些为0的条件矩。矩估计的基本思想是利用矩条件估计模型参数。ikikiiiXXXY22110ni,1100,1,