计量经济学第三章

山东经济学院统计与数学学院计量经济教研室第三章多元线性回归模型多元线性回归模型及其古典假设参数估计最小二乘估计量的统计特性统计显著性检验解释变量的选择中心化和标准化回归方程利用多元线性回归方程进行预测山东经济学院统计与数学学院计量经济教研室第一节多元线性回归模型及其古典假设一、多元线性回归模型的一般形式二、多元线性回归模型的基本假定山东经济学院统计与数学学院计量经济教研室一、多元线性回归模型的一般形式uxxxykk22110如果被解释变量（因变量）y与k个解释变量（自变量）x1,x2,…,xk之间有线性相关关系，那么他们之间的多元线性总体回归模型可以表示为：(3.1)其中，β0,β1,β2,…,βk是k+1个未知参数，即回归系数，u是随机误差项。习惯上：把常数项看成为一虚变量的系数，该虚变量的样本观测值始终取1，这样模型中解释变量的数目也为k+1。山东经济学院统计与数学学院计量经济教研室如:考虑劳动力预期受教育年数问题。edu为劳动力受教育年数，sibs为该劳动力家庭中兄弟姐妹的个数，medu与fedu分别为母亲与父亲受到教育的年数。fedumedusibsedu210.0131.0094.036.10如果将n组实际观测数据（yi,x1i,x2i,…,xki),i=1,2,…,n代入i=1,2,…,nikikiiiuxxxy22110uxxxykk22110可以得到下列形式：(3.1)山东经济学院统计与数学学院计量经济教研室也被称为总体回归模型的随机表达形式。它的非随机表达式为:kikiikiiiixxxxxxyE2211021),,,|(方程表示：各变量x值固定时y的平均响应。j也被称为偏回归系数，表示在其他解释变量保持不变的情况下，xj每变化1个单位时，y的均值E(y)的变化;或者说j给出了xj的单位变化对y均值的“直接”或“净”（不含其他变量）影响。ikikiiiuxxxy22110山东经济学院统计与数学学院计量经济教研室总体回归模型n个随机方程的为：将其写为矩阵形式为：其中：UXYnknknnnkkkkuxxxyuxxxyuxxxy22110222221210211212111011211)1(10)1(211221212111121,,111,nnkkknknnnkknnuuuUxxxxxxxxxXyyyY(3.3)山东经济学院统计与数学学院计量经济教研室二、多元线性回归模型的基本假定假设1，随机误差项ui的条件期望值为零假设2，随机误差项ui的条件方差相等假设3，随机误差项ui之间无序列相关)21()()(22,n,,iuEuVaruii),,2,1(0),,,|(21nixxxuEkiiii0)(),(jijiuuEuuCov(i,j=1,2,…,n;i≠j)山东经济学院统计与数学学院计量经济教研室假设2，假设3，又称Gauss-Markov假设，将起合并记为：Var-Cov(U)=E(UUT)][2121nnuuuuuuE2212221212121nnnnnuuuuuuuuuuuuuuuE)()()()()()()()()(2212221212121nnnnnuEuuEuuEuuEuEuuEuuEuuEuE山东经济学院统计与数学学院计量经济教研室)(),(),(),()(),(),(),()(2122121211nnnnnuVaruuCovuuCovuuCovuVaruuCovuuCovuuCovuVarIuu22100010001山东经济学院统计与数学学院计量经济教研室假设4自变量xl与随机误差项ui独立Cov(ui,xl)=0(i=1,2,…,n;l=1,2,…,k)假设5随机误差项ui服从正态分布假设6解释变量之间不存在显著的线性相关关系，也即自变量之间不存在多重共线性，也就是矩阵X的秩等于参数个数：rank(X)=k+1n),0(~2uiNu山东经济学院统计与数学学院计量经济教研室第二节参数估计一、样本回归模型与样本回归方程二、参数的最小二乘估计（OLS）三、参数的极大似然估计（ML）山东经济学院统计与数学学院计量经济教研室对于若干个观测（样本）点（x1,x2,…,xk;y）自变量x1,x2,…,xk和y之间存在线性相关关系，则：一、样本回归模型与样本回归方程(3.4)ikikiiiexxxyˆˆˆˆ22110(3.4)式称为样本回归模型，它由两部分组成。其中称为系统分量，是可以被自变量解释的部分；kikiixxxˆˆˆˆ22110ei是不能被自变量解释的部分称为残差或剩余项(residuals)，可看成是总体回归模型中随机扰动项ui的近似替代。山东经济学院统计与数学学院计量经济教研室样本回归模型的矩阵表达:其中：1211)1(10)1(211221212111121,ˆˆˆˆ,111,nnkkknknnnkknneeexxxxxxxxxXyyyYeβeβˆXY对样本回归模型的系统分量的系数进行估计可得样本回归方程：βˆˆXYTnyyyY]ˆˆˆ[ˆ21其中：kikiiixxxyˆˆˆˆˆ22110其中，是y的系统分量，即由自变量决定的理论值，分别是0,1,…,k的无偏估计量。kˆ,,ˆ,ˆ,ˆ210iyˆ样本回归方程的矩阵形式为：(3.5)山东经济学院统计与数学学院计量经济教研室二、参数的最小二乘估计01ˆ011221ˆ0112211ˆ011221ˆˆˆˆ2()0ˆˆˆˆ2()0ˆˆˆˆ2()0knQiiikkiinQiiikkiiinQiiikkikiiyxxxyxxxxyxxxx根据最小二乘原理：参数估计值应该是下列方程组的解MinyyeQiii22)ˆ(山东经济学院统计与数学学院计量经济教研室整理得到关于待估参数估计值的正规方程组：利用克莱姆法则，解该k+1个方程组成的线性方程组，即可解得。0112211112101112121111112011221111ˆˆˆˆˆˆˆˆˆˆˆˆnnnniiikkiiiiinnnnniiiiiikikiiiiiinnnnkiikiikiikikkiiiiiiynxxxxyxxxxxxxyxxxxxx1n(3.6)kˆ,,ˆ,ˆ,ˆ210山东经济学院统计与数学学院计量经济教研室正规方程组(3.6)的矩阵形式即:由于Rank(X)=k+1,故XTX满秩，故有：1112112111nkkknxxxxxx12nyyy11111121122121111111knkkkknnknxxxxxxxxxxxx01ˆˆˆkˆTTXYXXβ=βˆ=(XTX)-1XTY(3.8)山东经济学院统计与数学学院计量经济教研室上述问题也可以用以下矩阵方法来推导：)ˆ()ˆ(ββXYXYMinQTββββˆˆˆˆXXXYYXYYTTTTTTβββˆˆˆ2XXYXYYMinQTTTTT因为都是标量，所以二者相等，故：ββˆ,ˆXYYXTTT(3.7)0ˆ22ˆβXXYXQTT化简得：βˆXXYXTT由于Rank(X)=k+1,故XTX满秩，故有：βˆ=(XTX)-1XTY(3.8)山东经济学院统计与数学学院计量经济教研室例3-1搜集某地区有关数据如下，建立消费关于收入和人口的二元回归方程。转数据。山东经济学院统计与数学学院计量经济教研室一、线性由(3.3),(3.8)式知：=(XTX)-1XTY=(XTX)-1XTX+(XTX)-1XTU=+(XTX)-1XTU(3.9)这说明，最小二乘估计量不仅是Ｙ的线性组合，也是Ｕ的线性组合。=(XTX)-1XTYUXY第三节最小二乘估计量的统计特性在满足基本假设的情况下，其结构参数仍具有BLUE特性(Gauss-Markov定理)：线性、无偏性、最优性等统计特性。βˆβˆβˆ山东经济学院统计与数学学院计量经济教研室二、无偏性对(3.8)两边期望得：E()=E[(XTX)-1XTY]=(XTX)-1XTE(Y)=(XTX)-1XTE(Xβ+U)=(XTX)-1(XTX)E(β)+(XTX)-1XTE(U)=β类似的：E()=E[β+(XTX)-1XTU]=β(这里利用了假设:E(XTU)=0)βˆβˆ山东经济学院统计与数学学院计量经济教研室三、最优性])ˆ)(ˆ[(]))ˆ(ˆ))(ˆ(ˆ[()ˆ(TTEEEECovβββββββ考察一下参数估计量的协方差矩阵：βˆ1111)()()(])()[(XXXUUEXXXXXXUUXXXETTTTTTTT1212121)()()()(XXXXIXXIXXXXTTTTTuuu山东经济学院统计与数学学院计量经济教研室)ˆ()ˆ,ˆ()ˆ,ˆ()ˆ,ˆ()ˆ()ˆ,ˆ()ˆ,ˆ()ˆ,ˆ()ˆ()ˆ(1011010100kkkkkVarCovCovCovVarCovCovCovVarCovVarβ又：jjujjTujCXXVar212)()ˆ(j=0,1,2,…,k(3.12)其中，Cjj是(XTX)-1主对角线上的元素。所以，矩阵主对角线上的元素是的方差，其他元素为和的协方差。于是的方差记作：jβˆjβˆiβˆjβˆ山东经济学院统计与数学学院计量经济教研室设β*=AY也是β的一个线性无偏估计量，则：)]([)()(*uXAEAYEE)(uAAXEAX由于β*是无偏估计量，则E(β*)=β，所以:AX=I.TuTTTAAAAEAXAAXAXAAXEVar2*)(]))([()(uuuu因为任意矩阵与其自身的转置矩阵的乘积一定是半正定矩阵，所以有：山东经济学院统计与数学学院计量经济教研室])(][)([])(][)([1111XXXAXXXAXXXAXXXATTTTTTTTT1111)()()()(XXXXXXXXAXAXXXAATTTTTTTT0)(1XXAATTAX=I而：)ˆ()(*VarVar122)(XXAATuTu0])([12XXAATTu)ˆ()(*jjVarVar所以：山东经济学院统计与数学学院计量经济教研室四、随机误差项u的方差的无偏估计可以证明，随机误差项u的方差的无偏估计量为：2211ˆ()ˆ1nniiiiiueeyySnmnk其中，m=k+1,m为变量个数或参数个数，k为自变量个数。它的