第二章-经典多元线性回归模型

1第二章经典多元线性回归模型2第一节、多元线性回归模型1、回归的含义“回归”的本意：向“均值”回复的趋势回归的现代意义(RegressionAnalysis)：估计和预测被解释变量的均值，是研究被解释变量对于解释变量依赖关系的计算方法和理论。3uXXXYEYk),...,|(21设uXXYEYk),...,|(1系统因素无信息时对随机变量的预测：均值有信息时对随机变量的预测：条件均值2、多元线性回归模型的统计学解释uXXgYk),...,(1随机因素(随机扰动项)4此即为多元线性总体回归模型。若设：kkkXXXXXXg...),...,,(2211021则得：uXXXYkk...22110称kkkXXXXXXg...),...,,(2211021为多元线性总体回归函数。5计量经济学模型引入随机扰动项的原因：反映影响被解释变量的未知因素；代表数据观测误差；反映影响被解释变量的个体因素；6用上述样本得总体回归函数kkkXXXXXXg...),...,,(2211021得多元线性样本回归函数：ikikiiiieXXXYˆˆˆˆ22110k^0^,...,)...(^1^1^0kikiiiXXYe中的参数的估计：定义残差：kkkXXXXXg^1^1^021^...),...,,(称为多元线性样本回归模型。3、总体与样本（PopulationandSample）niXXXYkiiii,...2,1),,...,,,21（样本7第二节、多元线性回归模型的估计niXXXYkiiii,...,3,2,1),,...,,,(21一、普通最小二乘法（OLS）00ikikiiiuXXXY...2211082112)ˆ(niiiniiYYeQ2^1^11^0)]...([kikiniiXXYMinMinQ若得到样本回归函数,记kikiXXY^1^1^0^...最小二乘原理：92^1^11^0)]...([kikiniiXXYMin0...00^^1^0kQQQ称此方程组为为正规方程组0)...(...0)...(0)...(^1^1^01^1^1^0^1^1^0kikikiiikikiikikiiXXXYXXXYXXYkjj,,2,1,0,ˆ10记：knnkkXXXXXXX...1...............1...11212111k...10121nnYYYYnuuuU...21则多元线性总体回归模型UXYniuXXXYikikiii,...,2,1,...22110可表示为：11kikiiiiXXXYˆˆˆˆˆ22110则多元线性样本回归函数：可表示为：βXYˆˆ1^^2^1^nnYYYYkˆˆˆˆ10β记：12可以表示为kikiiiiiXXYYYe^1^1^0^...neee21e残差：^XYeeβXYˆ此时，多元线性样本回归模型：可以表示为：ikikiiiieXXXYˆˆˆˆ22110记残差向量为13kiikikikiiiiikikiiiiiikikiiikikiiXYXXXXXYXXXXXYXXXXYXXX)ˆˆˆˆ()ˆˆˆˆ()ˆˆˆˆ()ˆˆˆˆ(221102222110112211022110由上述正规方程组0)...(...0)...(0)...(^1^1^01^1^1^0^1^1^0kikikiiikikiikikiiXXXYXXXYXXY变形得：14kiikikikiiiiikikiiiiiikikiiikikiiXYXXXXXYXXXXXYXXXXYXXX)ˆˆˆˆ()ˆˆˆˆ()ˆˆˆˆ()ˆˆˆˆ(221102222110112211022110nknkknkkiikikikiiiikiiYYYXXXXXXXXXXXXXXXXn212111211102112111111ˆˆˆ15•正规方程组的矩阵形式:nknkknkkiikikikiiiikiiYYYXXXXXXXXXXXXXXXXn212111211102112111111ˆˆˆYXβX)X(ˆYXXXβ1)(ˆ利用前述引入的记号X,得16多元线性回归模型参数普通最小二乘估计与参数的关系：YXXX'1'^)(UXXXUXXXX'1''1')()()(残差向量：^XYeUXXXXI]')'([117MUUee''普通最小二乘估计的残差平方和：M为对称幂等矩阵]')'([1XXXXIM记：MUe180...001kiiiiiXeXee由正规方程组得，多元线性回归模型参数普通最小二乘估计残差的性质：0'eX0)...(...0)...(0)...(^1^1^01^1^1^0^1^1^0kikikiiikikiikikiiXXXYXXXYXXY0'^eY19二、经典多元线性回归模型的基本假定•假设1，所有解释变量之间互不相关（无多重共线性）。•假设2，随机扰动项具有零期望、同方差序列不相关。0)iuE（2)iuVar（ijuuCovji,0),（20假设3，解释变量与随机项不相关假设4，随机扰动项满足正态分布),0(~2NikjuXCoviji,...,2,1,0),（假设5，线性模型设定是正确的。21用矩阵表示上述假设假设1相当于矩阵X的秩R=k+1，即X满秩，I22211100)var(),cov(),cov()var(nnn)]'()][(([()(UEUUEUEUCOV假设2：零期望相当于0)...))21nuEuEuEEU（（（U的方差协方差矩阵定义：XX'可逆同方差、不相关相当于U的方差协方差矩阵V-COV（U）22假设4，向量U服从多维联合正态分布，即),0(~2INU假设3相当于，E(X’U)=0231)(2knEee1ˆ2knee若多元线性回归模型经典假定成立，则)]1([]')'([)]')'([()]')'([(])')'([()]'()')'([(]}')')'([({]}')')'([({]})')'(('[{])')'(('[)'()'(E21212122111111knXXXXtrnXXXtrXtrIXXXXItrIXXXXItruuEXXXXItruuXXXXIEtruuXXXXItrEuXXXXIutrEuXXXXIuEMuuEee24若多元线性回归模型经典假定成立，普通最小二乘估计的分布（1）参数普通最小二乘估计的方差与分布YXXXβ1)(ˆμXXXβμXβXXX11)()()(Iμμ2)(E251'2^)()cov(XX此时，),(~1,12^jjjjcN))'(,0(~12^XXN1,1jjc为矩阵1')(XX第j+1列第j+1行元素。26（2）随机扰动项方差估计的分布)1(~2)1(2^2knknikikiiiXXXY221102~(0,)iN三、多元线性回归模型的极大似然估计。若前述经典假设成立，则),...,,1(1kiiiXXX可得：),(~2iiXNY其中：似然函数为222i11022122)]...([)2(1212),...,,(),(kikiinXXXYneYYYPL2110212)]...([)2ln(),(ln2kikiiXXYnL),(lnmax2LYXXXβ1)(ˆ极大似然估计的结果与OLS估计相同。29•在满足基本假设的情况下，多元线性模型参数的普通最小二乘估计具有线性性、无偏性、有效性。•同时，随着样本容量增加，参数估计量具有一致性。四、参数估计量的性质301、线性性CYYXXXβ1)(ˆ其中,C=(X’X)-1X’为一仅与X有关的矩阵。2、无偏性βμXXXβμXβXXXYXXXβ11)()())()(())(()ˆ(1EEEE313、证明有效性，设是的任一线性无偏估计，则存在某矩阵C*,使Yd**^)X]*')'[(1UCXXX（UCUXXXXC*')'(*1*^YCXXX*]')'[(1*^32)(*^E可得：0*XCUCXXXUCUXXX*]')'[(*')'(11*^33*^的方差协方差矩阵为：}]*')'(['*]')'([{])')([(11*^*^CXXXUUCXXXEE}]*')'()['(*]')'([{11CXXXUUECXXX}]*')'([*]')'{[(121CXXXICXXX]*'*)'[(12CCXX证毕34同时，当线性回归模型经典假定成立时，参数的普通最小二乘估计量是一致估计。351、最小样本容量•所谓“最小样本容量”，即从最小二乘原理和最大似然原理出发，欲得到参数估计量，不管其质量如何，所要求的样本容量的下限。•样本最小容量必须不少于模型中解释变量的数目（包括截距项）,即nk+1五、样本容量问题362、满足基本要求的样本容量•从统计检验的角度：n30时，Z检验才能应用；n-k8时,t分布较为稳定•一般经验认为:当n30或者至少n3(k+1)时，才能说满足模型估计的基本要求。•当样本容量较大时，模型普通最小二乘估计的性质才比较好。37第三节、多元线性回归模型的统计检验StatisticalTestofMultipleLinearRegressionModel38一、拟合优度1、可决系数与调整的可决系数记22)(YYyTSSii总离差平方和（TotalSumofSquares）2^2)ˆ(ˆYYyESSii回归平方和（ExplainedSumofSquares）22)ˆ(iiiYYeRSS残差平方和（ResidualSumofSquares）总离差平方和的分解39TSS=ESS+RSS可证明：40可决系数（CoefficientofDetermination）：复相关系数。TSSRSSTSSE