复旦计量经济学课件04多元线性回归分析

1第四章多元线性回归分析2本章主要内容第一节多元线性回归模型第二节参数估计第三节回归拟合度评价和决定系数第四节统计推断和预测3第一节多元线性回归模型一、模型的建立二、模型的假设4一、模型的建立多元线性回归模型就是研究多因素关系，有多个解释变量的线性回归模型。一般形式是：其中Y是被解释变量，是K个认为对Y有显著影响的解释变量（K2），是K+1个待定参数，是计量经济分析首先要估计的对象，是随机误差项。011KKYXX2KKXX,,1K,,05多元线性回归模型的建立也需要有理论和现实的根据。多元线性回归模型中包括哪些变量、因素，哪个指标是被解释变量，有几个解释变量或哪几个指标作为解释变量，既要考虑理论分析和研究目的的需要，也应该根据所研究问题的具体情况、相关经济理论，以及以往研究经验等确定。6虽然一个经济指标受到其他几个经济指标线性影响在现实经济中是存在的，但更多的情况下多变量关系往往是非线性的，需要经过数学变换才能转化为多元线性回归模型的标准形式。例：pppiiipiiSSZXAYeXAY11011lnlnln7二、模型的假设(1)、变量和之间存在多元线性随机函数关系；(2)、对任意都成立；(3)、,与无关；(4)、误差项不相关，当时，(5)、解释变量都是确定性的而非随机变量，且解释变量之间不存在线性关系；(6)、误差项服从正态分布。YKXX,1KKXXY1100iEii2iVarji0jiEi8对假设的进一步分析上述六条假设中（2）、（3）、（4）和（6）与两变量模型相同。第（1）条是关于模型基本变量关系的。第（5）条不仅针对的解释变量数目增加了，而且多了一个要求解释变量之间没有线性关系的假设，这是多元线性回归模型的重要特点。9多元线性回归模型的矩阵表示nKKnnKKXXYXXY1101111101nYYY1niiiXXX111lK0n1KnnKKXXXXXXlX1111111,,,XXXXYKK2211010第二节参数估计一、最小二乘估计二、投资函数模型参数估计三、参数估计的性质和方差估计11一、最小二乘估计参数估计也是多元线性回归模型的基本步骤。最小二乘法也是多元线性回归的基本方法。对于多元线性回归模型KKXXY11012得到样本回归方程：回归残差平方和当对的一阶偏导数都等于0，得到正规方程组：其中KKXbXbbY110ˆiiKiKiiiXbXbbYeV21102Kbbb,,10V102211101212111110KKKKKKKKKKSbSbSbSSbSbSbSXbXbYbKjkXXXXSYYXXSjjiikkjkjiikkik,1,,,013该正规方程组有K+1个方程，未知数也是K+1个。只要满足模型假设（5），解释变量之间不存在严格线性关系，就可以解出的唯一一组解。该解就是的最小二乘估计。Kbb,,0K,,014特别地，对于两个解释变量的线性回归模型：样本回归方程是：可推导出参数最小二乘估计的公式如下：22110XXY22110ˆXbXbbY221222121121222212221212221122110)())(())(())(()())(())(())((iiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiixxxxxxxyxxybxxxxxxxyxxybXbXbYb15最小二乘估计的向量、矩阵形式向量表示回归方程的向量表示回归残差向量残差平方和Kbbb10BnYYˆˆˆ1Ynee1eXBYˆXBYYYeˆXBXBXBYYXBYYXBYXBYeeiieV216当对的一阶偏导数都等于0VKbbb,,100220XBXYXBKbVbVVYXXBXYXXXB117二、投资函数模型参数估计作为例子，我们估计[例4-1]的投资函数多元线性回归模型的参数。假设已获得该地区1968-1983年期间实际投资和实际GNP数据。18表4.1某地区投资和GNP数据年份实际投资实际GNP年份实际投资实际GNP19680.1611.05819760.1951.29819690.1721.08819770.2311.37019700.1581.08619780.2571.43919710.1731.12219790.2591.47919720.1951.18619800.2251.47419730.2171.25419810.2411.50319740.1991.24619820.2041.47519750.1631.23219830.2101.50019投资函数EViews回归输出结果DependentVariable:YMethod:LeastSquaresDate:07/13/04Time:19:44Sample:19681983Includedobservations:16VariableCoefficientStd.Errort-StatisticProb.C-0.4864630.053836-9.0359360.0000X1-0.0165930.001819-9.1226060.0000X20.6391170.05289612.082620.0000R-squared0.958362Meandependentvar0.203750AdjustedR-squared0.951957S.D.dependentvar0.033061S.E.ofregression0.007246Akaikeinfocriterion-6.849241Sumsquaredresid0.000683Schwarzcriterion-6.704381Loglikelihood57.79393F-statistic149.6088Durbin-Watsonstat1.313453Prob(F-statistic)0.00000020三、参数估计的性质和方差估计只要变量关系符合多元回归模型的假设，多元回归分析参数的最小二乘估计量也有优良的性质，也是BLUE估计和一致估计。因此在模型假设成立的前提下，最小二乘估计也是多元线性回归分析基本的参数估计方法，并能为相关统计推断和预测分析提供基础。21要进一步对多元线性回归模型进行统计推断和检验，同样需要先估计参数估计量的方差。据最小二乘估计公式和模型假设，可以导出两个解释变量的多元回归模型各个参数的最小二乘估计量的方差。22222122212121212222210)(21)(iiiiiiiiiiiiiixxxxxxXXxXxXnbVar22212221221)()(iiiiiiiiixxxxxbVar22212221212)()(iiiiiiiiixxxxxbVar23上述参数估计量方差中的是模型误差项的方差，一般可以用多元线性回归最小二乘估计的残差序列：加以估计，公式是：＝2iKiKiiiiiXbXbbYYYe110ˆ2S32neii24第三节回归拟合度评价和决定系数分析两变量线性回归决定系数公式可以发现，该决定系数只与被解释变量的观测值以及回归残差有关，而与解释变量无直接关系。多元模型解释变量的数目有多有少，该决定系数是解释变量数目的增函数，意味着不管增加的解释变量是否真是影响被解释变量的重要因素，都会提高决定系数的数值，解释变量个数越多，决定系数一定会越大。iiiiYYeR222125克服决定系数上述缺陷的方法，是对决定系数进行适当的调整，采用如下“调整的决定系数”：＝)1(11122RKnnR111KnneYYiiii22()26根据上述公式可以看出，当n较大和K较小时，和R差别不大，但当n并不是很大而K又较大时，两者的差别是比较明显的。用这个调整的决定系数作为评价多元线性回归拟合度的评价标准，可以基本消除由于解释变量数目差异造成的影响。根据上述公式计算决定系数，需要先根据回归直线计算的理论值，然后计算回归残差序列，再结合样本数据进行计算。2R2iY27第四节统计推断和预测一、参数估计量的标准化二、统计推断和检验三、预测28一、参数估计量的标准化在满足模型假设的情况下，多元线性回归模型参数的最小二乘估计量是线性无偏估计。参数估计量服从以参数真实值为中心的正态分布：可以通过下列变换转化为标准正态分布的统计量：=N[0，1])]var(,[~kkkbNbkbkZ)(kkkbseb29用无偏估计代替误差项方差，代入得到的统计量服从自由度为n-K-1的t分布，记为=t(n-K-1)这个t分布统计量是对多元线性回归参数估计量进行统计推断和检验的基础。2S2)(ˆkbeskZkt)(ˆkkkbesb30二、统计推断和检验（一）单个参数的置信区间（二）参数显著性检验（三）模型总体显著性检验31（一）单个参数的置信区间对给定的或要求的置信度，下式应该成立：||=因此参数置信度为的置信区间（或称区间估计）为：[-,+]k1kt)(ˆkkkbesb2/tkbkb2/t2/t)(ˆkbes)(ˆkbes32投资函数模型参数的区间估计首先根据EViews给出的回归分析结果，知道的点估计=0.639117，的方差即=0.052896。再通过查表得到自由度为，显著性水平=0.05的双侧t分布临界值把这些数值及代入区间估计公式，可得：222b2b)(ˆ2bes131Kn160.2)13(025.0t7533671.05117581.0233（二）参数的显著性检验可以对多元线性回归模型的各个参数进行显著性检验，或取特定值的假设检验。模型参数显著性检验就是对相应参数检验原假设：＝0。如果=0成立，那么意味着不能排除模型中第k个假设变量是不重要的。根据要求的置信度（95%或99%），查t分布表得到自由度为n-K-1的t分布统计量的双侧分布临界值。0Hkk34如果假设是真实的，那么95%或99%应该成立：==(n-K-1)如果t统计量数值不满足上述不等式，意味着可以拒绝原假设，不能认为第k个解释变量是不重要的，称模型的第k个解释变量通过了显著性检验。0Hkt)(ˆkkkbesb)(ˆkkbesb2/t35除了上述参数非0的显著性检验以外，也可以检验多元回归模型各个参数取非0的其他特定值的可能性。检验的原理与显著性检验基本相同，只要把参数的真实值换成要检验是否成立的数值即可。k36（三）模型总体显著性检验多元线性回归模型每个参数的显著性与模型总体的显著性并不一定一致。因此还可以进行模型总体显著性，也就是全体解释变量总体对被解释变量是否存在明显影响的检验，称为“回归显著性检验”。回归显著性检验的基本方法，是检验模型常数项以外所有参数同时为0的假设，即检验原假设为：＝0。0HK137为了方便起见，实践中一般都利用成立时模型的决定系数应为0的事实，通过检验决定系数