第二章-多元线性回归模型

第二章多元线性回归模型第一节多元线性回归模型及假定第二节多元线性回归模型的参数估计第三节多元线性回归模型的检验第四节多元线性回归模型的置信区间第五节可线性化的非线性回归模型第六节受约束回归一、多元线性回归模型其一般形式为：由于习惯上把常数项看成为一个虚变量的系数，在参数估计过程中该虚变量的样本观测值始终取1。这样，模型中解释变量的数目为（K+1）。代表众多影响变化的微小因素。第一节多元线性回归模型及假定ikikiiiuXXXY22110ni,,2,1iu经济意义：是的重要解释变量。可以解释为在其他因素（变量）不变的条件下，变量每变动一个单位，因变量变动个单位。iYjiXjjXjikikiiiuXXXY22110当给定一个样本时，上述模型表示为niXXXYkiiii,,2,1),,,,,(21nknknnnkkkkuXXXYuXXXYuXXXY2211022222121021121211101多元线性回归模型表示的n个随机方程的矩阵表达式为：其中，uXY)1(212221212111111knknnnkkXXXXXXXXXX01(1)1kk121nnuuuunknknnnkkkkuXXXYuXXXYuXXXY2211022222121021121211101121nnYYYY多元总体回归函数可用矩阵形式表示为()EYXX多元线性样本回归模型的矩阵表达式为多元线性样本回归函数的矩阵表达式分别为ˆYXeˆˆYX为回归系数估计值向量01(1)1ˆˆˆˆkk为模型的残差向量121nneeee假定1：解释变量是非随机的，即在重复抽样中，解释变量取固定值，且相互之间互不相关。这表明模型中的解释变量和随机干扰项对被解释变量的影响是完全独立的。kiiiXXX,,,21二、多元线性回归模型的若干经典假定假定2：随机干扰项与解释变量之间不相关。0),(CovjiiXunikj,,2,1;,,2,1这个假定说明Xji与随机干扰项ui相互独立，互不相关，它们对被解释变量Yi的影响同样也是独立的。用矩阵表示为1121111222221211()01kknnknnXXXuXXXuEXuEXXXu假定3：随机干扰项服从零均值，同方差，零协方差。()0iEuni,,2,1,)()(Var22iiuEuni,,2,1,0),(),(CovjijiuuEuu,jinji,,2,1,用矩阵形式表示()0iEuni,,2,11122()()()0()nnuEuuEuEuEuEu假定3：随机干扰项服从零均值，同方差，零协方差。()0iEuni,,2,1,)()(Var22iiuEuni,,2,1,0),(),(CovjijiuuEuu,jinji,,2,1,用矩阵形式表示212221220000()00nnnuuEuuEuuuIu随机干扰项的方差—协方差矩阵假定4：随机干扰项服从正态分布。即),0(~2Nuini,,2,1用矩阵形式表示2~(0,)uNI假定5：正确设定回归模型。与一元回归模型一样，多元回归模型的正确设定也有三个方面的要求：1.选择正确的变量进入模型；2.对模型的形式进行正确的设定；3.对模型的解释变量被解释变量及随机干扰项做了正确的假定。上述假定条件称为多元线性回归模型的经典假定。第二节多元线性回归模型的参数估计一、普通最小二乘法(一)普通最小二乘估计对于多元线性回归模型，利用最小二乘法估计模型的参数，同样应该使残差平方和达到最小，即取最小值。根据多元函数的极值原理，分别对求一阶偏导数，并令其为零。22201122ˆˆˆˆˆ:()()iiiiiikkiRSSQeYYYXXXQkˆ,,ˆ,ˆ,ˆ210即：得到下列方程组：0,0,1,2,,ˆjQjk0112201121101122ˆˆˆˆ2()(1)20ˆˆˆˆ2()()20ˆˆˆˆ2()()20iiikkiiiiikkiiiiiiikkikiikiYXXXeYXXXXeXYXXXXeX可写成矩阵形式1121111122222121101ikiikikinnknneXXXeeXXXXeXeeXXXXeˆ()XYXXYXXX1)(ˆ正规方程组ˆYXeˆXYXXXe因而，这就是向量的OLS估计(二)随机干扰项方差估计值的普通最小二乘估计随机干扰项的方差的无偏估计为2ˆ22ˆ11ieeenknk012ˆˆˆˆ,,,,k2ieRSS这是因为在估计时，n-k-1为自由度即消耗了k+1个自由度。必须先求出（一）线性性参数估计量是线性估计量，即是随机变量的线性函数。由于可见，参数估计量是被解释变量的线性组合。CYYXXX1)(ˆY三、参数估计量的性质（二）无偏性将代入，得0)(,uEuXY)ˆ(EYXXXEE1)()ˆ()()(1uXXXXE)()(1uEXXX（三）有效性由于为单位矩阵。uXXXuXXXXYXXX111)()()()(ˆIIuuE,)(2])ˆ)(ˆ[(}])ˆ(ˆ)][ˆ(ˆ{[)ˆ(EEEECov1111)()()(])()[(XXXuuEXXXXXXuuXXXE121)()(XXIXXXX12)(XX（四）随机干扰项方差估计量的性质由于被解释变量的估计值与观察值之间的残差于是随机干扰项方差的估计量为11ˆ()()()eYXXuXXXXuXXXXXu11()(())uXXXXuIXXXXuMu1)(2kneeE1ˆ2knee例2-1线性回归模型设定为0112(2,3,33)iiiiYYXui用矩阵表示为YXu21232333323311868.6111592.2911945.74812150.13411868.612266.219124506.45122854.7531627.44YYXYYXYXYYX，1112.5991342.0921110.9297ˆˆ()0.703011=0.267105350.6327ˆ182.60581XXXYeYXeenk，借助于计量经济软件EViews对例2-1进行回归分析对应的回归方程为122ˆ342.0921+0.7030110.267105(85.35018)(0.078769)(0.056137)(4.008100)(8.924997)(4.758100)0.9992560.999204.182.605819462.761.775590iiiYYXstRRSEFDW一、模型的拟合优度检验二、回归模型的总体显著性检验三、回归系数的显著性检验第三节多元线性回归模型的检验一、模型的拟合优度检验（一）R2检验1.总离差平方和的分解对于有k个解释变量的多元线性回归模型其对应的回归方程为：ikikiiiiuXXXYe22110ni,,2,1kikiiiXXXYˆˆˆˆˆ22110将与其平均值之间的离差分解如下：总离差平方和:回归平方和:残差平方和：iYY)ˆ()ˆ(iiiiYYYYYY2iTSSYY2ˆiESSYY2ˆiiRSSYY总离差平方和分解为回归平方和与残差平方和两部分。22)ˆ()ˆ()(YYYYYYTSSiiii22ˆˆˆ()2()()iiiiiYYeYYYYESSRSS22)ˆ(0)ˆ(YYYYiii2.多元样本可决系数与拟合优度检验多元样本可决系数:可用回归平方和占总离差平方和的比重来衡量样本回归线对样本观测值的拟合同程度。TSSRSSTSSESSR12可用回归平方和占总离差平方和的比重来衡量样本回归线对样本观测值的拟合同程度。的数值越接近1，表明中总离差平方和中可由样本回归线解释的部分越大，残差平方和越小，样本回归线与样本观测值的拟合程度越高；反之则拟合得越差。TSSESS0102R2RY3.修正样本可决系数R2的大小与模型中解释变量的数目有关，解释变量的个数越多，它的值就越大，在实际运用中需要对其进行调整。调整的思想是将残差平方和与总离差平方和之比的分子分母分别用各自的自由度去除，变成均方差之比，以剔除解释变量个数对拟合优度的影响。于是，修正的样本可决系数为)1/()1/(12nTSSknRSSR调整的可决系数与未经调整的可决系数之间存在如下关系：或仅仅说明了在给定的样本条件下，估计的回归方程对于样本观测值的似合优度。11)1(1)1(1122knnRknnTSSRSSR2R2R在实际应用中，或究竟要多大才算模型通过了检验，没有绝对的标准，要视具体情况而定。模型的拟合优度并不是评价模型优劣的唯一标准，有时为了追求模型的经济意义宁可牺牲一点拟合优度。2R2R在例2-1中，借助于计量经济软件EViews对样本回归模型作拟合优度检验：样本决定系数：修正样本决定系数：可见样本可决系数和修正样本可决系数都大于0.9，说明模型对数据拟合程度较好。说明消费惯性与实际可支配收入对实际居民消费的解释能力为99.92%，只有8%的其他因素影响。20.999204R20.999256R（二）赤池信息准则和施瓦茨准则赤池信息准则：施瓦茨准则：这两个准则均要求仅当所增加的解释变量能够减少AIC值或SC值时才在原模型中增加该解释变量。nknLAIC22nnknLSCln2在例2-1中，EViews软件的估计结果显示：二元（消费惯性与实际可支配收入）模型AIC与SC的值分别为13.34和13.48分别小于只包含一个解释变量（实际可支配收入）时的相应值14.65和14.75，从这一点来看，可以说消费惯性可以作为解释变量包括在模型中。二、回归模型的总体显著性检验（F检验）（一）回归方程的显著性检验回归方程的显著性检验是指在一定的显著性水平下，从总体上对模型中被解释变量与解释变量之间的线性关系是否显著成立而进行的一种统计检验。对于多元线性回归模型：为了从总体上检验模型中被解释变量与解释变量之间的线性关系是否显著，必须对其进行显著性检验。ikikiiiuXXXY22110ni,,2,1检验的原假设与备择假设分别为：检验的思想来自于总离差平方和的分解式：ESS是解释变量的联合对被解释变量的线性作用的结果,可通过该比值ESS/RSS的大小对总体线性关系进行推断。0