多元线性回归模型

第三章多元线性回归模型基本要求：1、理解多元线性回归模型的定义2、理解多元线性回归模型的假定3、掌握参数估计的计算4、理解参数统计性质第一节多元线性回归模型及假定一、多元线性回归模型许多经济现象往往要受多个因素的影响，研究被解释变量受多个解释变量的影响，就要利用多元回归模型。多元线性回归模型与一元线性回归模型基本类似，只不过解释变量由一个增加到两个以上，被解释变量Y与多个解释变量kXXX,,,21之间存在线性关系。假定被解释变量Y与多个解释变量kXXX,,,21之间具有线性关系，是解释变量的多元线性函数，称为多元线性回归模型。即kkXXXY22110(3-1)其中Y为被解释变量，(1,2,,)jXjk为k个解释变量，(0,1,2,,)jjk为1k个未知参数，为随机误差项。被解释变量Y的期望值与解释变量kXXX,,,21的线性方程为：01122()kkEYXXX(3-2)称为多元总体线性回归方程，简称总体回归方程。对于n组观测值),,2,1(,,,,21niXXXYkiiii，其方程组形式为：01122,(1,2,,)iiikkiiYXXXin(3-3)即nknknnnkkkkXXXYXXXYXXXY2211022222121021121211101其矩阵形式为nYYY21=knnnkkXXXXXXXXX212221212111111k210+n21即YXβμ(3-4)其中1nYnYYY21为被解释变量的观测值向量；)1(knXknnnkkXXXXXXXXX212221212111111为解释变量的观测值矩阵；(1)1kβk210为总体回归参数向量；1nμn21为随机误差项向量。总体回归方程表示为：()EYXβ(3-5)与一元线性回归分析一样，多元线性回归分析仍是根据观测样本估计模型中的各个参数，对估计参数及回归方程进行统计检验，从而利用回归模型进行经济预测和分析。多元线性回归模型包含多个解释变量，多个解释变量同时对被解释变量Y发生作用，若要考察其中一个解释变量对Y的影响就必须假设其它解释变量保持不变来进行分析。因此多元线性回归模型中的回归系数为偏回归系数，即反映了当模型中的其它变量不变时，其中一个解释变量对因变量Y的均值的影响。由于参数012,,,,k都是未知的,可以利用样本观测值12(,,,;)iikiiXXXY对它们进行估计。若计算得到的参数估计值为012ˆˆˆˆ,,,,k，用参数估计值替代总体回归函数的未知参数012,,,,k，则得多元线性样本回归方程：01122ˆˆˆˆˆiiikknYXXX(3-6)其中ˆ(0,1,2,,)jjk为参数估计值，ˆ(1,2,,)iYin为iY的样本回归值或样本拟合值、样本估计值。其矩阵表达形式为:ˆˆYXβ(3-7)其中1ˆnY12ˆˆˆnYYY为被解释变量样本观测值向量Y的1n阶拟合值列向量；)1(knXknnnkkXXXXXXXXX212221212111111为解释变量X的(1)nk阶样本观测矩阵；11kβˆ012ˆˆˆˆk为未知参数向量的(1)1k阶估计值列向量。样本回归方程得到的被解释变量估计值ˆiY与实际观测值iY之间的偏差称为残差ie。0112ˆˆˆˆˆ()iiiiiikikieYYYXX(3-8)二、多元线性回归模型的假定与一元线性回归模型相同，多元线性回归模型利用普通最小二乘法(OLS)对参数进行估计时，有如下假定：假定1零均值假定：()0,1,2,,iEin，即1122()()()0()nnEEEEEμ(3-9)假定2同方差假定(的方差为同一常数)：22()(),(1,2,,)iiVarEin假定3无自相关性：(,)()0,(,,1,2,,)ijijCovEijijn21112122212212212()(,,,)nnnnnnnEEEμμ)()()()()()()()()(2212221212121nnnnnEEEEEEEEEnuI2222000000(3-10)假定4随机误差项与解释变量X不相关(这个假定自动成立)：),,2,1,,,2,1(,0),(nikjXCoviji假定5随机误差项服从均值为零，方差为2的正态分布：2~(0,)inNI假定6解释变量之间不存在多重共线性：()1rankknX即各解释变量的样本观测值之间线性无关，解释变量的样本观测值矩阵X的秩为参数个数k+1，从而保证参数012,,,,k的估计值唯一。第二节多元线性回归模型的参数估计及统计性质一、多元线性回归模型的参数估计(一)回归参数的最小二乘估计对于含有k个解释变量的多元线性回归模型0112212niiikkiiYXXXi（，，，)设kˆ,,ˆ,ˆ10分别作为参数k,,,10的估计量，得样本回归方程为：01122ˆˆˆˆˆiiikkiYXXX观测值Yi与回归值ˆYi的残差ie为：0112ˆˆˆˆˆ()iiiiiikikieYYYXX由最小二乘法可知kˆ,,ˆ,ˆ10应使全部观测值Yi与回归值ˆYi的残差ie的平方和最小，即使22210)ˆ()ˆ,,ˆ,ˆ,ˆ(iiikYYeQ222110)ˆˆˆˆ(kikiiiXXXY(3-11)取得最小值。根据多元函数的极值原理，Q分别对kˆ,,ˆ,ˆ10求一阶偏导，并令其等于零，即0,(1,2,,)ˆjQjk(3-12)即011220011221101122ˆˆˆˆ2()(1)0ˆˆˆˆˆ2()()0ˆˆˆˆˆ()()0ˆiiikkiiiikkiiiiikkikikQYXXXQYXXXXQYXXXX化简得下列方程组011222011122111201122ˆˆˆˆˆˆˆˆˆˆˆˆiikkiiiiiikkiiiikiikiikikkikiinXXXYXXXXXXXYXXXXXXXY(3-13)上述(1)k个方程称为正规方程，其矩阵形式为ikiiiikkikiikiikiikiiiiikiiiYXYXYXXXXXXXXXXXXXXXn121022111221121ˆˆˆˆ(3-14)因为22111221121kikiikiikiikiiiiikiiiXXXXXXXXXXXXXXXnknkknnXXXXXXXXX212222111211111knnnkkXXXXXXXXX212221212111111XXikiiiiYXYXY1knkknnXXXXXXXXX212222111211111YXnYYY21设012ˆˆˆˆˆkβ为估计值向量样本回归模型ˆYXβe两边同乘样本观测值矩阵X的转置矩阵X，则有ˆXYXXβXe得正规方程组：ˆXYXXβ(3-15)由假定(6)，1)(kRX，XX为)1(k阶方阵，所以XX满秩，XX的逆矩阵1)(XX存在。因而1ˆ()βXXXY(3-16)则为向量β的OLS估计量。以二元线性回归模型为例，导出二元线性回归模型的OLS估计量的表达式。由(3-3)式得二元线性回归模型为iiiiXXY22110为了计算的方便，先将模型中心化。11,(1,2)njjijijijiXXxXXjn，YYyYnYiinii,11)2,1,(,qpxxLqipipq)2,1(,jyxLijijY2iYYyL设001122XX，则二元回归模型改写为中心化模型。iiiixxY22110(3-17)记011211122221,1xxxxXβ2112122122000,0iiiiiiiiiiinYxxxxYxxxxYXXXY(3-18)将)2,1,(,qpxxLqipipq代入得222112110000LLLLnXX(3-19)因为nininijiijiijiniijixYyxYyxYx1111)()2,1(,1jLyxjYniiji(3-20)则YYiLLY21YX由(3-16)式得111210ˆ()0iYYYLnLβXXXYL(3-21)其中111212222112221112212121111LLLLLLLLLLLLL由(3-21)式可知Y0ˆYYYYLLLLLLLLLLL21111212222122211211211ˆˆL得21222111222211ˆLLLLLLLYY(3-22)21222111211122ˆLLLLLLLYY(3-23)22110ˆˆˆXXY(3-24)(二)随机误差项的方差2的估计量样本回归方程得到的被解释变量估计值ˆiY与实际观测值iY之间的偏差称为残差ie01122ˆˆˆˆˆ()iiiiiiikikieYYYXXX则1ˆˆ()[()]eYYYXβXβμXXXXY1()[()()]XβμXXXXXβμ1[()]XβμXβXXXμ1()μXXXXμ1[()]nIXXXXμ设1()nPIXXXX，可以得出P是n阶对称幂等矩阵，PP，2PP。于是ePμ而残差的平方和为2()()ieeePμPμμPPμμPμ1[()]nμIXXXXμ1(){[()]}nEEeeμIXXXXμ21[()]ntrIXXXX21[()]ntrtrIXXXX