第三章多元线性回归模型(研究生)

11第三章经典单方程计量经济学模型：多元线性回归模型§3.1多元线性回归模型§3.2多元线性回归模型的参数估计§3.3多元线性回归模型的统计检验§3.4多元线性回归模型的预测§3.5可化为线性的多元非线性回归模型§3.6受约束回归22§3.1多元线性回归模型一、多元线性回归模型二、多元线性回归模型的基本假定33一、多元线性回归模型多元线性回归模型:表现在线性回归模型中的解释变量有多个。一般表现形式：其中:k为解释变量的数目，j称为回归参数。习惯上：把常数项看成为一个虚变量的参数，该虚变量的样本观测值始终取1。这样：模型中解释变量的数目为（k+1）(3.1.1)01122kkYXXX(3.1.1)也被称为总体回归函数的随机表达形式非随机表达式为:1201122(,,,)kkkEYXXXXXX(3.1.2)44多元回归分析是以多个解释变量的给定值为条件的回归分析各变量X值固定时Y的平均响应。j也被称为偏回归系数，表示在其他解释变量保持不变的情况下，Xj每变化1个单位时，Y的均值E(Y)的变化;或者说j给出了Xj的单位变化对Y均值的“直接”或“净”（不含其他变量）影响。55给出一组(n个)观测值则总体多元线性回归模型可以表示为下面的方程组：1011121211201212222201122kkkknnnknknYXXXuYXXXuYxXXu将方程组写成矩阵的形式：111121012212221212111kknnnnkknYXXXYXXXYXXX12{(,,,,):12},,,iiikiXXXYin(3.1.3)6多元总体线性回归模型矩阵表示设YXμ多元总体线性回归模型矩阵表示为：(3.1.4)12μn01(1)1βkk121nnYYYY111212122212()111kknnnknkXXXXXXXXXX7样本回归函数形式用估计样本回归函数来近似代表总体回归函数样本回归函数的形式其随机表示式:e称为残差或剩余项，可看成是总体回归函数中随机扰动项的近似替代。样本回归函数的矩阵表达:(3.1.5)01122ˆˆˆˆˆkkYXXX(3.1.6)01122ˆˆˆˆkkYXXXe在一个容量为n样本下，(3.1.5)和(3.1.6)可以表示如下01122ˆˆˆˆiiikikiYXXXe12{(,,,,):12},,,iiikiXXXYin(3.1.8)(3.1.7)01122ˆˆˆˆˆiiikikYXXX8样本线性回归模型矩阵形式12ˆˆeˆneee01ˆˆˆβˆk12ˆˆˆYˆnYYY设多元样本线性回归模型矩阵形式为：(3.1.9)(3.1.10)011112112212222112111ˆˆˆkknnnnknkYXXXeYXXXeYXXXeˆYXβeˆˆYXβ99二、多元线性回归模型的基本假定假设1：回归模型是正确设定的。假设2：解释变量是非随机的或固定的，且各X之间互不相关（无多重共线性）。12,,,kXXX假设3：样本容量趋于无穷时，各解释变量的方差趋于有界常数，即n+∞时，221111()nnijijjjiixXXQnn1010二、多元线性回归模型的基本假定假设4：随机误差项具有零均值、同方差及不序列相关性njiji,,2,1,假设5：解释变量与随机项不相关1221212()0()()=0,,,,,,,,,,iKiKijKEXXXVarXXXCovXXXkj,2,112()=0,,,,ijiKCovXXXX假设6：随机项满足正态分布212(0),,,,iKXXXN1111假定的矩阵形式上述假设的矩阵符号表示式：假设2，n(k+1)矩阵X是非随机的，且X的秩(X)=k+1，即X列满秩。假设3，n+∞时，其中：Q为一非奇异固定矩阵，矩阵x是由各解释变量的离差为元素组成的nk阶矩阵1xxQn11112121()1kijijjnjijnnnkixxxxXXXXxxxnx(1)(1),,,,injk12121211121211212212212Var()=()()()()00()()()0()()()μμμvarcov,cov,cov,varcov,cov,cov,varnnnnnpppppXEXEXEX22000ppI假设4：12()()()0()EμnEXEXXEX1313假设5：11121121211111()=E()()0X()μXnkknkniiiiiiikiikiXXXEXXXEXXEEXXEXX假设6，向量有一多维正态分布，即2()μX0,IN1414类似一元回归模型，上述条件均可写成非条件期望与方差形式22()=0,Var()=()=()=0(0)μμμμI,Xμ,μI,EEEN根据这些条件，可以得到22()=,()=()=0YβXcovY,YIcov,nijEijYYij或写为当时当时1515§3.2多元线性回归模型的估计估计方法：OLS、ML或者MM一、普通最小二乘估计*二、最大或然估计*三、矩估计四、参数估计量的性质五、样本容量问题六、估计实例1616一、普通最小二乘估计对于随机抽取的n组观测值如果样本函数的参数估计值已经得到，则有：i=1,2…,n样本回归的随机形式01122ˆˆˆˆˆiiikikYXXX(3.2.1)(3.2.3)22112011221()[()]ˆˆˆˆˆnniiiiiniiikikiQeYYYXXX12{(,,,,):12},,,iiikiXXXYin根据最小二乘原理，参数估计值应使残差平方和达到最小01122ˆˆˆˆiiikikiYXXXe(3.2.2)1717根据微积分知识，需对Q关于待估参数求偏导数，并且令其为0。则2011101110020111011111120112[()]2[()]0[()]2[()]0[()]ˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆniikikniiikikiniikikniiikikiiiikikiYXXQYXXYXXQYXXXYXXQ10112122011101112[()]0[()]2[()]0ˆˆˆˆˆˆˆˆˆˆˆˆnniikikiiniikikniiikikikikkYXXXYXXQYXXX1818于是得到关于待估参数估计值的正规方程组：(3.2.4)k+1元线性方程组(3.2.3)称为正则方程组，解该线性方程组方程，可得k+1个待估参数的估计值(012)ˆ,,,jjk^^^^01122^^^^0112211^^^^0112222^^^^01122()()()()iikikiiikikiiiiikikiiiiikikikiikXXXYXXXXYXXXXXYXXXXXYX1919正规方程组转化为：^^^^01122^^^^2011121211^^^^2021212222^^^01122()()()()()()()()()()()()()(iikikiiiiikiikiiiiiikiikiiikikiikinXXXYXXXXXXYXXXXXXXYXXXXXX^2)()kikiikXYX2020正规方程组即可以将正规方程组写成矩阵形式其中YXβX)X(ˆ111112111121121221211111111XX=iiikkiiiknkkknknnkikikiknXXXXXXXXXXXXXXXXXXXXXX110121111211212121111ˆˆ=ˆiiikiiiknkknknikikikknXXYXXXXXXXYXXXYXXXX(3.2.5)由于X的列满秩性，可得为满秩对称矩阵，故有XX(3.2.6)YXXXβ1)(ˆ2121根据最小二乘原理，需要寻找一组参数估计，使残差平方和将上述过程用矩阵表示如下：220112211[()]()()ˆˆˆˆˆˆeeYXβYXβnniiiikikiiQeYXXXˆβ最小，因此应该是方程组ˆβ()()0ˆˆYXβYXβˆβ的解()()()(2)0ˆˆˆˆˆˆYXβYXβYYβXYYXβ+βXXβˆˆββˆˆˆYYβXY+βXXβˆβ1220()ˆˆXY+XXβ=XYXXβˆβ=XXXY注意：是一个标量，顾是对称矩阵ˆYXβˆˆYXβ=βXYXX2222例3.2.1：在例2.3.1的家庭收入-消费支出例中，53650000215002150010111111)(22121iiinnXXXnXXXXXXXX'39468400156741112121iiinnYXYYYYXXXYX可求得0735.10003.00003.07226.0)(1EXX于是YXXXβ1)(ˆ39007100158297770.0172.10339648400156740735.10003.00003.07226.0ˆˆˆ21Eβ67041423900710015829..P3723离差形式的普通最小二乘估计正规方程组另一种形式对于正规方程组βXXYXˆ将(3.1.10)代入得(3.2.7)或(3.2.8)是多元线性回归模型正规方程组的另一种写法由此容易得到多元回归分析中样本回归模型的离差形式ˆYXβe或(3.2.8)001,2,,iiijiieXejk求均值得：01122ˆˆˆˆiiikikiYXXXe(