庞皓3--多元线性回归模型

多元线性回归模型计量经济学第三章2引子:中国已成为世界汽车产销第一大国2009年，为应对国际金融危机、确保经济平稳较快增长，国家出台了一系列促进汽车消费的政策，有效刺激了汽车消费市场，汽车产销呈高增长态势，首次成为世界汽车产销第一大国。2009年，汽车产销分别为1379.1万辆和1364.5万辆，同比增长48.3%和46.15%。是什么因素导致中国汽车数量的增长?影响中国汽车行业发展的因素并不是单一的，经济增长、消费趋势、市场行情、业界心态、能源价格、道路发展、内外环境，都会使中国汽车行业面临机遇和挑战。3分析中国汽车行业未来的趋势,应具体分析这样一些问题：中国汽车市场发展的状况如何？（用销售量观测）影响中国汽车销量的主要因素是什么？（如收入、价格、费用、道路状况、能源、政策环境等）各种因素对汽车销量影响的性质怎样？（正、负）各种因素影响汽车销量的具体数量关系是什么？所得到的数量结论是否可靠？中国汽车行业今后的发展前景怎样？应当如何制定汽车的产业政策？很明显，只用一个解释变量已很难分析汽车产业的发展,还需要寻求有更多个解释变量情况的回归分析方法。怎样分析多种因素的影响？4本章主要讨论:●多元线性回归模型及古典假定●多元线性回归模型的估计●多元线性回归模型的检验●多元线性回归模型的预测5第一节多元线性回归模型及古典假定一、多元线性回归模型的意义一般形式：对于有K-1个解释变量的线性回归模型注意：模型中的（j=1,2,---k）是偏回归系数样本容量为n偏回归系数：控制其它解释量不变的条件下，第j个解释变量的单位变动对被解释变量平均值的影响，即对Y平均值“直接”或“净”的影响。ikikiiiuXXXY33221j(1,2,)in56多元线性回归中的“线性”指对各个回归系数而言是“线性”的，对变量则可以是线性的，也可以是非线性的例如：生产函数取对数这也是多元线性回归模型，只是这时变量为lnY、lnL、lnKuKALYuKLAYlnlnlnlnln7多元总体回归函数条件期望表现形式：将Y的总体条件期望表示为多个解释变量的函数，如:注意：这时Y总体条件期望的轨迹是K维空间的一条线个别值表现形式：引入随机扰动项或表示为kikiikiiiiXXXXXXYE3322132),,(ikikiiiuXXXY33221(1,2,)in(1,2,)in23(,)iiiiikiuYEYXXX8多元样本回归函数Y的样本条件均值可表示为多个解释变量的函数或回归剩余（残差）：其中ˆiiieYY12323ˆˆˆˆˆikiikiYXXX12323ˆˆˆˆkiiikiiYXXXe1,2,in9二、多元线性回归模型的矩阵表示多个解释变量的多元线性回归模型的n组样本观测值，可表示为用矩阵表示1131321211uXXXYkk2232322212uXXXYkknknknnnuXXXY33221nkknnkknuuuXXXXXXYYY21212222121211111n1n1kknXYβu910总体回归函数或样本回归函数或其中：都是有n个元素的列向量是有k个元素的列向量（k=解释变量个数+1）是第一列为1的n×k阶解释变量数据矩阵，(截距项可视为解释变量总是取值为1)ˆβ,βY=Xβ+u(EY)=XβˆY,Y,u,e矩阵表示方式ˆˆY=XβˆY=Xβ+eX11三、多元线性回归中的基本假定假定1：零均值假定（i=1，2，---n）或矩阵表示：E（u）=00)(iuE1122|nnuEuuEuEEuEu(uX)0即，12假定2、无自相关假定假定3、同方差假定也可以合并为：22var(|)(|)1,2,,iiiiuXEuXin,,cov(,|)(|)0,,1,2,,ijijijijuuXXEuuXXijijn,,20cov(,|)(|)ijijijijijuuXXEuuXXij1311221211222122122122121221221varcov()()()()()()(nnnnnnnnnnnnuEIuuuuuuuuuuuuEEuuuEuuuuuuEuEuuEuuEuuEuEuuEuuEu''Ωuuuu＝因为：222222000000)nnnnIuEu假设（2），（3）说明随机项u的方差－协方差矩阵为对角矩阵：14三、多元线性回归中的基本假定假定2和假定3：同方差和无自相关假定：或用方差-协方差矩阵表示为:)()])([(),(jijjiijiuuEEuuEuuEuuCov2（i=j）(i≠j)011121212222212()()()100()()()010()()()001nnnnnnEuuEuuEuuEuuEuuEuuEuuEuuEuuI(,){[()][()]}()ijiijjCovuuEuEuuEuEuu(1,2,1,2,)injn15假定4、解释变量与随机项不相关cov()()0,j=2,3()0jiijiixuExuEu,X，…k,i=1n即：16假定5、各解释变量之间不存在严格的线性关系，即不存在严格的多重共线性。也就是要求，解释变量观测值矩阵X的秩满足:()rankKX即X是满秩的。此时矩阵X’X也是满秩的，所以行列，保证了可逆。()rankK,XX'0XX'1()XX17补充假定:正态性假定),0(~2Nui2~(,)Nu0I17第二节多元线性回归模型的估计一、普通最小二乘法（OLS）原则：寻求剩余平方和最小的参数估计式即求偏导，并令其为0其中即2212323ˆˆˆˆmin:[()]kiiiikieYXXX2ˆ()0ije122332ˆˆˆˆ()0iiikikiYXXX122233ˆˆˆˆ()20iiikikiiYXXXX12233ˆˆˆ(20ˆ)iiikikkiiYXXXX22ˆmin:()iiieYY20iiXe0ikiXe0ie182min:minie(1,2,)in(1,2,)jn正规方程可以写成：也就是：230000iiiiiKiieXeXeXe121222223132333121110000iniiniiKKKnnKiieeXXXeXeXXXeXeXXXeXeXe0最小二乘估计的矩阵表示ˆY=Xβ+e对样本回归方程：两边同时左乘X’：因为（由正规方程得到）:ˆ'''XY=XXβ+Xe根据基本假设:可逆，方程左乘得到OLS估计量：ˆ-1β=(XX)XY'XX'1()XX0'Xe21OLS回归线的数学性质(与简单线性回归相同)●回归线通过样本均值●估计值的均值等于实际观测值的均值●剩余项的均值为零●被解释变量估计值与剩余项不相关●解释变量与剩余项不相关（j=1,2,---k）23123ˆˆˆˆkkYXXXˆiYiYie0neeiiˆiYieˆ(,)0iiCovYeˆ()0iieyieiX0),(ijieXCov或ˆiYnY2122二、OLS估计式的统计性质1、线性特征是Y的线性函数，因是非随机或取固定值的矩阵2、无偏特性(证明见教材P101附录3.1)3、最小方差特性在所有的线性无偏估计中，OLS估计具有最小方差(证明见教材P101或附录3.2)结论：高斯-马尔科夫定理：在古典假定下，多元线性回归的OLS估计式是最佳线性无偏估计式（BLUE）ˆβˆ()KKEˆKK-1(XX)Xˆ-1β=(XX)XY23线性性其中ˆ-1β(XX)XY=AY高斯-马尔科夫定理证明（概要）'-1A=(XX)X24无偏性：证明：ˆ()Eββˆ'-1''-1''-1''-1''-1'β=(XX)XY=(XX)X(Xβ+u)=(XX)XXβ+(XX)Xu=β+(XX)Xu即其中：两边取期望：ˆ()()EEββ+Auβˆ'-1ββ+(XX)Xu=β+Au'-1A=(XX)X25最小方差性在所有线性无偏估计量中，OLS估计量具有最小方差。为了求方差，需要计算方差协方差矩阵ˆˆ[()()']E1122112211212122ˆˆˆˆˆˆˆ()()']ˆˆˆˆˆˆvar()cov(,)cov(,)ˆˆˆˆˆcov(,)var()cov(,)cov(kkkkkkEE12ˆˆˆˆˆ,)cov(,)var()kkk方差协方差矩阵的计算26'1''1'''1'''1'1'''1'1'2ˆˆ[()()']{[()][()]}[()()]=()()()=()EEXXXuXXXuEXXXuuXXXXXXEuuXXXXXX'1'1'12'12'1()()()()()nIXXXXXXXXXXXCXX记想一想：为什么叫方差协方差矩阵27三、OLS估计的分布性质基本思想：●是随机变量，必须确定其分布性质才可能进行区间估计和假设检验●是服从正态分布的随机变量，决定了Y也是服从正态分布的随机变量●是Y的线性函数，决定了也是服从正态分布的随机变量iuˆβˆβˆβY=Xβ+u28●的期望(由无偏性)●的方差和标准误差：可以证明的方差—协方差矩阵为（见下页）这里的（其中是矩阵中第j行第j列的元素）所以（j=1,2,---k）ˆ()Eβ=β2ˆVar-Cov()1()βXX2ˆ()jjjVarcˆ()jjjSEcjjc1()XX),(~ˆ2jjjjcN的期望与方差ˆβ111212122212()kkkkkkccccccccc1XXˆβˆβˆβ29ˆβˆˆˆˆˆ(){[()][()]}COVEEEβββββˆˆ[()()]Eββββ11[()()]EXXXuuXXX11()()()EXXXuuXXX121()()XXXIXXX21()XX1ˆ()XXXY1()()XXXXβ+u1()βXXXu2()EuuI其中：(由无偏性)(由同方差性)(由OLS估计式)29(1,2,)in(1,2,)jn注意是向量ˆβ的方差-协方差30四、随机扰动项方差的估计一般未知，可证明多元回归中的无偏估计为：(证明见P103附录3.3)或表示为将作标准化变换：ˆˆ~(0,1)ˆ()kkkkkkjjzNSEcknei22ˆ222ˆnkee2ˆβ30对比:一元回归中22ˆ(2)ien31未知时的标准化变换因是未知的，可用代替去估计参数的标准误差:●当为大样本时，用估计的参数标准误差对作标准化变换，所得Z统计量仍可视为服从正态分布●当为小样本时，