多元线性回归与最小二乘估计

多元线性回归与最小二乘估计1．假定条件、最小二乘估计量和高斯—马尔可夫定理多元线性回归模型：yt=β0+β1xt1+β2xt2+…+βk-1xtk-1+ut(1.1)其中yt是被解释变量（因变量），xtj是解释变量（自变量），ut是随机误差项，βi,i=0,1,…,k-1是回归参数（通常未知）。对经济问题的实际意义：yt与xtj存在线性关系，xtj,j=0,1,…,k-1,是yt的重要解释变量。ut代表众多影响yt变化的微小因素。使yt的变化偏离了E(yt)=多元线性回归与最小二乘估计1．假定条件、最小二乘估计量和高斯—马尔可夫定理多元线性回归模型：yt=β0+β1xt1+β2xt2+…+βk-1xtk-1+ut(1.1)其中yt是被解释变量（因变量），xtj是解释变量（自变量），ut是随机误差项，βi,i=0,1,…,k-1是回归参数（通常未知）。对经济问题的实际意义：yt与xtj存在线性关系，xtj,j=0,1,…,k-1,是yt的重要解释变量。ut代表众多影响yt变化的微小因素。使yt的变化偏离了E(yt)=β0+β1xt1+β2xt2+…+βk-1xtk-1决定的k维空间平面。当给定一个样本（yt,xt1,xt2,…,xtk-1）,t=1,2,…,T时,上述模型表示为y1=β0+β1x11+β2x12+…+βk-1x1k-1+u1,经济意义：xtj是yt的重要解释变量。y2=β0+β1x21+β2x22+…+βk-1x2k-1+u2,代数意义：yt与xtj存在线性关系。………..几何意义：yt表示一个多维平面。yT=β0+β1xT1+β2xT2+…+βk-1xTk-1+uT,(1.2)此时yt与xti已知，βj与ut未知。jkjkTTjTkTkT(T)(k)(T(Tk)xxxyuxxxyuxxxyubbb----创?´骣骣骣骣÷鼢?ç珑?÷鼢?ç珑?÷鼢?ç珑?÷鼢?ç珑?÷鼢?ç珑?÷鼢?=+ç÷珑?鼢?ç÷珑?鼢?÷ç鼢?珑?÷鼢?ç珑?÷鼢?ç珑?÷鼢?珑?÷ç桫桫桫桫111111012122121211111111)1(1.3)Y=Xβ+u,(1.4)为保证得到最优估计量，回归模型（1.4）应满足如下假定条件。假定⑴随机误差项ut是非自相关的，每一误差项都满足均值为零，方差2相同且为有限值，即E(u)=0=骣÷ç÷ç÷ç÷ç÷ç÷ç÷÷ç桫00,Var(u)=E(uˆuˆ')=σ2I=σ2骣÷ç÷ç÷ç÷ç÷ç÷ç÷÷ç桫10000001.假定⑵解释变量与误差项相互独立，即E(X'u)=0.假定⑶解释变量之间线性无关。rk(X'X)=rk(X)=k.其中rk()表示矩阵的秩。假定⑷解释变量是非随机的，且当T→∞时T–1X'X→Q.其中Q是一个有限值的非退化矩阵。最小二乘(OLS)法的原理是求残差（误差项的估计值）平方和最小。代数上是求极值问题。minS=(Y-Xˆ)'(Y-Xˆ)=Y'Y-ˆ'X'Y-Y'Xˆ+ˆ'X'Xˆ=Y'Y-2ˆ'X'Y+ˆ'X'Xˆ.(1.5)因为Y'Xˆ是一个标量，所以有Y'Xˆ=ˆ'X'Y。(1.5)的一阶条件为：ˆb¶¶S=-2X'Y+2X'Xˆ=0(1.6)化简得X'Y=X'Xˆ因为(X'X)是一个非退化矩阵（见假定⑶），所以有ˆ=(X'X)-1X'Y（1.7）因为（1.5）的二阶条件ˆˆbb¶抖2S=2X'X0(1.8)得到满足，所以(1.7)是(1.5)的解。因为X的元素是非随机的，(X'X)-1X是一个常数矩阵，则ˆ是Y的线性组合，为线性估计量。求出ˆ，估计的回归模型写为Y=Xˆ+uˆ(1.9)其中ˆ=(0ˆ1ˆ…kˆb-1)'是β的估计值列向量，uˆ=(Y-Xˆ)称为残差列向量。因为uˆ=Y-Xˆ=Y-X(X'X)-1X'Y=[I-X(X'X)-1X']Y(1.10)所以uˆ也是Y的线性组合。ˆ的期望和方差是E(ˆ)=E[(X'X)-1X'Y]=E[(X'X)-1X'(Xβ+u)]=β+(X'X)-1X'E(u)=β(1.11)Var(ˆ)=E[(ˆ–β)(ˆ–β)']=E[(X'X)-1X'uu'X(X'X)-1]=E[(X'X)-1X'2IX(X'X)-1]=σ2(X'X)-1.(1.12)高斯—马尔可夫定理：若前述假定条件成立，OLS估计量是最佳线性无偏估计量。ˆ具有无偏性。ˆ具有最小方差特性。ˆ具有一致性，渐近无偏性和渐近有效性。2.残差的方差s2=uˆ'uˆ/(T-k)(1.13)s2是σ2的无偏估计量，E(s2)=σ2。ˆ的估计的方差协方差矩阵是VarÙ(ˆ)=s(X'X)-1(1.14)3.多重确定系数（多重可决系数）Y=Xˆ+uˆ=Yˆ+uˆ(1.15)总平方和SST=Ttt(yy)=-å21=Y'Y-T2y,(1.16)其中y是yt的样本平均数，定义为y=Ttt(y)/T=å1。回归平方和为SSR=Tttˆ(yy)=-å21=Yˆ'Yˆ-T2y(1.17)其中y的定义同上。残差平方和为SSE=Ttttˆ(yy)=-å21=Tttˆu=å21=uˆ'uˆ(1.18)则有如下关系存在，SST=SSR+SSE(1.19)R2=2ˆˆSSRTySST-=¢2TyY'YYY-(1.20)显然有0R21。R21，拟合优度越好。4.调整的多重确定系数当解释变量的个数增加时，通常R2不下降，而是上升。为调整因自由度减小带来的损失，又定义调整的多重确定系数2R如下：2R=1-SSE/(Tk)TSSTSSR()()SST/(T)TkSST---=---111=1-T(R)Tk---211(1.21)5.OLS估计量的分布若u~N(0,σ2I)，则每个ut都服从正态分布。于是有Y~N(Xβ,σ2I)(1.22)因ˆ也是u的线性组合（见公式1.7），依据（1.11）和（1.12）有ˆ~N(β,σ2(X'X)-1)(1.23)6.方差分析与F检验与SST相对应，自由度T-1也被分解为两部分，（T-1）=(k-1)+(T-k)(1.24)回归均方定义为MSR=SSRk-1，误差均方定义为MSE=SSETk-表1.1方差分析表方差来源平方和自由度均方回归SSR=Yˆ'Yˆ-Ty2k-1MSR=SSR/(k-1)误差SSE=uˆ'uˆT-kMSE=SSE/(T-k)总和SST=Y'Y-Ty2T-1H0:β1=β2=…=βk-1=0;H1:βj不全为零F=MSEMSR=SSR/(k)SSE/(Tk)--1~F(k-1,T-k)(1.25)设检验水平为，则检验规则是，若FFα(k-1,T-k)，接受H0；若FF(k-1,T-k),拒绝H0。0F(k-1,T-k)-t(T-k)0t(T-k)F检验示意图t检验示意图7．t检验H0：βj=0,(j=1,2,…,k-1),H1：j0t=jjjjjjˆˆˆˆVar()s(')ˆs()bbbbb-++==2111XXt(T-k)(1.26)判别规则：若ttk接受H0；若ttk拒绝H0。8．βi的置信区间（1）全部i的联合置信区间接受F=k1(β-ˆ)'(X'X)(β-ˆ)/s2F(k,T-k)(1.27)(β-ˆ)'(X'X)(β-ˆ)s2kF(k,T-k)，它是一个k维椭球。(1.28)（2）单个βi的置信区间βi=iˆ±jv+1stk.(1.29)9．预测（1）点预测C=(1xT+11xT+12…xT+1k-1)(1.30)则T+1期被解释变量yT+1的点预测式是，1ˆTy=Cˆ=ˆ0+ˆ1xT+11+…+ˆk-1xT+1k-1(1.31)（2）E(yT+1)的置信区间预测首先求点预测式Cˆ的抽样分布E(1ˆTy)=E(Cˆ)=C(1.32)Var(1ˆTy)=Var(Cˆ)=E[(Cˆ-C)(Cˆ-C)']=E[C(ˆ-)[C(ˆ-)]']=CE[(ˆ-)(ˆ-)']C'=CVar(ˆ)C'=C2(X'X)-1C'=2C(X'X)-1C',(1.33)因为ˆ服从多元正态分布，所以Cˆ也是一个多元正态分布变量，即1ˆTy=Cˆ~N(C,2C(X'X)-1C')(1.34)构成t分布统计量如下t=TTˆˆyE(y)s(')'++--111CXXC=ˆs(')'bb--1CCCXXCt(T-k)(1.35)置信区间Cˆt/2(1,T-k)s')'(1CXXC(1.36)(3)单个yT+1的置信区间预测yT+1值与点预测值Tˆy+1有以下关系yT+1=Tˆy+1+uT+1(1.37)其中uT+1是随机误差项。因为E(yT+1)=E(1ˆTy+uT+1)=Cβ(1.38)Var(yT+1)=Var(Tˆy+1)+Var(uT+1)=2C(X'X)-1C'+σ2=σ2(C(X'X)-1C'+1)(1.39)因为ˆ服从多元正态分布，所以yT+1也是一个多元正态分布变量，即yT+1~N(Cβ,σ2C(X'X)-1C'+1)与上相仿，单个yT+1的置信区间是Cˆt/2(T-k)s1')'(1CXXC(1.40)计算举例：（见《计量经济分析》第19-27页，熟悉矩阵运算）10.预测的评价指标注意，以下6个公式中的et表示的是预测误差，不是残差。可以在样本内、外预测。(1)预测误差。预测误差定义为et=tyˆ-yt,t=T+1,T+2,…(2)相对误差PE(PercentageError)。PE=tttˆyyy-,t=T+1,T+2,…(3)误差均方根rmserror(RootMeanSquaredError)rmserror=Ttttˆ(yy)T=-å211(4)绝对误差平均MAE(MeanAbsoluteError)MAE=TtttˆyyT=-å11(5)相对误差绝对值平均MAPE(MeanAbsolutePercentageError)MAPE=TttttˆyyTy=-å11(6)Theil系数(TheilCoefficent)Theil=TtttTTttttˆ(yy)Tˆ(y)(y)TT===-+å邋212211111,t=1,2,…,T以上6个式子中，tyˆ表示预测值，yt表示实际值。Theil的取值范围是[0,1]。显然在预测区间内，当tyˆ与yt完全相等时，Theil=0；当预测结果最差时，Theil=1。公式中的累加范围是用1至T表示的，当然也可以用于样本外预测评价。11．建模过程中应注意的问题05000100001500020000250003000080818283848586878889909192GDPGDP(f)（1）研究经济变量之间的关系要剔除物价变动因素。以上图为例，按当年价格计算，我国1992年的GDP是1980年的5.9倍，而按固定价格计算，我国1992年的GDP是1980年的2.8倍。另外从图中还可看出，1980-1992期间按名义价格计算的GDP曲线一直是上升的，而按不变价格（1980年价格）计算的GDP曲线在1989年出现一次下降。可见研究经济变量应该剔除物价变动因素。(2)依照经济理论以及对具体经济问题的深入分析初步确定解释变量。例：我国粮食产量=f（耕地面积、农机总动力、施用化肥量、农业人口等）。但根据我国目前情况，“耕地面积”不是“粮食产量”的重要解释变量。粮食产量的提高主要来自科技含量的提高。例：关于某市的食用油消费量，文革前常驻人口肯定是重要解释变量。现在则不同，消费水平是重要解释变量，因为食用油供应方式已改变。(3)当引用现成数据时，要注意数据的定义是否与所选定的变量定义相符。例：“农业人口”要区别是“从事农业劳动的人口”还是相对于城市人口的“农业人口”。例：2002年起我国将执行新的规定划分三次产业。即将农、林、牧、副、渔服务业从原第三产业划归第一产业。(4)通过散点图，相关系数，确定解释变量与被解释变量的具体函数关系。（线性、非线性