第二章2一元线性回归模型的参数估计

§2.2一元线性回归模型的参数估计一、一元线性回归模型的基本假设二、参数的普通最小二乘估计（OLS）三、参数估计的最大或然法(ML)四、最小二乘估计量的性质五、参数估计量的概率分布及随机干扰项方差的估计单方程计量经济学模型分为两大类：线性模型和非线性模型•线性模型中，变量之间的关系呈线性关系•非线性模型中，变量之间的关系呈非线性关系一元线性回归模型：只有一个解释变量iiiXY10i=1,2,…,nY为被解释变量，X为解释变量，0与1为待估参数，为随机干扰项回归分析的主要目的是要通过样本回归函数（模型）SRF尽可能准确地估计总体回归函数（模型）PRF。估计方法有多种，其种最广泛使用的是普通最小二乘法（ordinaryleastsquares,OLS）。为保证参数估计量具有良好的性质，通常对模型提出若干基本假设。注：实际这些假设与所采用的估计方法紧密相关。一、线性回归模型的基本假设假设1、解释变量X是确定性变量，不是随机变量；假设2、随机误差项具有零均值、同方差和不序列相关性：E(i)=0i=1,2,…,nVar(i)=2i=1,2,…,nCov(i,j)=0i≠ji,j=1,2,…,n假设3、随机误差项与解释变量X之间不相关：Cov(Xi,i)=0i=1,2,…,n假设4、服从零均值、同方差、零协方差的正态分布i~N(0,2)i=1,2,…,n1、如果假设1、2满足，则假设3也满足;2、如果假设4满足，则假设2也满足。注意：以上假设也称为线性回归模型的经典假设或高斯（Gauss）假设，满足该假设的线性回归模型，也称为经典线性回归模型（ClassicalLinearRegressionModel,CLRM）。另外，在进行模型回归时，还有两个暗含的假设：假设5：随着样本容量的无限增加，解释变量X的样本方差趋于一有限常数。即nQnXXi,/)(2假设6：回归模型是正确设定的假设5旨在排除时间序列数据出现持续上升或下降的变量作为解释变量，因为这类数据不仅使大样本统计推断变得无效，而且往往产生所谓的伪回归问题（spuriousregressionproblem）。假设6也被称为模型没有设定偏误（specificationerror）二、参数的普通最小二乘估计（OLS）给定一组样本观测值（Xi,Yi）（i=1,2,…n）要求样本回归函数尽可能好地拟合这组值.普通最小二乘法（Ordinaryleastsquares,OLS）给出的判断标准是：二者之差的平方和niiiniXYYYQ121021))ˆˆ(()ˆ(最小。方程组（*）称为正规方程组（normalequations）。记22221)(iiiiXnXXXxiiiiiiiiYXnYXYYXXyx1))((上述参数估计量可以写成：XYxyxiii1021ˆˆˆ称为OLS估计量的离差形式（deviationform）。由于参数的估计结果是通过最小二乘法得到的，故称为普通最小二乘估计量（ordinaryleastsquaresestimators）。顺便指出，记YYyiiˆˆ则有iniiieXXeXXy111010)(ˆ)ˆˆ()ˆˆ(ˆ可得iixy1ˆˆ（**）式也称为样本回归函数的离差形式。（**）注意：在计量经济学中，往往以小写字母表示对均值的离差。三、参数估计的最大或然法(ML)最大或然法(MaximumLikelihood,简称ML)，也称最大似然法，是不同于最小二乘法的另一种参数估计方法，是从最大或然原理出发发展起来的其它估计方法的基础。基本原理：对于最大或然法，当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大。在满足基本假设条件下，对一元线性回归模型：iiiXY10随机抽取n组样本观测值（Xi,Yi）（i=1,2,…n）。那么Yi服从如下的正态分布：),ˆˆ(~210iiXNY于是，Y的概率函数为2102)ˆˆ(2121)(iiXYieYP（i=1,2,…n）假如模型的参数估计量已经求得，为因为Yi是相互独立的，所以的所有样本观测值的联合概率，也即或然函数(likelihoodfunction)为：),,,(),ˆ,ˆ(21210nYYYPL21022)ˆˆ(21)2(1iinXYne将该或然函数极大化，即可求得到模型参数的极大或然估计量。由于或然函数的极大化与或然函数的对数的极大化是等价的，所以，取对数或然函数如下：2102*)ˆˆ(21)2ln()ln(iiXYnLL解得模型的参数估计量为：2212220)(ˆ)(ˆiiiiiiiiiiiiiXXnXYXYnXXnXYXYX可见，在满足一系列基本假设的情况下，模型结构参数的最大或然估计量与普通最小二乘估计量是相同的。例2.2.1：在上述家庭可支配收入-消费支出例中，对于所抽出的一组样本数，参数估计的计算可通过下面的表2.2.1进行。表2.2.1参数估计的计算表iXiYixiyiiyx2ix2iy2iX2iY1800594-1350-9731314090182250094750864000035283621100638-1050-92997587011025008637841210000407044314001122-750-44533405056250019838119600001258884417001155-450-41218558020250017007428900001334025520001408-150-1592391022500254084000000198246462300159515028414022500762529000025440257260019694504021807202025001612836760000387696182900207875051138295056250026071284100004318084932002585105010181068480110250010355101024000066822251035002530135096312995101822500926599122500006400900求和21500156745769300742500045900205365000029157448平均21501567777.074250005769300ˆ21iiixyx172.1032150777.01567ˆˆ00XY因此，由该样本估计的回归方程为：iiXY777.0172.103ˆ四、最小二乘估计量的性质当模型参数估计出后，需考虑参数估计值的精度，即是否能代表总体参数的真值，或者说需考察参数估计量的统计性质。一个用于考察总体的估计量，可从如下几个方面考察其优劣性：（1）线性性，即它是否是另一随机变量的线性函数；（2）无偏性，即它的均值或期望值是否等于总体的真实值；（3）有效性，即它是否在所有线性无偏估计量中具有最小方差。（4）渐近无偏性，即样本容量趋于无穷大时，是否它的均值序列趋于总体真值；（5）一致性，即样本容量趋于无穷大时，它是否依概率收敛于总体的真值；（6）渐近有效性，即样本容量趋于无穷大时，是否它在所有的一致估计量中具有最小的渐近方差。这三个准则也称作估计量的小样本性质。拥有这类性质的估计量称为最佳线性无偏估计量（bestlinerunbiasedestimator,BLUE）。当不满足小样本性质时，需进一步考察估计量的大样本或渐近性质：高斯—马尔可夫定理(Gauss-Markovtheorem)在给定经典线性回归的假定下，最小二乘估计量是具有最小方差的线性无偏估计量。2、无偏性，即估计量0ˆ、1ˆ的均值（期望）等于总体回归参数真值0与1证：iiiiiiiiiikXkkXkYk10101)(ˆ易知02iiixxk1iiXk故iik11ˆ1111)()()ˆ(iiiiEkkEE同样地，容易得出0000)()()()ˆ(iiiiEwEwEE3、有效性（最小方差性），即在所有线性无偏估计量中，最小二乘估计量0ˆ、1ˆ具有最小方差。(1)先求0ˆ与1ˆ的方差)var()var()var()ˆvar(21021iiiiiiikXkYk22222iiixxx221020)/1()var()var()ˆvar(iiiiiikXnXwYw2222222221121iiiiixxXkXnnkXkXnn22222222221iiiiixnXxnXnxxXn（2）证明最小方差性假设*1ˆ是其他估计方法得到的关于1的线性无偏估计量：iiYc*1ˆ其中，ci=ki+di，di为不全为零的常数则容易证明)ˆvar()ˆvar(1*1同理，可证明0的最小二乘估计量0ˆ具有最的小方差普通最小二乘估计量（ordinaryleastSquaresEstimators）称为最佳线性无偏估计量（bestlinearunbiasedestimator,BLUE）由于最小二乘估计量拥有一个“好”的估计量所应具备的小样本特性，它自然也拥有大样本特性。)/lim()/lim()lim()lim()lim()ˆlim(212111nxPnxPxxPPkPPiiiiiiii1110),(QQXCov五、参数估计量的概率分布及随机干扰项方差的估计1、参数估计量0ˆ和1ˆ的概率分布),(~ˆ2211ixN),(~ˆ22200iixnXN22ˆ/1ix222ˆ0iixnX2、随机误差项的方差2的估计由于随机项i不可观测，只能从i的估计——残差ei出发，对总体方差进行估计。2又称为总体方差。可以证明，2的最小二乘估计量为2ˆ22nei它是关于2的无偏估计量。在最大或然估计法中，因此，2的最大或然估计量不具无偏性，但却具有一致性。在随机误差项的方差2估计出后，参数0ˆ和1ˆ的方差和标准差的估计量分别是：1ˆ的样本方差：222ˆˆ1ixS1ˆ的样本标准差：2ˆˆ1ixS0ˆ的样本方差：2222ˆˆ0iixnXS0ˆ的样本标准差：22ˆˆ0iixnXS