一元线性模型的参数估计分析

§2.3一元线性回归模型的参数估计(EstimationofSimpleLinearRegressionModel)一、参数的普通最小二乘估计（OLS）二、参数估计的最大或然法(ML)三、参数估计的矩法(MM)四、最小二乘估计量的性质五、参数估计量的概率分布及随机干扰项方差的估计如果线性方程组11112211211222221122........................................nnnnnnnnnnaxaxaxbaxaxaxbaxaxaxb的系数行列式D不等于零，则方程组有唯一解11,DxD22,DxDnnDxD,（1）CRAMMER法则12341234123412345242235232110xxxxxxxxxxxxxxxx解11111214142231531211DCRAMMER法则应用111121414235215121120D252211111428421532110D所以1,3,2,144332211DDxDDxDDxDDx311112442623531115220D45211112114223131220D1、Crammer法则只能用于求解方程个数与未知数个数相等的线性方程组；2、Crammer法则只能求得系数行列式不为零时的线性方程组的唯一解；即如果方程个数与未知数个数不相等，或系数行列式等于零，则Crammer法则失效。3、计算量大，要计算n+1个n阶行列式的值。CRAMMER法则应用局限一、参数的普通最小二乘估计（OLS）1、最小二乘原理•根据被解释变量的所有观测值与估计值之差的平方和最小的原则求得参数估计量。220111ˆˆˆ()(())nniiiiMinQYYYX•为什么取平方和？给定一组样本观测值（Xi,Yi）（i=1,2,…n）要求样本回归函数尽可能好地拟合这组值.方程组（*）称为正规方程组（normalequations）。010ˆ0ˆQQ0)ˆˆ(0)ˆˆ(1010iiiiiXXYXY2、正规方程组3、参数估计量记22221)(iiiiXnXXXxiiiiiiiiYXnYXYYXXyx1))((上述参数估计量可以写成：XYxyxiii1021ˆˆˆ称为OLS估计量的离差形式（deviationform）。由于参数的估计结果是通过最小二乘法得到的，故称为普通最小二乘估计量（ordinaryleastsquaresestimators）。顺便指出，记YYyiiˆˆ则有iniiieXXeXXy111010)(ˆ)ˆˆ()ˆˆ(ˆ可得iixy1ˆˆ（**）式也称为样本回归函数的离差形式。（**）注意：在计量经济学中，往往以小写字母表示对均值的离差。4、“估计量”（estimator）和“估计值”(estimate)的区别•如果给出的参数估计结果是由一个具体样本资料计算出来的，它是一个“估计值”，或者“点估计”，是参数估计量的一个具体数值；•如果把上式看成参数估计的一个表达式，那么，则是Yi的函数，而Yi是随机变量，所以参数估计也是随机变量，在这个角度上，称之为“估计量”。5、例题（采用Eviews进行OLS估计）•数据•OLS估计二、参数估计的最大似然法(ML)1、最大似然法•最大似然法(MaximumLikelihood,ML)，也称最大或然法，是不同于最小二乘法的另一种参数估计方法，是从最大或然原理出发发展起来的其它估计方法的基础。•基本原理：当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大。•ML必须已知随机项的分布。2、估计步骤),ˆˆ(~210iiXNY2102)ˆˆ(2121)(iiXYieYP),,,(),ˆ,ˆ(21210nYYYPL21022)ˆˆ(21)2(1iinXYneYi的分布Yi的概率函数Y的所有样本观测值的联合概率—似然函数2102*)ˆˆ(21)2ln()ln(iiXYnLL0)ˆˆ(ˆ0)ˆˆ(ˆ21012100iiiiXYXY2212220)(ˆ)(ˆiiiiiiiiiiiiiXXnXYXYnXXnXYXYX对数似然函数对数似然函数极大化的一阶条件结构参数的ML估计量3、讨论•在满足一系列基本假设的情况下，模型结构参数的最大似然估计量与普通最小二乘估计量是相同的。•但是，分布参数的估计结果不同。neMLi22ˆ:2ˆ:22neOLSi4、例题•ML估计三、参数估计的矩法(MM)•矩估计的基本原理是用相应的样本矩来估计总体矩。–对一元线性回归模型，在满足基本假设时，存在两个总体矩条件。–相应的样本矩条件构成关于待估参数的正规方程组。–求解该方程组，得到参数估计。–参数估计与OLS估计相同。•由基本假设，写出两个总体矩条件0)(iE0)(),(iiiiXEXCov0ˆˆ101iinXY0ˆˆ101iiinXYX•相应的样本矩条件构成正规方程组•MM估计例2.3.1：在上述家庭可支配收入-消费支出例中，对于所抽出的一组样本数，参数估计的计算可通过下面的表2.3.1进行。表2.2.1参数估计的计算表iXiYixiyiiyx2ix2iy2iX2iY1800594-1350-9731314090182250094750864000035283621100638-1050-92997587011025008637841210000407044314001122-750-44533405056250019838119600001258884417001155-450-41218558020250017007428900001334025520001408-150-1592391022500254084000000198246462300159515028414022500762529000025440257260019694504021807202025001612836760000387696182900207875051138295056250026071284100004318084932002585105010181068480110250010355101024000066822251035002530135096312995101822500926599122500006400900求和21500156745769300742500045900205365000029157448平均21501567表2.3.1参数估计计算表777.074250005769300ˆ21iiixyx172.1032150777.01567ˆˆ00XY因此，由该样本估计的回归方程为：iiXY777.0172.103ˆ四、最小二乘估计量的性质当模型参数估计出后，需考虑参数估计值的精度，即是否能代表总体参数的真值，或者说需考察参数估计量的统计性质。一个用于考察总体的估计量，可从如下几个方面考察其优劣性：（1）线性性，即它是否是另一随机变量的线性函数；1、概述（2）无偏性，即它的均值或期望值是否等于总体的真实值；（3）有效性，即它是否在所有线性无偏估计量中具有最小方差。（4）渐近无偏性，即样本容量趋于无穷大时，是否它的均值序列趋于总体真值；（5）一致性，即样本容量趋于无穷大时，它是否依概率收敛于总体的真值；（6）渐近有效性，即样本容量趋于无穷大时，是否它在所有的一致估计量中具有最小的渐近方差。这三个准则也称作估计量的小样本性质。拥有这类性质的估计量称为最佳线性无偏估计量（bestlinerunbiasedestimator,BLUE）。当不满足小样本性质时，需进一步考察估计量的大样本或渐近性质：2、高斯—马尔可夫定理(Gauss-Markovtheorem)•在给定经典线性回归的假定下，最小二乘估计量是具有最小方差的线性无偏估计量。•下面分别对最小二乘估计量的线性性、无偏性和有效性进行证明，作为不熟悉的同学的自学内容。★2、无偏性，即估计量0ˆ、1ˆ的均值（期望）等于总体回归参数真值0与1证：iiiiiiiiiikXkkXkYk10101)(ˆ易知02iiixxk1iiXk故iik11ˆ1111)()()ˆ(iiiiEkkEE同样地，容易得出0000)()()()ˆ(iiiiEwEwEE3、有效性（最小方差性），即在所有线性无偏估计量中，最小二乘估计量0ˆ、1ˆ具有最小方差。(1)先求0ˆ与1ˆ的方差)var()var()var()ˆvar(21021iiiiiiikXkYk22222iiixxx221020)/1()var()var()ˆvar(iiiiiikXnXwYw2222222221121iiiiixxXkXnnkXkXnn22222222221iiiiixnXxnXnxxXn（2）证明最小方差性假设*1ˆ是其他估计方法得到的关于1的线性无偏估计量：iiYc*1ˆ其中，ci=ki+di，di为不全为零的常数则容易证明)ˆvar()ˆvar(1*1同理，可证明0的最小二乘估计量0ˆ具有最的小方差由于最小二乘估计量拥有一个“好”的估计量所应具备的小样本特性，它自然也拥有大样本特性。)/lim()/lim()lim()lim()lim()ˆlim(212111nxPnxPxxPPkPPiiiiiiii1110),(QQXCov五、参数估计量的概率分布及随机干扰项方差的估计1、参数估计量的概率分布),(~ˆ2211ixN),(~ˆ22200iixnXN2、随机干扰项的方差2的估计•2又称为总体方差。•由于随机项i不可观测，只能从i的估计——残差ei出发，对总体方差进行估计。•可以证明，2的最小二乘估计量为：2ˆ22nei它是关于2的无偏估计量。•在最大或然估计法中，求解似然方程：•2的最大或然估计量不具无偏性，但却具有一致性。neXYniii22102)ˆˆ(1ˆ0)ˆˆ(210212*222iinXYL估计参数的方差和标准差122ˆ2ˆiSx1ˆ1ˆ2ˆiSx的样本方差和标准差的样本方差和标准差0222ˆ2ˆiiXSnx02ˆ2ˆiiXSnx0ˆ