2.2--最小二乘的估计性质

§2.2最小二乘估计量的性质一、最小二乘估计量的性质二、参数估计量的概率分布及随机干扰项方差的估计一、最小二乘估计量的性质当模型参数估计出后，需考虑参数估计值的精度，即是否能代表总体参数的真值，或者说需考察参数估计量的统计性质。一个用于考察总体的估计量，可从如下几个方面考察其优劣性：（1）线性性，即它是否是另一随机变量的线性函数；（2）无偏性，即它的均值或期望值是否等于总体的真实值；（3）有效性，即它是否在所有线性无偏估计量中具有最小方差。（4）渐近无偏性，即样本容量趋于无穷大时，是否它的均值序列趋于总体真值；（5）一致性，即样本容量趋于无穷大时，它是否依概率收敛于总体的真值；（6）渐近有效性，即样本容量趋于无穷大时，是否它在所有的一致估计量中具有最小的渐近方差。这三个准则也称作估计量的小样本性质。拥有这类性质的估计量称为最佳线性无偏估计量（bestlinerunbiasedestimator,BLUE）。当不满足小样本性质时，需进一步考察估计量的大样本或渐近性质：高斯—马尔可夫定理(Gauss-Markovtheorem)在给定经典线性回归的假定下，最小二乘估计量是具有最小方差的线性无偏估计量。12222()ˆiiiiiiiiiiixyxYYxYYxxxxx证：2、无偏性，即估计量0ˆ、1ˆ的均值（期望）等于总体回归参数真值0与1证：iiiiiiiiiikXkkXkYk10101)(ˆ易知02iiixxk1iiXk故iik11ˆ1111)()()ˆ(iiiiEkkEE同样地，容易得出0000)()()()ˆ(iiiiEwEwEE3、有效性（最小方差性），即在所有线性无偏估计量中，最小二乘估计量0ˆ、1ˆ具有最小方差。(1)先求0ˆ与1ˆ的方差)var()var()var()ˆvar(21021iiiiiiikXkYk22222iiixxx221020)/1()var()var()ˆvar(iiiiiikXnXwYw2222222221121iiiiixxXkXnnkXkXnn22222222221iiiiixnXxnXnxxXn（2）证明最小方差性假设*1ˆ是其他估计方法得到的关于1的线性无偏估计量：iiYc*1ˆ其中，ci=ki+di，di为不全为零的常数则容易证明)ˆvar()ˆvar(1*1同理，可证明0的最小二乘估计量0ˆ具有最的小方差普通最小二乘估计量（ordinaryleastSquaresEstimators）称为最佳线性无偏估计量（bestlinearunbiasedestimator,BLUE）•(1)真实的统计模型：Yi=0+1Xi+ui•(2)估计的统计模型：Yi=+Xi+ei•(3)真实的回归直线：E(Yi)=0+1Xi•(4)估计的回归直线：=+Xi注意：分清4个式子的关系。0ˆ1ˆiYˆ0ˆ1ˆ二、参数估计量的概率分布及随机误差项方差的估计1、参数估计量0ˆ和1ˆ的概率分布),(~ˆ2211ixN),(~ˆ22200iixnXN22ˆ/1ix222ˆ0iixnX1ˆ的概率分布：2、随机误差项的方差2的估计由于随机项i不可观测，只能从i的估计——残差ei出发，对总体方差进行估计。2又称为总体方差。可以证明，2的最小二乘估计量为2ˆ22nei它是关于2的无偏估计量，记为Se2。在随机误差项的方差2估计出后，参数0ˆ和1ˆ的方差和标准差的估计量分别是：1ˆ的样本方差：222ˆˆ1ixS1ˆ的样本标准差：2ˆˆ1ixS0ˆ的样本方差：2222ˆˆ0iixnXS0ˆ的样本标准差：22ˆˆ0iixnXSˆ22可以证明是的无偏估计量