一元线性回归模型的置信区间与预测

§2.5一元线性回归模型的置信区间与预测多元线性回归模型的置信区间问题包括参数估计量的置信区间和被解释变量预测值的置信区间两个方面，在数理统计学中属于区间估计问题。所谓区间估计是研究用未知参数的点估计值（从一组样本观测值算得的）作为近似值的精确程度和误差范围，是一个必须回答的重要问题。一、参数估计量的置信区间在前面的课程中，我们已经知道，线性回归模型的参数估计量^是随机变量iy的函数，即：iiyk1ˆ，所以它也是随机变量。在多次重复抽样中，每次的样本观测值不可能完全相同，所以得到的点估计值也不可能相同。现在我们用参数估计量的一个点估计值近似代表参数值，那么，二者的接近程度如何？以多大的概率达到该接近程度？这就要构造参数的一个区间，以点估计值为中心的一个区间（称为置信区间），该区间以一定的概率（称为置信水平）包含该参数。即回答1以何种置信水平位于aa11ˆ,ˆ之中，以及如何求得a。在变量的显著性检验中已经知道)1(~^^kntstiii(2.5.1)这就是说，如果给定置信水平1，从t分布表中查得自由度为(n-k-1)的临界值2t，那么t值处在22,tt的概率是1。表示为1)(22tttP即1)(2^2^tstPiii1)(^^2^2^iiststPiii于是得到：在（1）的置信水平下i的置信区间是)(^^2^2^iiststii，i=0,1（2.5.3）在某例子中，如果给定01.0，查表得012.3)13()1(005.02tknt从回归计算中得到01.0,15,21.0ˆ,3.102ˆ10ˆˆ10SS根据（2.5.2）计算得到10,的置信区间分别为48.147,12.57和（0.1799,0.2401）显然，参数1的置信区间要小。在实际应用中，我们当然希望置信水平越高越好，置信区间越小越好。如何才能缩小置信区间？从（2.5.3）式中不难看出：（1）增大样本容量n。在同样的置信水平下，n越大，从t分布表中查得自由度为（n-k-1）的临界值2t越小；同时，增大样本容量，在一般情况下可使估计值的标准差ˆS减小，因为式中分母的增大是肯定的，分子并不一定增大。（2）更主要的是提高模型的拟合度，以减小残差平方和2ie。设想一种极端情况，如果模型完全拟合样本观测值，残差平方和为0，则置信区间也为0。（3）提高样本观测值的分散度。在一般情况下，样本观测值越分散，标准差越小。置信水平与置信区间是矛盾的。置信水平越高，在其他情况不变时，临界值2t越大，置信区间越大。如果要求缩小置信区间，在其他情况不变时，就必须降低对置信水平的要求。二、预测值的置信区间1、点预测计量经济学模型的一个重要应用是经济预测。对于模型iiiuxy10，ni,,2,1如果给定样本以外的解释变量的观测值fx，有fffuxy10因fx是前述样本点以外的解释变量值，所以fu和niui,,2,1是不相关的。引用已有的OLS的估计值，可以得到被解释变量fy的点预测值：ffxy10ˆˆˆ(2.5.4)但是，严格地说，这只是被解释变量的预测值的估计值，而不是预测值。原因在于两方面：一是模型中的参数估计量是不确定的，正如上面所说的；二是随机项的影响。所以，我们得到的仅是预测值的一个估计值，预测值仅以某一个置信水平处于以该估计值为中心的一个区间中。于是，又是一个区间估计问题。2、区间预测如果已经知道实际的预测值fy，那么预测误差为fffyyeˆ显然，fe是一随机变量，可以证明0ˆˆˆ10101010ffffffffxxxEuxEyyEeE而fffufffffffffffffyyCovyDyyCovyyCovyyCovyyyyCoveeCoveDˆ,2ˆˆ,ˆˆ,2,ˆ,ˆ,2因为fyˆ由原样本的OLS估计值求得，而fy与原样本不相关，故有：0ˆ,ffyyCov，fufyDeDˆ2可以计算出来：2121ˆuniiffxxxxnyD(2.5.5)21211uniiffxxxxneD(2.5.6)因fyˆ和fe均服从正态分布，可利用它们的性质构造统计量，求区间预测值。利用fyˆ构造统计量为：1,0~1ˆ212ˆNxxxxnyEyNuniifffyf将2u用估计值2ˆu代入上式，有2~ˆ1ˆ212ˆntxxxxnyEytuniifffyf这样，可得显著性水平下fyE的置信区间为21222122ˆ1ˆ,ˆ1ˆuniiffuniiffxxxxntyxxxxnty(2.5.7)(2.5.7)式称为fy的均值区间预测。同理，利用fe构造统计量，有1,0~11ˆ11212212NxxxxnyyxxxxneNuniifffuniiffef将2u用估计值2ˆu代入上式，有：2~ˆ11ˆˆ11212212ntxxxxnyyxxxxnetuniifffuniiffef根据置信区间的原理，得显著性水平下fy的置信区间：21222122ˆ11ˆ,ˆ11ˆuniiffuniiffxxxxntyxxxxnty（2.5.8）上式称为fy的个值区间预测，显然，在同样的下，个值区间要大于均值区间。(2.5.7)和(2.5.8)也可表述为：fy的均值或个值落在置信区间内的概率为1，1即为预测区间的置信度。或者说，当给定解释变量值fx后，只能得到被解释变量fy或其均值fyE以)1(的置信水平处于某区间的结论。经常听到这样的说法，“如果给定解释变量值，根据模型就可以得到被解释变量的预测值为……值”。这种说法是不科学的，也是计量经济学模型无法达到的。如果一定要给出一个具体的预测值，那么它的置信水平则为0；如果一定要回答解释变量以100%的置信水平处在什么区间中，那么这个区间是∞。在实际应用中，我们当然也希望置信水平越高越好，置信区间越小越好，以增加预测的实用意义。如何才能缩小置信区间？从（2.5.5）和(2.5.6)式中不难看出：（1）增大样本容量n。在同样的置信水平下，n越大，从t分布表中查得自由度为（n-k-1）的临界值2t越小；同时，增大样本容量，在一般情况下可使2ˆ22neiu减小，因为式中分母的增大是肯定的，分子并不一定增大。（2）更主要的是提高模型的拟合优度，以减小残差平方和2ie。设想一种极端情况，如果模型完全拟合样本观测值，残差平方和为0，则置信区间长度也为0，预测区间就是一点。（3）提高样本观测值的分散度。在一般情况下，样本观测值越分散，作为分母的2xxi的值越大，致使区间缩小。置信水平与置信区间是矛盾的。置信水平越高，在其他情况不变时，临界值2t越大，置信区间越大。如果要求缩小置信区间，在其他情况不变时，就必须降低对置信水平的要求。四、一元线性回归模型参数估计实例为了帮助读者理解一元线性回归模型参数估计的原理，下面以我国国家财政文教科学卫生事业费支出模型为例，不采用计量经济学应用软件，用手工计算，进行模型的参数估计。经分析得到，我国国家财政中用于文教科学卫生事业费的支出，主要由国家财政收入决定，二者之间具有线性关系。于是可以建立如下的模型：tttFIED其中，tED为第t年国家文教科学卫生事业费支出额（亿元），tFI为第t年国家财政收入额（亿元），t，为随机误差项，和为待估计的参数。选取1991—1997年的数据为样本，利用（2.2.6）和（2.2.7）的计算公式，分别计算参数估计值。表2.2.1有关数据表年份EDFI.ED.FI^ED^EDEDEDEDED/)(^19917083149-551-2351734-26-0.03719927933483-466-2017804-11-0.01419939584349-301-11511001-43-0.04519941278521819-2821196820.0641995146762422087421424430.02919961704740844519081685190.01119971904865164531511963-59-0.031有关中间计算结果如下：8812ttED38500ttFI1259ED5500FI2368696442ttFI54078207·ttEDFI5612207.ttFI251196442.tFI由电脑计算的参数估计值为24.0ˆ,65.39ˆ全部统计结果如下表。从表中可看出，判定系数2R0.99，表示以国家财政收入额来解释国家文教科学卫生事业费支出额，在1991至1997年间，拟合度相当理想。截距项的估计值对应的t-统计量为0.47，不能通过显著性检验，即不能推翻为0的假设；而一次系数的估计值对应的t-统计量为20.34，不用查表即可知通过显著性检验，即显著不为0，因果关系成立。F-统计量的值为413.58，也表示方程系数显著不为0。表一：Eviews计算结果DependentVariable:EDMethod:LeastSquaresDate:09/21/02Time:16:22Sample:19911997Includedobservations:7VariableCoefficientStd.Errort-StatisticProb.C30.0523763.906910.4702520.6580FI0.2234190.01098620.336590.0000R-squared0.988055Meandependentvar1258.857AdjustedR-squared0.985666S.D.dependentvar459.8972S.E.ofregression55.06160Akaikeinfocriterion11.08974Sumsquaredresid15158.90Schwarzcriterion11.07428Loglikelihood-36.81408F-statistic413.5768Durbin-Watsonstat1.644626Prob(F-statistic)0.000005表二：不含截距项的Eviews计算结果：DependentVariable:EDMethod:LeastSquaresDate:09/21/02Time:16:19Sample:19911997Includedobservations:7VariableCoefficientStd.Errort-StatisticProb.FI0.2283040.00333768.408770.0000R-squared0.987526Meandependentvar1258.857AdjustedR-squared0.987526S.D.dependentvar459.8972S.E.ofregression51.36364Akaikeinfocriterion10.84730Sumsquaredresid15