第二讲 一元线性回归模型

第二章经典单方程计量经济学模型：一元线性回归模型TheClassicalSingleEquationEconometricModel:SimpleRegressionModel本章内容•§2.1一元线性回归模型的设定与古典假设•§2.2一元线性回归模型的参数估计•§2.3一元线性回归模型的检验•§2.4一元线性回归模型的预测§2.1一元线性回归模型的设定与古典假设•一、一元线性回归模型的设定总体回归模型总体回归方程(直线)样本回归模型样本回归方程(直线)tttuxy10ttxyE10)(tttexy10ˆˆttxy10ˆˆˆ二、经典线性回归模型的基本假设TheBasicAssumptionsofClassicalLinearRegressionModel(CLRM)1、关于模型关系的假设•线性回归假设。X与Y的关系是线性的。iiiXY101100iiiiiiYXYX2、关于解释变量的假设•（1）确定性假设：X是非随机变量，或称确定性变量。•（2）X与随机项不相关假设。由确定性假设可以推断。cov(,)0,1,2,,()0,1,2,,iiiiXinEXin3、关于随机项的假设•（1）0均值假设。(,)0,,1,2,,,ijCovijnij•（2）同方差假设。()0,1,2,,iiEXin2(),1,2,,iiVarXin•（3）序列不相关假设。（4）正态性假设。一般假设随机项服从正态分布。22~(0,)~(0,)iiNNID•以上假设（正态性假设除外）也称为线性回归模型的经典假设或高斯（Gauss）假设，满足该假设的线性回归模型，也称为经典线性回归模型（ClassicalLinearRegressionModel,CLRM）。•同时满足正态性假设的线性回归模型，称为经典正态线性回归模型（ClassicalNormalLinearRegressionModel,CNLRM）。§2.2一元线性回归模型的参数估计(EstimationofSimpleLinearRegressionModel)一、参数的普通最小二乘估计（OLS）二、最小二乘估计量的性质三、参数估计量的概率分布及随机干扰项方差的估计一、参数的普通最小二乘估计（OLS）最小二乘法:•根据被解释变量的所有观测值与估计值之差的平方和最小的原则求得参数估计量。22112011ˆ()ˆˆ(())nniiiniiMinQYYeYXtttexy10ˆˆttxy10ˆˆˆ2、正规方程组•该关于参数估计量的线性方程组称为正规方程组（normalequations）。QQ01000)ˆˆ(0)ˆˆ(1010iiiiiXXYXY3、参数估计量•求解正规方程组得到结构参数的普通最小二乘估计量（ordinaryleastsquaresestimators,OLS）及其离差形式：2212220)(ˆ)(ˆiiiiiiiiiiiiiXXnXYXYnXXnXYXYX•分布参数的普通最小二乘估计量XYxyxiii1021ˆˆˆ2ˆ22nei4、“估计量”（estimator）和“估计值”(estimate)的区别•如果给出的参数估计结果是由一个具体样本资料计算出来的，它是一个“估计值”，或者“点估计”，是参数估计量的一个具体数值；•如果把上式看成参数估计的一个表达式，那么，则是Yi的函数，而Yi是随机变量，所以参数估计也是随机变量，在这个角度上，称之为“估计量”。二、最小二乘估计量的性质1、概述•当模型参数估计出后，需考虑参数估计值的精度，即是否能代表总体参数的真值，或者说需考察参数估计量的统计性质。•准则：–线性性(linear)，即它是另一随机变量的线性函数；–无偏性(unbiased)，即它的均值或期望值等于总体的真实值；–有效性(efficient)，即它在所有线性无偏估计量中具有最小方差。•这三个准则也称作估计量的小样本性质。拥有这类性质的估计量称为最佳线性无偏估计量（bestlinerunbiasedestimator,BLUE）。•当不满足小样本性质时，需进一步考察估计量的大样本或渐近性质(asymptoticproperties)：–渐近无偏性，即样本容量趋于无穷大时，是否它的均值序列趋于总体真值；–一致性，即样本容量趋于无穷大时，它是否依概率收敛于总体的真值；–渐近有效性，即样本容量趋于无穷大时，是否它在所有的一致估计量中具有最小的渐近方差。2、高斯—马尔可夫定理(Gauss-Markovtheorem)•在给定经典线性回归的假定下，最小二乘估计量是具有最小方差的线性无偏估计量。三、参数估计量的概率分布及随机干扰项方差的估计1、参数估计量的概率分布),(~ˆ2211ixN),(~ˆ22200iixnXN样本之间X的离差越大,参数估计的方差越小.2、随机误差项的方差2的估计•2又称为总体方差。•由于随机项i不可观测，只能从i的估计——残差ei出发，对总体方差进行估计。•可以证明，2的最小二乘估计量为：2ˆ22nei它是关于2的无偏估计量。§2.2一元线性回归模型的统计检验StatisticalTestofSimpleLinearRegressionModel一、拟合优度检验二、变量的显著性检验说明•回归分析是要通过样本所估计的参数来代替总体的真实参数，或者说是用样本回归线代替总体回归线。•尽管从统计性质上已知，如果有足够多的重复抽样，参数的估计值的期望（均值）就等于其总体的参数真值，但在一次抽样中，估计值不一定就等于该真值。•那么，在一次抽样中，参数的估计值与真值的差异有多大，是否显著，这就需要进一步进行统计检验。•主要包括拟合优度检验、变量的显著性检验、总体显著性检验。1、回答一个问题•拟合优度检验：对样本回归直线与样本观测值之间拟合程度的检验。•问题：采用普通最小二乘估计方法，已经保证了模型最好地拟合了样本观测值，为什么还要检验拟合程度？一、拟合优度检验2、总离差平方和的分解iiXY10ˆˆˆ)ˆ(ˆYYyiiiiiiiiiyeYYYYYYyˆ)ˆ()ˆ(Y的第i个观测值与样本均值的离差由回归直线解释的部分回归直线不能解释的部分离差分解为两部分之和对于所有样本点，则需考虑离差的平方和：记22)(YYyTSSii总离差平方和，反映样本观测值总体离差的大小。22)ˆ(ˆYYyESSii回归平方和，反映由模型中解释变量所解释的那部分离差的大小。22)ˆ(iiiYYeRSS残差平方和，反映样本观测值与估计值偏离的大小，也是模型中解释变量未解释的那部分离差的大小。222ˆˆiiYYYYYYTSS=ESS+RSSY的观测值围绕其均值的总离差(totalvariation)可分解为两部分：一部分来自回归线(ESS)，另一部分则来自随机势力(RSS)。在给定样本中，TSS不变，如果实际观测点离样本回归线越近，则ESS在TSS中占的比重应越大，因此拟合优度：回归平方和ESS/Y的总离差TSS3、可决系数R2统计量•是一个非负的统计量。取值范围：[0，1]•越接近1，说明实际观测点离回归线越近，拟合优度越高。•拟合优度越高，说明回归结果越好。TSSRSSTSSESSR12二、变量的显著性检验T检验(检验单个回归系数是否显著不为零)二、变量的显著性检验：T检验(检验单个变量的回归系数是否显著不为零)•在一元线性模型中，变量的显著性检验就是判断X是否对Y具有显著的线性影响。•变量的显著性检验所应用的方法是数理统计学中的假设检验。•通过检验变量的参数真值是否为零来实现显著性检验。1、假设检验（HypothesisTesting）•所谓假设检验，就是事先对总体参数或总体分布形式作出一个假设，然后利用样本信息来判断原假设是否合理，即判断样本信息与原假设是否有显著差异，从而决定是否接受或否定原假设。•假设检验采用的逻辑推理方法是反证法。先假定原假设正确，然后根据样本信息，观察由此假设而导致的结果是否合理，从而判断是否接受原假设。•判断结果合理与否，是基于“小概率事件不易发生”这一原理的。2、变量的显著性检验—t检验),(~ˆ2211ixN)2(~ˆˆˆ1ˆ112211ntSxti用σ2的估计量代替，构造t统计量1ˆ1ˆSt对总体参数提出假设：H0：1=0，H1：10•由样本计算t统计量值；•给定显著性水平(levelofsignificance)，查t分布表得临界值(criticalvalue)t/2(n-2)；•比较，判断：–若|t|t/2(n-2)，则以（1－α）的置信度（confidencecoefficient）拒绝H0，接受H1；–若|t|t/2(n-2)，则以（1－α）的置信度不拒绝H0。4、关于常数项的显著性检验•T检验同样可以进行。•一般不以t检验决定常数项是否保留在模型中，而是从经济意义方面分析回归线是否应该通过原点。三、总体的显著性检验：F检验2)2)2)（整体显著性检验）一元线性回归模型中，单个变量的t检验与总体回归方程的F检验是一致的。多元线性回归模型中，单个变量的t检验与总体回归方程的F检验不一定一致。§2.4一元线性回归分析的应用：预测问题一、点估计：Ŷ0是条件均值E(Y|X=X0)或个值的一个无偏估计二、区间估计：总体条件均值与个值预测值的置信区间•对于一元线性回归模型iiXY10ˆˆˆ给定样本以外的解释变量的观测值X0，可以得到被解释变量的预测值Ŷ0，可以此作为其条件均值E(Y|X=X0)或个别值Y0的一个近似估计。•严格地说，这只是被解释变量的预测值的估计值，而不是预测值。原因:•参数估计量不确定；•随机项的影响。说明一、Ŷ0是条件均值E(Y|X=X0)或个值的一个无偏估计1、总体个值预测值的点估计：0100ˆˆˆXY给定X0，则X0的点预测值为预测评价•1.平均预测误差平方和的平方根(RMSE,RootMeanSquaredError)•2.平均绝对误差(MAE,MeanAbsosuteError)•3.点预测精度评价:•相对误差:TTˆ*100%YYY2、总体个值预测值的区间估计),(~20100XNY)))(11(,0(~ˆ220200ixXXnNYY)2(~ˆ00ˆ00ntSYYtYY从而在1-的置信度下，Y0的置信区间为00202ˆ000ˆ0ˆˆYYYYStYYStY•总体回归函数和个体的置信带（域）（confidenceband）•样本容量n越大，预测精度越高。•样本容量一定时，置信带的宽度在X均值处最小，在其附近进行预测（插值预测）精度越大；X越远离其均值，置信带越宽，预测可信度下降。例:试分析中国居民国内旅游消费支出(Y)与国民收入(X)的关系.•第一步,收集数据(单位:亿元).19951996199719981999200020012002X58478678857446378345820688946897315104791Y13761638211323912832317635223878第二步,作出散点图12001700220027003200370042005500065000750008500095000105000115000XY设定模型:Y=α+βX+μ第三步,估计参数DependentVariable:YMethod:LeastSquaresSample:19952002Includedobservations:8VariableCoefficientStd.Errort-Stat