搜索
第5章基本回归模型的OLS估计重点内容：•普通最小二乘法•线性回归模型的估计•线性回归模型的检验一、普通最小二乘法（OLS）1.最小二乘原理设（x1，y1），（x2，y2），…，（xn，yn）是平面直角坐标系下的一组数据，且x1x2…xn，如果这组图像接近于一条直线，我们可以确定一条直线y=a+bx，使得这条直线能反映出该组数据的变化。如果用不同精度多次观测一个或多个未知量，为了确定各未知量的可靠值，各观测量必须加改正数，使其各改正数的平方乘以观测值的权数的总和为最小。因而称最小二乘法。一、普通最小二乘法（OLS）1.最小二乘原理设双变量的总体回归方程为yt=B1+B2xt+μt样本回归函数为yt=b1+b2xt+et其中，et为残差项，5-3式为估计方程，b1和b2分别为B1和B2的估计量，因而e=实际的yt–估计的yt一、普通最小二乘法（OLS）1.最小二乘原理估计总体回归函数的最优方法是选择B1和B2的估计量b1，b2，使得残差et尽可能达到最小。用公式表达即为总之，最小二乘原理就是选择样本回归函数使得y的估计值与真实值之差的平方和最小。一、普通最小二乘法（OLS）2.方程对象选择工作文件窗口工具栏中的“Object”|“NewObject”|“Equation”选项，在下图所示的对话框中输入方程变量。一、普通最小二乘法（OLS）2.方程对象EViews5.1提供了8种估计方法：“LS”为最小二乘法；“TSLS”为两阶段最小二乘法；“GMM”为广义矩法；“ARCH”为自回归条件异方差；“BINARY”为二元选择模型，其中包括Logit模型、Probit模型和极端值模型；“ORDERED”为有序选择模型；“CENSORED”截取回归模型；“COUNT”为计数模型。二、一元线性回归模型1.模型设定一元线性回归模型的形式为yi=0+1xi+ui（i=1，2，…，n）其中，y为被解释变量，也被称为因变量；x为解释变量或自变量；u是随机误差项（randomerrorterm），也被称为误差项或扰动项，它表示除了x之外影响y的因素，即y的变化中未被x所解释的部分；n为样本个数。二、一元线性回归模型2.实际值、拟合值和残差估计方程为表示的是yt的拟合值，和分别是0和1的估计量。实际值指的是回归模型中被解释变量（因变量）y的原始观测数据。拟合值就是通过回归模型计算出来的yt的预测值。二、一元线性回归模型2.实际值、拟合值和残差三条曲线分别是实际值（Actual），拟合值（Fitted）和残差（Residual）。实际值和拟合值越接近，方程拟合效果越好。三、多元线性回归模型通常情况下，将含有多个解释变量的线性回归模型（多元线性回归模型）写成如下形式，yi=0+1x1i+2x2i+3x3i+…kxki+ui（i=1，2，…，n）其中，y为被解释变量，也被称为因变量；x为解释变量或自变量；u是随机误差项（randomerrorterm），也被称为误差项或扰动项；n为样本个数。三、多元线性回归模型在多元线性回归模型中，要求解释变量x1，x2，…，xk之间互不相关，即该模型不存在多重共线性问题。如果有两个变量完全相关，就出现了完全多重共线性，这时参数是不可识别的，模型无法估计。三、多元线性回归模型通常情况下，把多元线性回归方程中的常数项看作虚拟变量的系数，在参数估计过程中该常数项始终取值为1。因而模型的解释变量个数为k+1.多元回归模型的矩阵形式为Y=X+u其中，Y是因变量观测值的T维列向量；X是所有自变量（包括虚拟变量）的T个样本点观测值组成的T×（k+1）的矩阵；是k+1维系数向量；u是T维扰动项向量。四、线性回归模型的基本假定线性回归模型必须满足以下几个基本假定：假定1：随机误差项u具有0均值和同方差，即E(ui)=0i=1，2，…，nVar(ui)=σ2i=1，2，…，n其中，E表示均值，也称为期望，在这里随机误差项u的均值为0。Var表示随机误差项u的方差，对于每一个样本点i，即在i=1，2，…，n的每一个数值上，解释变量y对被解释变量x的条件分布具有相同的方差。当这一假定条件不成立是，称该回归模型存在异方差问题。四、线性回归模型的基本假定假定2：不同样本点下的随机误差项u之间是不相关的，即Cov（ui，uj）=0，i≠j，i，j=1，2，…，n其中，cov表示协方差。当此假定条件不成立时，则称该回归模型存在序列相关问题，也称为自相关问题。四、线性回归模型的基本假定假定3：同一个样本点下的随机误差项u与解释变量x之间不相关，即Cov（xi，ui）=0i=1，2，…，n四、线性回归模型的基本假定假定4：随机误差项u服从均值为0、同方差的正态分布，即u～N（0，σ2）如果回归模型中没有被列出的各因素是独立的随机变量，则随着这些随机变量个数的增加，随机误差项u服从正态分布。四、线性回归模型的基本假定假定5：解释变量x1，x2，…，xi是非随机的确定性变量，并且解释变量间互不相关。则这说明yi的概率分布具有均值，即E（yi|xi）=E（0+1xi+ui）=0+1xi该式被称为总体回归函数。如果两个或多个解释变量间出现了相关性，则说明该模型存在多重共线性问题。五、线性回归模型的检验1.拟合优度检验拟合优度检验用来验证回归模型对样本观测值（实际值）的拟合程度，可通过R2统计量来检验。五、线性回归模型的检验1.拟合优度检验公式三者的关系为TSS=RSS+ESSTSS为总体平方和，RSS为残差平方和，ESS为回归平方和。五、线性回归模型的检验1.拟合优度检验总体平方和（TSS）反映了样本观测值总体离差的大小，也被称为离差平方和；残差平方（RSS）说明的是样本观测值与估计值偏离的程度，反映了因变量总的波动中未被回归模型所解释的部分；回归平方和（ESS）反映了拟合值总体离差大小，这个拟合值是根据模型解释变量算出来的。五、线性回归模型的检验1.拟合优度检验拟合优度R2的计算公式为R2=ESS/TSS=1－RSS/TSS当回归平方（ESS）和与总体平方和（TSS）较为接近时，模型的拟合程度较好；反之，则模型的拟合程度较差。因此，模型的拟合程度可通过这两个指标来表示。五、线性回归模型的检验2.显著性检验变量显著性检验（t检验）检验中的原假设为：H0：i=0，备择假设为：H1：i≠0，如果原假设成立，表明解释变量x对被解释变量y没有显著的影响；当原假设不成立时，表明解释变量x对被解释变量y有显著的影响，此时接受备择假设。五、线性回归模型的检验2.显著性检验方程显著性检验（F检验）原假设为：H0：1=0，2=0，…，k=0，备择假设为：H1：i中至少有一个不为0，如果原假设成立，表明解释变量x对被解释变量y没有显著的影响；当原假设不成立时，表明解释变量x对被解释变量y有显著的影响，此时接受备择假设。五、线性回归模型的检验2.显著性检验方程显著性检验（F检验）F统计量为该统计量服从自由度为（k，n－k－1）的F分布。给定一个显著性水平α，当F统计量的数值大于该显著性水平下的临界值Fα（k，n－k－1）时，则在（1－α）的水平下拒绝原假设H0，即模型通过了方程的显著性检验，模型的线性关系显著成立。五、线性回归模型的检验3.异方差性检验（1）图示检验法图示检验法通过散点图来判断用OLS方法估计的模型异方差性，这种方法较为直观。通常是先将回归模型的残差序列和因变量一起绘制一个散点图，进而判断是否存在相关性，如果两个序列的相关性存在，则该模型存在异方差性。五、线性回归模型的检验3.异方差性检验（1）图示检验法检验步骤：建立方程对象进行模型的OLS（最小二乘）估计，此时产生的残差保存在主窗口界面的序列对象resid中。建立一个新的序列对象，并将残差序列中的数据复制到新建立的对象中。然后选择主窗口中的“Quick”|“Graph”|“Scatter”选项，生成散点图，进而可判断随机项是否存在异方差性。五、线性回归模型的检验3.异方差性检验（2）怀特（White）检验法检验步骤：用OLS（最小二乘法）估计回归方程，得到残差e。作辅助回归模型：求辅助回归模型的拟合优度R2的值。White检验的统计量服从χ2分布，即N·R2～χ2(k)其中，N为样本容量，k为自由度，k等于辅助回归模型（）中解释变量的个数。如果χ2值大于给点显著性水平下对应的临界值，则可以拒绝原假设，即存在异方差；反之，接受原假设，即不存在异方差。五、线性回归模型的检验3.异方差性检验（2）怀特（White）检验法White检验的统计量服从χ2分布，即N·R2～χ2(k)其中，N为样本容量，k为自由度，k等于辅助回归模型（）中解释变量的个数。如果χ2值大于给点显著性水平下对应的临界值，则可以拒绝原假设，即存在异方差；反之，接受原假设，即不存在异方差。五、线性回归模型的检验3.异方差性检验（2）怀特（White）检验法在EViews5.1软件中选择方程对象工具栏中的“View”|“ResidualTests”|“WhiteHeteroskedasticity”选项即可完成操作。五、线性回归模型的检验3.异方差性检验异方差性的后果：当模型出现异方差性时，用OLS（最小二乘估计法）得到的估计参数将不再有效；变量的显著性检验（t检验）失去意义；模型不再具有良好的统计性质，并且模型失去了预测功能。五、线性回归模型的检验4.序列相关检验方法：（1）杜宾（D.W.—Durbin-Watson）检验法（2）LM（拉格朗日乘数—LagrangeMultiplier）检验法五、线性回归模型的检验4.序列相关检验（1）杜宾（D.W.—Durbin-Watson）检验法J.Durbin,G.S.Watson于1950年提出了D.W.检验法。它是通过对残差构成的统计量来判断误差项ut是否存在自相关。D.W.检验法用来判定一阶序列相关性的存在。D.W.的统计量为五、线性回归模型的检验4.序列相关检验（1）杜宾（D.W.—Durbin-Watson）检验法如果，0D.W.dt，存在一阶正自相关dtD.W.du，不能确定是否存在自相关duD.W.4－du，不存在自相关4－duD.W.4－dt不能确定是否存在自相关4－dtD.W.4，存在一阶负自相关五、线性回归模型的检验4.序列相关检验（1）杜宾（D.W.—Durbin-Watson）检验法使用D.W.检验时应注意，因变量的滞后项yt-1不能作为回归模型的解释变量，否则D.W.检验失效。另外，样本容量应足够大，一般情况下，样本数量应在15个以上。五、线性回归模型的检验4.序列相关检验（2）LM（拉格朗日乘数—LagrangeMultiplier）检验法LM检验原假设和备择假设分别为：H0：直到p阶滞后不存在序列相关H1：存在p阶序列相关LM的统计量为LM=n·R2～χ2（p）其中，n为样本容量，R2为辅助回归模型的拟合优度。LM统计量服从渐进的χ2（p）。在给定显著性水平的情况下，如果LM统计量小于设定在该显著性水平下的临近值，则接受原假设，即直到p阶滞后不存在序列相关。五、线性回归模型的检验4.序列相关检验序列相关性的后果：用OLS（最小二乘估计法）得到的估计参数将不再有效；变量的显著性检验（t检验）失去意义；模型不再具有良好的统计性质，并且模型失去了预测功能。五、线性回归模型的检验5.多重共线性方法：（1）相关系数检验法（2）逐步回归法五、线性回归模型的检验5.多重共线性（1）相关系数检验法在群对象窗口的工具栏中选择“View”|“Correlations”|“CommonSample”选项，即可得到变量间的相关系数。如果相关系数较高，则变量间可能存在线性关系，即模型有多重共线性的可能。五、线性回归模型的检验5.多重共线性（2）逐步回归法当在回归模型中增加或减少解释变量个数时，如果拟合优度变化很大，说明新引进的变量是一个独立的解释变量，即它与其他变量间是相互独立的，模型不存在多重