计量经济学：一般估计方法(NLS、GLS、GMM、逐步筛选、对数极大似然)

版权所有，请勿直接复制、转载10*一般估计方法回归方程的估计在特定的条件下选择适当的估计方法会使得结果更加接近实际，更具有说服力。满足古典线性回归模型的基本假设条件下，利用普通最小二乘法（OLS）估计出来的系数具备优良的线性无偏最小方差（BLUE）的性质。如果一些条件不能满足，例如出现非线性模型、异方差、序列相关等情形，就无法得到这样的性质。并且在面对因变量有影响而难以取舍或特殊的计量模型时，就需要改进估计方法以获得更加满意的估计结果。下面依次介绍几种常见的一般估计方法：非线性最小二乘法（NLS）、广义最小二乘法（GLS）、广义矩阵法（GMM）、逐步筛选最小二乘法、对数极大似然估计法。10.1非线性最小二乘法最小二乘法适用的古典假设之一是回归模型是线性的，然而社会经济现象是极其复杂的，有时被解释变量与解释变量之间的关系不一定是线性的。例如柯布.道格拉斯(Cobb-Dauglass)生产函数模型:321ttttyLKu，t=1，2，...，T（10.1.1）对此方程（10.1.2）进行对数变换，如下式123lnlnlnttttyLKu（10.1.2）虽然式（10.1.2）的变量是非线性形式，此时我们仍能采用估计线性模型的方法，因此模型是参数线性的。反之，就是参数非线性的，我们就要采用非线性的估计方法。构建下面的非线性模型：(,)tttyfxu，t=1，2，…，T(10.1.3)式中，y是被解释变量，x为解释变量（向量），tu为误差项，为待估计的K维参数向量12(,,...,)k，T是样本个数。此处讨论的是，f关于参数的导数仍含参数本身，即参数非线性模型。非线性最小二乘估计是要选择参数向量的估计值ˆ使残差平方和S(ˆ)版权所有，请勿直接复制、转载最小：21ˆˆ()(,)TtttSyfx（10.1.4）求解方程，对每个参数分别求偏导数并令这些偏导数为0，得到方程组：1ˆˆ(,)()ˆ2(,)0ˆˆTttttiifxSyfx，i=1，2，...，k（10.1.5）对于参数非线性模型，无法利用普通最小二乘的方法直接求解式（10.1.5）。下面介绍完成非线性最小二乘估计（nonlinearleastsquare，NLS）的一种方法：牛顿-拉夫森（Newton-Raphson）方法。利用泰勒级数展开式，在考虑式（10.1.3）中只有一个参数（即k=1）的情形下，进行逐次线性逼近。取泰勒展开式级数的前两项，略去f展开式第三项以后的所有高阶项，即可得：(0)(0)2(0)(0)(0)22ˆˆˆˆdS1ˆˆˆˆˆˆ()())()ˆˆ2dSSSdd（(10.1.6)使式(10.1.6)极小的一阶条件为(0)(0)2(0)ˆˆˆˆˆˆˆ()()ˆˆ()0ˆˆˆdSdSdSddd（）(10.1.7)则有(0)(0)12(0)2ˆˆˆˆˆˆd()ˆˆˆˆSdSdd（)（10.1.8）以(0)ˆ为初始值，利用式（10.1.8）可以得到新的值(1)ˆ，这样重复上述过程，反复迭代直至连续两次得到的参数估计相差小于给定的确定的标准，0，即(1)()ˆˆll成立，也即迭代收敛，则停止迭代。所得到的()ˆl即为未知参数的估计值ˆNLS。如果式（10.1.3）中含有多个参数，即k1时，牛顿-拉夫森方法中参数向量通过下式进行迭代：(1)()1ˆˆllllHg（10.1.9）版权所有，请勿直接复制、转载其中：()2()'ˆˆˆ()ˆ()ˆˆlllSHH，()()ˆˆˆ()ˆ()ˆlllSgg这种情况较为复杂，并不能保证得到的值最小，有可能只是局部的极小值。因此，需要选择不同的初值，多次迭代。若掌握的信息足够充分，所赋予初值可能很快达到最小值。10.2广义最小二乘法古典线性回归模型的另两个基本假设：a.误差项观测值iu不存在序列相关性，即cov(,)0ijuu，ij;b.误差项不存在异方差性。若模型被检验证明即存在异方差，同时又存在序列相关，则需要发展新的方法估计模型，最常用的估计方法是广义最小二乘法（generalizedleastsquared，GLS）。普通最小二乘法和加权最小二乘法是它的特例。有单方程线性模型yX（10.2.1）其中2()0()EE（10.2.2）式（10.4.1）中：01(,,...,)k为（k+1）维系数向量，12(,,...,)Nu为1N维随机扰动项向量，y为1N维因变量数据矩阵，X为(1)Nk解释变量数据矩阵。式（10.4.2）中2未知，是一个nn阶的正定对称矩阵111212122212nnnnnnnn（10.2.3）且模型满足其他基本假定，则称（10.4.1）为广义线性模型。设=DD，用1D左乘式（10.4.1）两边对原模型进行变换得，111DyDXDu（10.2.4）版权所有，请勿直接复制、转载令1yDy，1XDX，1uDu，就得到一个参数向量与原模型相同的新的线性回归模型，即（10.4.4）变为yXu（10.2.5）此时1111()()()()EuuEDuuDDEuuD1212112()()nDDDDDDI（10.2.6）变换后的模型（10.4.5）具有同方差和无序列相关性满足古典假定，于是可以用普通最小二乘法估计量模型，得到参数的广义最小二乘估计量为111111()[()]()bXXXDDXXDDy111()XXXy（10.2.7）（10.4.7）称为原模型（10.4.1）的广义最小二乘估计，是有效的无偏估计，记作GLS。由于OLS法是GLS法的特例，在使用统计软件估计模型时，作为一个一般的经验方法，人们直接采用GLS法。如果确实存在异方差性和序列相关性，则被有效地消除了；如果不存在，则GLS法等价于OLS法。10.3广义矩估计广义矩阵法（GeneralizedMethodofMoments，GMM）也是一种常见的方法，由于限制条件少，对于带有预期变量模型的估计非常有效。(1)参数的矩估计参数的矩估计就是用样本矩去估计总体矩。例如，12,,nyyy是从正态分布总体2(,)N中抽取的一组样本观测值，那么可以从样本观测值计算样本一阶（原点）矩和二阶（原点）矩，然后去估计总体一阶矩和总体二阶矩，再进一步计算总体参数（期望和方差）的估计量。即(1)11niiXyn(2)211niiXyn分别为样本的一阶矩和二阶矩，于是总体一阶矩和总体二阶矩的估计量为：版权所有，请勿直接复制、转载(1)(1)11ˆ()niiMEYXyn(2)2(2)211ˆ()niiMEYXyn其中，()EY，222()EY，于是(1)(1)ˆˆ()MEYX2(2)(1)2(2)(1)2ˆˆ()()MMXX（2）参数的广义矩估计在上面的例子中是选择两个样本矩估计总体的两个参数。如果选择的矩估计方程个数多于待估参数个数，要确定参数估计值，广义矩估计方法就应运而生。设样本的r个矩为()iX，1,,ir，对应r个总体矩为()()iM，1,,ir。()()iM为待估总体参数（向量）的函数，且r大于待估总体参数的个数。则最小二乘矩的参数估计量是使下式最小的参数估计量ˆ。()()21()(())riiiQXM上式中，想要某些矩的作用大些，这就想到加权最小二乘法、广义最小二乘法。写成向量形式，记(1)()(,)rXXX，(1)()(,,)rMMM，则加权最小二乘可定义为：1()()()QXMSXM其中S是关于XM的协方差阵。参数的GMM估计就是使得()Q达最小的ˆ。GMM估计是一个大样本估计。在大样本的情况下GMM估计量是渐近有效的，在小样本情况下是无效的。所以，只有在大样本情况下，才能使用GMM方法进行参数估计。（3）线性回归模型的GMM参数估计下面考虑多元线性回归模型的GMM参数估计，假设回归方程为tttyxu，t=1，2，...，T(10.3.1)式中：解释变量向量12(,,...,)tttktxxxx，参数向量12(,,...,)k，T是样本个数。对于k维单方程参数向量的GMM估计，由于解释变量向量tx与随机版权所有，请勿直接复制、转载扰动项tu可能相关，因此可以假设存在含有L（Lk）个分量的工具变量向量tz与随机扰动项不相关，（如果假设tx与随机扰动不相关，tz就是tx），t时刻含有L个变量的向量tz与tu满足L个正交的矩条件：()0ttEzu（10.3.2）式中：11(,,...,)tttLtzzzz是L维向量。相应的L个样本矩为1()mzubT（10.3.3）式中：Z是工具变量数据矩阵，()ub是式（10.3.2）的残差序列。选择参数估计量b，使式（10.3.3）所示的加权距离最小。21()()QubAzubT（10.3.4）样本矩m的协方差矩阵为21cov(,)zuuzT（10.3.5）可以使用White异方差一致方差或Newey-WestHAC一致协方差估计矩阵，则1A。由此可见，广义矩估计（Generalizedmethodofmoments，GMM）是一个稳健估计量，因为它不要求扰动项的准确分布信息，允许随机误差项存在异方差和序列相关，所得到的参数估计量比其他参数估计方法更合乎实际。而且普通最小二乘法、广义二乘法和极大似然法都被证明是GMM法的特例。10.4逐步筛选最小二乘法（1）基本思路在线性回归中往往会发生多重共线性现象，使回归分析无法得到可靠的结果。逐步回归分析(stepwiseleastsquaresSTEPLS)的实施过程是每一步都对版权所有，请勿直接复制、转载已引入回归方程的变量计算其偏回归平方和(贡献),然后选一个偏回归平方和最小的变量,在预先给定的水平下进行显著性检验,如果显著则该变量不必从回归方程中剔除,这时方程中其它的几个变量也都不需要剔除(因为其它的几个变量的偏回归平方和都大于最小的一个更不需要剔除)。相反,如果不显著,则该变量要剔除,然后按偏回归平方和由小到大地依次对方程中其它变量进行检验。将对影响不显著的变量全部剔除,保留的都是显著的。接着再对未引人回归方程中的变量分别计算其偏回归平方和,并选其中偏回归平方和最大的一个变量,同样在给定水平下作显著性检验,如果显著则将该变量引入回归方程,这一过程一直继续下去,直到在回归方程中的变量都不能剔除而又无新变量可以引入时为止,这时逐步回归过程结束。（2）逐步回归分析的主要计算步骤a.确定检验值：在进行逐步回归计算前要确定检验每个变量是否显若的检验水平,以作为引人或剔除变量的标准。检验水平要根据具体问题的实际情况来定。一般地,为使最终的回归方程中包含较多的变量,水平不宜取得过高,即显著水平α不宜太小。水平还与自由度有关,因为在逐步回归过程中,回归方程中所含的变量的个数不断在变化,因此方差分析中的剩余自由度也总在变化,为方便起见常按计算自由度。为原始数据观测组数,为估计可能选人回归方程的变量个数。b.逐步计算：如果已计算步(包含＝0),且回归方程中已引入个变量,则第步的计算为:()计算全部自变量的贡献(偏回归平方和)。()在已引入的自变量中,检查是否有需要剔除的不显著变量。这就要在已引入的变量中选取具有最小值的一个并计算其值,如果,表示该变量不显著,