第九章-非线性回归与极大似然估计

第九章非线性回归与极大似然估计一、非线性最小二乘估计之前我们讨论的单方程回归模型都是因变量关于参数线性的，都可通过一定的变换化为标准线性回归模型。本质上非线性的回归模型因变量关于参数是非线性的，不能变化为线性回归模型。uXXY2122110如非线性回归模型：uXXXfYpk),,,,,(2121其中f是k个自变量和p个回归系数的非线性函数。用来决定系数估计值的标准与线性回归的标准一样，即误差平方和最小化，称为非线性最小二乘估计。在线性回归情况下，求最小乘估计在计算上很简单。对于非性方程，有若干不同的寻找使误差平方和达到最小的系数估计方法。泰勒级数展开法（循环线性法）：uXXXfYpk),,,,,(2121对非线性函数:,,,02010后的所有高次项得并略去所有二次项和以展开为泰勒级数在该处附近将对给定的初始值，fpufXXXfYiipiipk)(|)(),,,,,(0102010210uffXXXfYpiiipiiipk00|)(|)(),,,,,(11002010210|)(if令左边为一个新的因变量，右边为一组新的自变量，为未知参数，则原模型转化成线性模型，可以用普通最小二乘法来估计这些参数。),,(21p得到新的线性回归方程值并把它们作为新的初始的第一次估计值记为将,),,,(),,(1211121ppuffXXXfYpiiipiiipk11|)(|)(),,,,,(1111211121对这个方程运用普通最小二乘法，得到一组新估计值。不断重复这个重新线性化的过程直到估计的参数收敛。),,(22212p二、极大似然估计法1、极大似然估计的思想.ˆˆ);(max)ˆ;()ˆ;(,,)ˆ;(ˆ.);(,,,);();(:,,.),;(1111MLnnnin，XLXL，。XLXXX，LXLXXXpXLXXXp记为极大似然估计值的作为的用满足所以值越大因此被抽取的真实概率越接近越接近真实值的估计值为似然函数称被抽取的概率反映度函数为因此随机样本的联合密取自总体相互独立的随机样本为未知参数为设总体分布的密度函数.);(ln.0);(ln);(ln);(称为对数似然函数估计值来得到参数的极大似然求导并使之等于对所以一般通过将有相同的极值点与因为XLXL，XLXL2、标准线性模型的极大似然估计])(21exp[21)(),,(~,2222iiiiiiiiiXYYpXNYY，uXY为其概率密度函数可表示即服从正态分布每一个标准线性模型则似然函数是密度函数在所有N个观测处取值的连乘积：])(21exp[)2(1)()()(),,,,,(22222121iiNNNXYYPYPYPYYYL。，，，Y，YN值和达到大的即求使对数似然函数的值和的参数测值寻找最可能生成样本观极大似然估计的目标是1222)()2/()ln()2/()2ln()2/(iiXYNNLnL对数似然函数NXYXYXXYYXXiiMLMLiiiML222)ˆˆ(ˆˆˆ;)())((ˆ:,,极大似然估计量得求偏导并令它们等于零令对数似然函数对。，，，OLS，，MLMLMLML的渐近有效估计量仍是但可以证明的有偏估计量却是虽然是一致的但是最优线性无偏估计量和因此估计量完全相同的极大似然估计量与显然2222ˆ)(ˆˆˆ3、非线性模型的极大似然估计])),,,,,((21exp[21),,(0),,,,,(22121222121pkiiiiiipkXXXfYXYp，YX，uu，XXXfY的密度函数可写成和那么给定的正态分布服从均值为假设对非线性函数2212122)),,,,,(()2/()ln()2/()2ln()2/(),(pkiiiiiiXXXfYNNXYpLnLN数为个观测值的对数似然函则。。，pp，渐近有效的量都是一致的和但最终的极大似然估计求解过程较复杂个非线性方程组未知数可得到关于求偏导并令它们等于零和个令对数似然函数对每一11三、似然比检验和拉格朗日乘数检验这两种检验所用统计量都是基于极大似然估计法的计算,可用于检验数据是否支持某些参数限制条件。1、似然比检验（LR）.)()(,)(,)(0URRRURLnLLnLLnLLnL，则似然比定义为的极大值似然函数代表有限制条件时对数的极大值数似然函数代表没有限制条件时对设的原假设如果我们希望检验一些LnL越大表明对数据的拟合程度越好，分母来自无条件模型，变量个数越多，拟合越好，因此分子小于分母，似然比在0到1间。分子是在原假设成立下参数的极大似然函数值，是零假设的最佳表示。而分母则表示在在任意情况下参数的极大似然函数值。比值的最大极限值为1，其值靠近1，说明局部的最大和全局最大近似，零假设成立可能性就越大。用来对原假设进行检验的似然比统计量定义为：)()(ln2))(ln)((ln2URRURRLLLLLR。，，，LR。mLRmm0,~22不全为即所希望检验的认为限制条件不成立则拒绝原假设临界值的大于给定显著性水平下若为限制条件的个数例：我们要讨论线性回归模型是否应该加入一些重要变量的问题：似然比检验在计量经济模型选择上的应用)(:)(:22112210无约束条件的饱和模型有约束条件模型uXXXYHuXXYHkkmkmkmkmk在零假设成立的条件下，约束模型的极大对数似然函数为；非约束模型的极大对数似然函数为)(RLnL)(URLnL2)(~))(ln)((ln2mURRLLLR。，，，LRm约束条件不成立则拒绝原假设反之约束条件成立则接受原假设若;,2)(2、拉格朗日乘数检验（LM）)(:)(:22112210无约束条件的饱和模型有约束条件模型uXXXYHuXXYHkkmkmkmkmk检验思路：.0.0,RURRURURLnL，，LnL即非常接近的极大似然估计量应与不施加约束条件下的极大似然估计量则施加约束条件下若约束条件成立有估计量对于非约束的极大似然。，LnLLMR则约束条件不成立显著地不为零检验的原理是若LM检验的实际步骤：假定已经估计了约束模型121ttqqttyxxu考虑是否将剩余的k-q个变量加入模型，构成一个无约束条件的模型1211(1)ttqqtqqttkkttyxxxuxu检验的假设01:0qkH11:,,qkH至少一个不为零首先，用OLS法估计约束模型，计算残差序列qtqtttxxyeˆˆˆ221然后，建立LM的辅助回归式如下：ttkktqqtvxxe,,110如果辅助回归式中另外加上的变量都是“无关紧要”的，系数显著为零，R2非常小，则当我们从有约束的模型变动到无约束的模型时，加进来的k-q个变量的系数应该为零，原假设成立。反之，辅助回归式的拟合优度十分好，R2非常大，则从有约束的模型变动到无约束的模型时，加进来的k-q个变量的系数至少有一个显著不为零，则接受备择假设。最后，用辅助回归式得到的R2计算LM统计量的值LM=NR2，LM服从m个自由度的2(m)分布，其中m表示约束条件个数。若LM2(m)，则拒绝原假设,说明加进来的k-q个变量的系数至少有一个显著不为零。