第三章-非线性回归分析(江南大学-张荷观)

第三章非线性回归分析讨论直接对非线性回归模型的回归分析方法,即非线性回归模型的参数估计、假设检验和预测方法。第一节非线性回归模型一、简非线性模型简介非线性回归模型在经济学研究中有着广泛的应用。有一些非线性回归模型可以通过直接代换或间接代换转化为线性回归模型,但也有一些非线性回归模型却无法通过代换转化为线性回归模型。消费函数模型其中x是居民收入,y是居民消费。(3-1)式为一元非线性回归模型(当已知时成为一元线性回归模型),并且无法通过代换转化为线性回归模型。xy1(3-1)设消费函数模型生产函数模型柯布—道格拉斯生产函数模型LAKy其中L和K分别是劳力投入和资金投入,y是产出。由于误差项是可加的,从而也不能通过代换转化为线性回归模型。对于联立方程模型,只要其中有一个方程是不能通过代换转化为线性,那么这个联立方程模型就是非线性的。(3-2)二、非线性模型的建立和假设单方程非线性回归模型的一般形式为),,,;,,,(2121pkxxxfykxxx,,,21其中是模型的k个解释变量,是模型的p个未知参数,f是一个非线性函数,是模型的误差项。关于误差项的假设,也是满足独立、等方差、不相关和零均值,也可以进一步假设误差项服从正态分布。p,,,21(3-3)第二节非线性回归模型的参数估计一、非线性计量经济分析的基本思路建立非线性计量经济模型的基本思路与建立线性计量经济模型是相似的,也是根据经济理论或实际数据建立初步模型,然后估计模型中的未知参数,通过对模型的检验,最后确定模型。非线性计量经济分析仍以回归分析为核心,也称为非线性回归分析。最小二乘估计非线性回归分析的参数估计有两种基本方法:最大似然估计和最小二乘估计,这里介绍最小二乘估计。若把最小二乘估计记为,那么应使残差平方和达到最小,即pbbb,,,21pbbb,,,21221211,,,),,,;,,,(min21pkniibbbbbbxxxfySppbbb,,,21(3-4)由于回归函数f是的非线性函数,一般无法对正规方程组通过解析的方法求解,而必须用某种搜索法或迭代算法获得参数的最小二乘估计。二、搜索法1.直接搜索法直接搜索法是把参数的所有可能取值都代入S,使S达到最小的取值即为参数的估计值。直接搜索法原理简单,但只适用参数个数少,且参数的可能取值也少(或对参数估计的精度要求不高)的情况。2.格点搜索法格点搜索法的效率高于直接搜索法。格点搜索法不是是把参数的所有可能取值都代入S,而是按一定规律把部分取值代入S。例1设只有一个参数,的可能取值为区间。先把区间10等分,然后分别把代入S,设使S最小,再把新区间10等分,重复上述方法,使参数的可能取值范围不断减小,直到满足精度要求或收敛标准,即得参数的最小二乘估计。上述算法表明,当S存在唯一最小值时,格点搜索法才是有效的。],[babaabaaabaaabaaaa109210),(9.0,),(2.0),(1.0,ia],[11iiaabaaaaaaai1092101ia1ia例2设有二个参数,的可能取值为图3–1的矩形。先把矩形等分为10行10列,然后分别把所有的可能取值代入S,设使S最小。再以相邻的4个小矩形作为参数新的可能取值范围,重上述方法,使参数的可能取值范围不断减小,直到满足要求,即得参数的最小二乘估计。直接搜索法和格点搜索法都是低效的,在实际工作中很少采用。21,),(21),(1211),(1211三、高斯–牛顿(Gauss-Newton)法高斯–牛顿法是一种常用的迭代法。非线性回归模型不能通过变换转化为线性回归模型,但可以利用泰勒展开式转化为线性回归模型。设非线性回归模型记,高斯–牛顿法的具体方法如下。),,,;,,,(2121pkxxxfy),,,(21p(1)先取参数的一组初值,根据泰勒级数并只取线性项,得),,,(020100pbbbB'100201021'010110201021)(),,,;,,,()()(),,,;,,,(000piiiBipkppBpBpkbfbbbxxxfbfbfbbbxxxfy'其中为和泰勒展开式的高阶项之和。整理得'101020102100),,,;,,,(iBpiiiBpiipkfbfbbbxxxfy(3-6)最小二乘估计令对给定的初始值,和都是确定的。则得线性回归模型pifZbfbbbxxxfyMBiiiBpiipk,,2,1,),,,;,,,(00010201021(3-7)0BiZM从而,由上式可求得的最小二乘估计。'2211ppZZZM),,,(12111pbbbp,,,21(2)把作为新的初始值,再次利用泰勒展开式,可得到一组新的估计。重复上述方法,直到参数估计值收敛或满足要求的精度,最后所得的估计就是参数的估计值。),,,(12111pbbb),,,(22212pbbb),,,(21pjjjbbb高斯–牛顿法的另一种思路根据最小二乘估计的定义,最小二乘估计应使残差平方和达到最小。求解正规方程组的困难在于f不是的线性函数,从而可对f采用一阶泰勒展开式近似。这与直接对f采用一阶泰勒展开式近似是相同的。pbbb,,,21221211),,,;,,,(pkniibbbxxxfySpbbb,,,21四、牛顿–拉夫森(Newton–Raphson)法牛顿–拉夫森法可以看作是高斯–牛顿法的改进。牛顿–拉夫森法不是作非线性函数f的线性近似,而是直接对残差平方和S取最小的一阶条件作一阶泰勒展开式近似。一个参数时的牛顿–拉夫森法设只有一个参数的非线性回归模型,是的估计值。残差平方和取最小的一阶条件b取初始值,对采用一阶泰勒展开近似0bb)('bS0)('bS))(()()(00''0''bbbSbSbS)(bS0))(()(00''0'bbbSbS(3-9)由于,从而)()(0''0'0bSbSbb0)('bS整理得(3-11)则上式作为的近似估计值,并可作为新的初始值。重复上述上述方法,直到参数估计值收敛或满足要求的精度。(3-10)多元非线性回归模型的牛顿–拉夫森法),,,(21pbbbB),,,(21p取初始值,对采用一阶泰勒展开近似得0BB)(Bg0)()(BBSBg))(()()(000BBBHBgBg)(BS0))(()(000BBBHBg其中是在处的二阶导数矩阵。由于,于是)()(0010BgBHBB0)(Bg即(3-12)设参数向量,估计量向量,残差平方和取最小的一阶条件0B)(BS)(0BH(3-13)则上式作为的近似估计值,并可作为新的初始值。重复上述上述方法,直到参数估计值收敛或满足要求的精度。五、迭代算法的初始值和收敛性高斯–牛顿法和牛顿–拉夫森法都是迭代算法,从而都有初始值的选择和迭代收敛性问题。(一)初始值问题(1)对给定的非线性回归模型,初始值越接近真值,迭代速度则越快。(2)当残差平方和不满足整体唯一最优解的条件时,不同的初始值可能会有不同的结果(不同的局部最优解)。通常,初始值应尽量接近真值。但初始值的选择并没有一般的法则,而只有一些经验方法。(1)利用参数的经济意义一般的经济计量模型的参数都有明确的经济意义,这些参数的通常取值范围可以作为选择初始值的参考。例如,柯布—道格拉斯生产函数模型321LKy根据和与的经济意义,可由实际数据选择初始值。12y(2)模型函数及其导函数在特定点的性状根据解释变量的某些特定值,也可为选择初始值提供帮助。例如函数())10(213xey03由于时时根据这些特定值,也有助于选择初始值。21y10x1yx(3)变换模型及其分析对于回归模型xxy21由于1112xxyE21)((3-15)(3-16)即xyE11)(1121根据一元线性回归,求出和的估计,从而得和的估计,并可把它们作为初始值。12(4)降维法对于回归模型yc令,则(3-17)成为一元线性回归模型ba,,,00bbaa(3-17)(3-18)并在的条件下求得的估计。则可取作为初始值。1,yc110避免失误的方法由于初始值的选择并没有一般的法则,通常可用几组不同的初始值分别进行迭代计算,这是避免失误的一种重要方法。当从不同的初始值得到不同的估计值时,可能是采用的算法有问题,也可能是回归模型的问题。(二)收敛性和收敛标准理论上,参数估计值b应使,即满足残差平方和最小的一阶条件。但由于计算中的误差和实际的运算次数,收敛不是以为标准。对给定的,判断收敛和停止迭代的常用标准有以下3种。(1)若残差平方和趋于稳定,即时可停止迭代。(2)若参数估计值趋于稳定,即时可停止迭代。(3)若近似满足残差平方和最小的一阶条件,即时可停止迭代。在实际工作中这几个标准可替换,但无明显优劣,一般可同时使用。0)('bS0)('bS0)()(1iibSbSiibb1)(1ibg第三节非线性回归评价和假设捡验与线性回归分析一样,非线性回归分析在建立回归方程后进行评价和捡验。主要有回归方程拟合度的评价,以及回归方程和回归系数的显著性捡验等。非线性回归的最小二乘估计不是BLUE,但一般条件下是一致估计。一、决定系数决定系数和调整决定系数为11)1(1)()ˆ(12212122knnRRyyyyRniiniii(3-19)(3-20)可作为样本数据与回归模型的拟合优度,即所选非线性回归模型的合理程度。二、t捡验和F捡验采用高斯–牛顿法进行参数估计时,根据泰勒级数把非线性回归模型线性化。从而,对于非线性回归模型的回归系数和回归方程显著性捡验也可转为对线性回归模型的捡验,即对最后一次线性近似作捡验。但是,这时的统计量只是近似地服从相应的分布。三、参数显著性的F捡验对于非线性回归模型,也可以直接作显著性捡验。对回归系数的一般捡验,也可转为对线性回归模型的捡验)()()()(),(knBSgBSBSkngFR(3-21)近似服从,是全模型(未受约束的回归模型)的残差平方和,而是约简型(满足约束的回归模型)的残差平方和,g是约束条件的个数。当时在水平上拒绝原假设。),(kngF)(BS),(kngFF)(RBS四、似然比捡验(likelihoodratiotest)统计量设误差项服从均值为0的正态分布,则对数似然函数为)ln()ln()ln()()(ln2''''RRRRReeeenneeneenBLBL(3-23))ln()2ln(121)(ln)ln()2ln(121)(ln''neeBLneeBLRRR)(2g(3-24)其中e是残差向量。从而似然比统计量对于大样本,近似服从。从而当时在水平上拒绝原假设。非线性回归检验的方法还有沃尔德捡验和拉格朗日乘数捡验等,这些方法本质上都相似。)(22g(3-25)第四节非线性回归分析的预测非线性回归分析与线性回归分析一样,可利用回归方程作预测。若解释变量取值为,则y的预测为),,,;,,,(ˆ21020100pkbbbxxxfy02010,,,kxxx但非线性回归不能给出一般的区间预测公式,通常只能采用各种近似方法,从而在实际工作中很少使用区间预测。第五节非线性回归参数估计示例设消费函数模型yC(3-28)其中C是消费,y是总收入,是三个参数。当时上式成为线性回归模型,而只有