必要条件若函数f(x,y)在点P(x0,y0)存在两个偏导数,且P(x0,y0)是函数f(x,y)的极值点,则0),(0),(0000yxfyxfyx与驻点充分条件若函数z=f(x,y)在点P(x0,y0)的某邻域内连续且存在一阶及二阶偏导数,又0),(0),(0000yxfyxfyx与令),(),,(),,(000000yxfCyxfByxfAyyxyxx则0)1(2BAC时具有极值,且当A0时有极大值,当A0时有极小值。2)2(BAC0时没有极值0)3(2BAC不能确定n元函数取得极值的条件?梯度Tnxfxfxfxf],,,[)(21),,,()(21nxxxfxfn元函数设具有偏导数,nnRxxxx*),*,*,(*21点Hesse矩阵22221222222122122122122)(nnnnnxfxxfxxfxxfxfxxfxxfxxfxfxf必要条件若n元函数f(x)在存在偏导数,且x*是函数f(x)的极值点,则0*)(xf一阶条件二阶条件是极小存在二阶连续偏导数,元函数设*)(xxfn半正定且值点,则*)(,0*)(2xfxf公式有,由令显然。证明:TaylordxxRdxfn*,0*)(ddxfdxfxfT)*(21*)()(022nTRddxfd,0*)(2122,取极限得两边同除二阶充分条件则存在二阶连续偏导数,元函数设,0*)()(xfxfn的严格极小值点;是正定时,当)(**)()1(2xfxxf的严格极大值点;是负定时,当)(**)()2(2xfxxf的极值点;不是不定时,当)(**)()3(2xfxxf证明:,则设邻域内任意一点,不妨是设dxxxx**ddxfdxfxfT)*(21*)()(22,,*)()(2则可选择正定二阶连续偏导数,且由于函数xfxf0)*()*,(*2ddxdxUdxT,且使得所以的严格极小值点。是,即)(**)()(xfxxfxf对于多元函数的条件极值,在高等数学中给出Lagrange乘子法。Lagrange乘子法只给出可能极值点,没有给出判别这些点究竟是否是极值点的方法,也没有给出判别是极大值点还是极小值点的方法。问题:对于一般的有约束极值问题,取得极值的条件是什么?一般的约束极值问题:元函数都是其中,nxcxfRxmmjxcmixcstxfinejei)(),(,,,1,0)(,2,1,0)(.)(min几个概念:可行域:},,1;,,2,1,0)(,0)(,|{mmjmixcxcRxxXeejin可行方向:],0[,*0,0,*tXtdxRdXxn,使得如果存在设)*,(**XxFDxXxXd记为处的所有可行方向集合在处的可行方向。在是则称(1)指标集},0)(|{)(},,1{},,2,1{IjxcjxImmImEXxjee,令设起作用集处的起作用集。称为在,集合xxIExAXx)()(起作用约束在x的领域限制了可行点的范围。当点沿某些方向稍微离开x时,仍能满足约束条件;而沿另一些方向离开x时,不论步长多么小,都将违背这些约束。对于非起作用约束(ci(x)0),x是否是局部最优解与这些非起作用约束无关。序列可行方向:处的序列可行方向在是,则称和且有使得,和如果存在序列设*0*),2,1(0),2,1(,,*xXdddXdxkkdRdXxkkkkkkn)*,(*XxSFDxX的集合记为处的所有序列可行方向在序列可行方向的性质设ci(x)在x处可微,则有),(XxSFDd)(,0)())((,0)(EjdxcxIjdxcTjTj,则和且有使得,和0,),2,1(0),2,1(),,(kkkkkkddXdxkkdXxSFDd证明公式,有由TaylorxIj),()()()()(0kkTjkjkkjodxcxcdxc0)(dxcTjk,取极限得两边除性质10)(,0)(0)(0)(,dxcxcxcxcEiTiiii故,且,等价于同样可证性质2设fi(x)在x*处可微,且取得局部极小值,则0*)()*,(dxfXxSFDdT,有必要条件,0*)(,0*)(*)(-T)-K),,,2,1(*))(*)(*)((1*))(()(1IixcxcxfmixIExAixcxIEixcxfiiiiimiiii(使得线性无关,则必存在且)的局部最优解,是问题(连续可微。设,设说明线性表示可用*)(*)(xcxfi0)(1xc0)(2xc0)(3xc*)(1xc*)(2xc*)(xf*x1x2xLagrane函数)()()()(),(1xcxfxcxfxLiimiTK——T条件等价于IjxcIjxcEixcxLjjjjix0,0*)(,0*)(,0*)(0)*,(λi称为Lagrange乘子Lagrange乘子法x*称为K——T点一阶条件证明)0*),((*)(*)(i*)(即可取xIIixcxfiixIEi首先证明集合非空*)(1*)(,0*)(xIixcdEixcdiTiT由于该方程组的系数矩阵的行向量组线性无关,所以该方程组有解正交。与且则)*)((,0*,EixcddSdi考虑函数方程组准正交基在法空间中任取一组标为空间,维空间,其法空间是生成),1,,2,1(11}*),(,*),({1eieemmnidmnmdxcxce0*)(1,,2,10*)(,,2,1,0)(xxdmnixxdmixcTeTiei存在定理矩阵可逆,根据隐函数处的由于该方程组在Jacobixx*考察方程组*)}(,0*)(;,0*)(|{*xIixcdEixcddSiTiT是SFD(x*,X)的子集220/|)()(ddxxx且满足,必存在解对充分小的),,2,1(,0))((emixc由于)(于是,eiTiTimidxcdxcxxcdd,,2,1,0/*)(*)(]|)([|))((2200)(又因为*)(,0/*)(*)(]|)([|))((2200xIidxcdxcxxcddiTiTi都是可行点从而,所以对充分小的)(,0))((0xxxci,//*))((,)(,0,022ddxxXxkkkkk由于且取)*,(*)*,(XxSFDdSdXxSFDd。于是所以而SFD(x*,X)是闭集,所以S*的闭包cl(S*)SFD(x*,X),即)*,(*)}(,0*)(;,0*)(|{*)(XxSFDxIixcdEixcddScliTiT0*)(*)(*xfdScldxT,有是局部最优解,所以由于下面证明,0*)(,0*)(*)(1Iixcxcxfiiiiimii且使得必存在),,(*));(,*),(()/,,)((,11112211emnTTTTddDxcxcNddDNNNJdDNJ其中,,0*)(,0*)(*)(1Iixcxcxfiiiiimii且使得假设不存在}0,*),(*)(|{*)(1jijjxIjiimiRxcxcaaWe考虑集合WaadxfdRdWWxfTTn,0*)(*)(,使得必存在离定理是闭凸锥,根据凸锥分。由于显然下面证明d∈cl(S*)),,2,1,0*)(0*)(,0*)(),,2,1(*)(,*)(,0eiTiTiTeiimixcdxcdxcdmiWxcWxc(,于是,于是有*)(0*)(xIixcdiT,同理可证:于是,矛盾,从而0*)()*,(*)(xfdXxSFDScldT,0*)(,0*)(*)(1Iixcxcxfiiiiimii且使得必存在所以定理得证一阶充分条件)的局部严格极小点。是问题(则处连续可微,且在,设1*)*,(0,0*)(*),,2,1)(()(,*xXxSFDdxfdxmixcxfXxTi证明.**,*)()(*xxxxxfxfXxxkkkk,且有使得则存在不是局部严格极小点,如果222*,*/*)(.*/*)(xxxxxxddxxxxkkkkkkk令假设。则)*,(XxSFDd,由于)()*(*)()(kkkTkkkodxfdxfxf矛盾,这与所以0*)(0*)(xfdxfdTT二阶条件线性化零约束方向集设x*是K——T点,λ是相应的Lagrange乘子,d∈Rn。如果则称d是在x*处的线性化零约束方向。在x*处的所有线性化零约束方向的集合记为G(x*,λ)*)(,0*)(*)(,0*)(,0*)(xIixcdxIixcdEixcdiTiiTiT序列零约束方向集设x*是K——T点,λ是相应的Lagrange乘子。如果存在序列dk∈Rn和δk0(k=1,2,…)使得0)*(,0,,*1kkiimikkkkdxcddXdx则称d是在x*处的序列零约束方向。在x*处的所有序列零约束方向的集合记为S(x*,λ)。可证S(x*,λ)G(x*,λ)二阶必要条件设x*是问题(1)的局部极小点,λ是相应的Lagrange乘子。则必有)*,(,0)*,(2xSddxLdxxT阵是其中HessexLxcxfxcxfxLxxiimiT),(),()()()(),(21证明00),*,(ddxSd设,则显然成立。下面假如果则存在序列dk∈Rn和δk0(k=1,2,…)使得0)*(,0,,*1kkiimikkkkdxcddXdx因此)()*,(21*)()()*,(21)*,(),*()*(222222kkxxTkkkkxxTkkkkkkodxdxfodxdxLdxLdxf由于x*是问题(1)的局部极小点,对充分大的k有0)*,(/)()*,(210*)()*(2222dxdodxdxfdxfxxTkkkxxTkkk。于是充分条件设x*是K——T点,λ是相应的Lagrange乘子。如果*)}(,0*)(*);(,0*)(;,0*)(|{)*,()*,(0,0)*,(2xIixcdxIixcdEixcddxGxGddxLdiTiiTiTxxT其中,则x*是问题(1)的局部严格极小点。证明.**,*)()(*xxxxxfxfXxxkkkk,且有使得则存在不是局部严格极小点,如果222*,*/*)(.*/*)(xxxxxxddxxxxkkkkkkk令假设),*,(XxSFDd则,由于)()*(*)()(kkkTkkkodxfdxfxf),*,(0*)(XxSFDdxfdT。由于所以)(,0*)(*))((,0*)(EjxcdxIjxcdTjTjT,所以0*)(0*)(*)(1xfdxcdxfdT