第二章静态优化——函数的极值问题本章主要内容:2.1无约束条件的函数极值问题2.2有约束条件的函数极值问题2.3小结2.4习题2.1无约束条件的函数极值问题一元函数极值问题二元函数极值问题多元函数极值问题一元函数的极值问题一元函数在处取极值的必要条件为(2-1)当(2-2)为极小。0)()(**'xxdxxdfxf)(xf*xx0)()(*22''xxdxxfdxf)(xf当(2-3)为极大。为简单起见,今后我们将只讨论极小,式(2-1)和(2-2)一起构成为极小值的充分条件。当时,也可能有极小值,不过要检验高阶导数。0)()(*22''xxdxxfdxf)(xf)(xf0)(*''xf上述情况可用图2-1来表示。R点是局部极小点,又是总体极小点,U只是局部极小点,T是局部极大点,S是拐点,不是极值点。图2-1函数的极值点和拐点例2-1求使最小的x。解:故解使达到极小。本例是著名的最小二乘问题。22221)()()()(naxaxaxxf0)(2)(2)(2)(21'naxaxaxxfnaaaxn21*()20fxn二元函数极值问题下面考虑二元函数的极值问题。设在处取得极小值,记,这里(T表示转置,X是列向量)。在处取得极小值的必要条件和充分条件可如下求得。将在周围展开为泰勒级数),(21xxf**12*,TXxx)(),(21XfxxfTxxX],[21)(Xf),(21xxf*XX)(Xf*XX(2-4)式中),(),()(2*21*121xxxxfxxfXf1211*'*'*''*21211()()()[()()2!xxxxfXfXxfXxfXx1222''*''*222122122()()()]0[(),()]xxxxfXxxfXxxx*22*11112,1*')()(xxxxxxxxfXf*22*11222,1*')()(xxxxxxxxfXf表示高阶无穷小。将(2-4)式用向量矩阵形式表示*22*1111212,12*'')()(xxxxxxxxxfXf*22*1122222,12*'')()(xxxxxxxxxfXf*22*1121212,12*'')()(xxxxxxxxxxfXf2212[(),()]oxx(2-5)式中,*2121*21)(),()(XXxxffxxXfxxfXf1112*1222122121221[](),()2!xxxxxxxxXXffxxxoxxffx***'''22121()(),()2!TTXXfXXfXfXoxx21xxX21xxX(2-6)由(2-5)式可知,取极值的必要条件为(2-7)进一步,若(2-8)TXXxxXfff*21*'*22212111*''XXxxxxxxxxXfffff),()(*2*1*xxfXf0*Xf0''XfXxT则这个极值为极小值。由于是任意的不为零的向量,要使(2-8)式成立,由矩阵理论可知,二阶导数矩阵(又称为Hessian阵)必须是正定的。正定阵形式上可表示为(2-9)(2-7)和(2-9)一起构成了在处取极小值的充分条件。X''Xf0Xf)(XfTxxX21,多元函数极值问题设n个变量的多元函数为式中则在处有极小值的必要条nxxxX21),,,()(21nxxxfXf)(XfTnxxxXX**2*1*,,件为一阶导数向量等于零向量,即进一步,若二阶导数矩阵是正定阵,即(2-11)则这个极值是极小。0,,,*21''''TXXxxxXnffff0*212221212111*''''''''''''''''''''XXxxxxxxxxxxxxxxxxxxXnnnnnnffffffffff式(2-10)和(2-11)一起构成了多元函数在处取极小值的充分条件。由(2-11)式可知,是实对称矩阵。判别实对称矩阵是否为正定有两个常用的方法。一是检验的特征值,若特征值全部为正,则是正定的。另一是应用塞尔维斯特(Sylvest)判据。根据此判据,若的各阶顺序主子式均大于零,即''*Xf),,,(21nxxxfTnxxxX**2*1*,,,''*Xf''*Xf''*Xf(2-12)则就是正定的。det表示A阵的行列式。111212122212*''''''''''''''''''det0kkkkkkxxxxxxxxxxxxxxxxxxXXfffffffff''*Xf例2-2求下面的多元函数的极值点解362252),,(21332232221321xxxxxxxxxxxf024311'1xxxffx06210322'2xxxffx02223213'3xxxxffx由上面三个方程求得可能的极值点为二阶导数阵为用塞尔维斯特判据来检验,有故为正定,在处,为极小。TTxxxX2,1,1,,*3*2*1*2222100204''*Xf4040det4000100242222100204det''*XfTX2,1,1*)(*Xf2.2有约束条件的函数极值问题前面讨论函数的极值问题时,向量的各个分量可独立地选择,相互间无约束。本节将讨论的各分量满足一定约束条件的情况。设具有个n变量的多元函数为X的各分量满足下面的m个等式约束方程(2-13)),,()(21nxxxfXf)(,,2,1nmmj),,()(21nxxxfXf若能从m个约束方程中解出m个X的分量,即将它们用其它n-m个的X分量表示,那么X中只剩下n-m个独立变量。于是问题可化为求n-m个变量的多元函数的无约束极值问题。这就是所谓的“消去法”。由于从m个方程(一般是非线性方程)求出m个分量常常是困难的,故经常采用“拉格朗日乘子法”。为此,对个约束方程,引入个拉格朗日乘子,并作出一个辅助函数—拉格朗日函数。若令则(2-14)式可用向量形式表示为(2-15)),,,(),,,,,,,(212121nmnxxxfxxxL),,,(211njjmjxxxgTm,,,21TmgggG,,,21)()(),(XGXfXLT于是的条件极值问题就化为的无条件极值问题。函数L有极值的必要条件为Xf),(XLni,,2,1mj,,2,112(,,,)0jnjLgxxx10mjjjiiigLfxxx例2-3求从原点(0,0,0)至平面的最短距离。解原点至空间任何一点的距离的平方为要使极小,而点必须在所规定的平面上。0),,(321321dcxbxaxxxxg),,(321xxx232221321),,(xxxxxxf),,(321xxxf),,(321xxx0),,(321xxxg这是一个条件极值问题。作拉格朗日函数极值的必要条件为222123123()xxxaxbxcxd123123123(,,)(,,)(,,)Lxxxfxxxgxxx0211axxL2220Lxbx3320Lxcx0321dcxbxaxL联立求解上面四个方程可得可能的极值点坐标为222*1cbaadx222*2cbabdx2222cbad根据问题的性质可以判断极小值存在且是唯一的。故上面的即是极小点的坐标。将极小点坐标代入函数中,即可求出最短距离的平方为此问题的约束方程是、、的线性函数,因此容易用“消去法”来求极值点。222*3cbacdx),,(*3*2*1xxxf2222*3*2*1),,(cbadxxxf0),,(321xxxg1x2x3x例如,从中解出,将它用、表示,于是问题就化为求二元函数的无条件极值问题。读者可自行验证这样做的结果与拉格朗日乘子法的结果是一样的。0),,(321xxxg2x3x),(32xxf例2-4动态控制问题的参数化法。设一个动态系统由下面的非线性状态方程描述给定,终止时间t=0.5s,要求算出最优控制,它使得指标函数为最小。解:这是动态控制问题,这里将控制作用参数化,于是可用静态最优化的方法求解。0.210tanxxu5)0(x)(tu0.52220(10)10(0.5)Jxudtx设控制作用可用下面的级数来逼近是已知的时间函数集,如sin、cos、Hermite多项式等正交函数或其它线性无关的函数。于是可用N个参数来表示,即被参数化了。确定就等于确定N个参数,使指标J最小。这里可用数值寻优的方法来确定参数。)(tuNiiitfatu1)()()(tfi)(tuNaaa,,,21)(tu)(tuNaaa,,,212.3小结1.n个变量的多元函数取无约束极小值的必要条件为,充分条件为和。2.在满足约束条件时的极小值的求取,可用拉格朗日乘子法,令是拉格朗日乘子(列)向量。),,,()(21nxxxfXf0)('Xf0)('Xf0)(''Xf),,,()(21nxxxfXf0)(XG(,)()()TLXfXGX2.4习题1.求使得最大的。2.求使为极值的极值点。3.求使为极值的极值点。4.求使且2ln)(xxxfx22212141210)(xxxxXfx32312123222148455)(xxxxxxxxxXfx,54)(min2221xxXf12()2360gXxx5.求原点到曲线的距离为最小。6.求函数极值,若7.在第一象限内作椭球面的切平面,使切平面与三坐标面所围成的四面体体积最小,求切点的坐标。0)1(32xy232221)(xxxXf22123()1xxx1222222czbyax