第2章 优化方法的数学基础(已排)

1010120210200(,)(,)limdffxxxxfxxxdd0001212coscosfffxxxxxd第2章优化方法的数学基础二元函数在点x0处沿某一方向d的方向导数其中方向导数是偏导数概念的推广。方向导数与偏导数之间的数量关系是2.1方向导数与梯度2212()()dxx20000012121coscoscoscosnnniiiffffxxxfxxxxxxdOx2x1x10x20x0x1x2dxd12n元函数在点x0处沿d方向的方向导数1.方向导数30001212coscosfffxxxxxd01212coscosffxxx0010122()Tfxffffxxxxxx为函数f(x1，x2)在x0点处的梯度。2.梯度二元函数的梯度41212coscoscos,Tfffxxfffdddd2212fffxx12coscosd设梯度方向和d方向重合时，方向导数值最大。梯度的模：512coscosdOx2x1x0变化率为零的方向最速下降方向下降方向上升方向最速上升方向－f(x0)f(x0)梯度方向与等值线的关系000()()cos(,)Tffffxxdxdd设：则有为单位向量。梯度方向是函数值变化最快的方向，而梯度的模就是函数变化率的最大值。60012012()Tnnfxffffxfxxxfxxxx00001cos()()cos(,)nTiiifffffxxxxdxdd多元函数的梯度7012201()()niiffxxx0()fx梯度模：函数的梯度方向与函数等值面相垂直，也就是和等值面上过x0的一切曲线相垂直。由于梯度的模因点而异，即函数在不同点处的最大变化率是不同的。因此，梯度是函数的一种局部性质。822121()44fxxxx112224()2fxxfxfxx(1)1(1)2242()24xxfxx例题1-4求函数在点[3,2]T的梯度。解在点x(1)=[3,2]T处的梯度为：90001()()()()2TTfffxxxxxGxx2221120222212()ffxxxffxxxGx12xxx2.2多元函数的泰勒展开二元函数：二元函数：在点x0处100001()()()()2TTfffxxxxxGxx0012()[]Tnffffxxxxx022221121222221220222212()nnnnnfffxxxxxfffxxxxxfffxxxxxxGx多元函数泰勒展开11332212121()339fxxxxxx用泰勒展开将函数在点简化成线性函数与二次函数。解：函数在点的函数值、梯度和二阶导数矩阵：(1)[1,1]Tx(1)x(1)()3fx(1)211(1)2220369()336xxfxxxx(1)12(1)2660120()06600xfxxx例题1-51211(1)221111xxxxxx(1)(1)(1)22()()()[]33(1)36Tfffxxxxxxx(1)(1)(1)(1)2(1)(1)1()()()[][]()[]2TTfffxfxxxxxxxxx2212112366(1)6123xxxxx简化的线性函数简化的二次函数1312()[]0Tnffffxxxxx*x*x*x1.在处取得极值，其必要条件是:即在极值点处函数的梯度为n维零向量。为了判断从上述必要条件求得的是否是极值点，需建立极值的充分条件。根据函数在点处的泰勒展开式，考虑上述极值必要条件，可得相应的充分条件。2.3无约束优化问题的极值条件14222211212222*2122222212*()nnnnnfffxxxxxfffxxxxxfffxxxxx正定xGx即要求各阶主子式均大于零。()Gx*x2.处取得极值充分条件15min()fx..()0(1,2,,)jstgjmx2.4不等式约束优化问题的极值条件不等式约束的多元函数极值的必要条件是著名的库恩--塔克（Kuhn-Tucker）条件，它是非线性优化问题的重要理论（1）库恩—塔克条件(K-T条件）对于多元函数不等式的约束优化问题：16*()0fx0j**1*()()0(1,2,,)()0(1,2,,)0(1,2,,)mjjjiijjjgfinxxgjmjmxxxx()fx0jK-T条件库恩—塔克条件表明：如点是函数的极值点，要么（此时）要么目标函数的负剃度等于起作用约束梯度的非负线性组合（此时）。17Ox1x2极值点处于等值线的中心极值点处于两个约束曲线的交点上x﹡g1(x)＝0g2(x)＝0g3(x)＝0Ox1x2x﹡g1(x)＝0g2(x)＝0起作用约束：(*){|(*)0,1,2,}jJjgjmxx18x()fx()()0mjjjJfgxxx1x2Og2(x)=0g1(x)=0f(x)=Cg2(xk)g1(xk)－f(xk)xk可行域点xk处的切平面x1x2Og2(x)=0g1(x)=0f(x)=Cg2(xk)g1(xk)－f(xk)xk可行域点xk处的切平面(a)(b)库恩—塔克条件的几何意义是:在约束极小值点处，函数的负梯度一定能表示成所有起使用约束在该点梯度（法向量）的非负线性组合。19同时具有等式和不等式约束的优化问题:min()fx..()0(1,2,,)jstgjmx()0(1,2,,)khklx10(1,2,,)()0()0()ljkjkjJkiiijjghfinxxxgjJjJxK-T条件：20例1-6库恩—塔克（K-T）条件应用举例2212()(2)minfxxx21122231()10()0()0gxxgxgxxxxs.t判断[10]T是否为约束最有点。K-T条件是多元函数取得约束极值的必要条件,以用来作为约束极值的判断条件，又可以来直接求解较简单的约束优化问题。211211202(2)2()02xxxfxx1211022()11ixxxgx20()1gx(1)当前点为可行点，因满足约束条件(1)[10]Tx(1)1(1)2(1)3()0()0()10gggxxx(2)在起作用约束为g1和g2,因(1)[10]Tx(3)各函数的梯度：(1)3()0gx221122()()()fggxxx12220011121010（4）求拉格朗日乘子由于拉格朗日乘子均为非负，说明是一个局部最优点，因为它满足K-T条件。(1)[10]Tx232212min()(2)fxxx21122231()10()0()0gxxgxgxxxxx1f＝0.25g3(x)＝0g3012x2f＝5f＝4f＝2.25f＝1g1(x)＝0g2(x)＝0g1g2－f－fCg2g3g1AB－f图8应用库恩—塔克条件寻找约束极值点s.t