优化设计的数学基础第02课-1

第二章优化方法的数学基础第二节凸集、凸函数与凸规划第三节多元函数的泰勒展开第四节无约束优化问题的极值条件第五节等式约束优化问题的极值条件第六节不等式约束优化问题的极值条件第一节方向导数与梯度第一节方向导数与梯度概念（1）导数（2）偏导数一、方向导数010120210200(,)(,)limSFFxxxxFxxssx二元函数在点x0处沿某一方向s的方向导数方向导数是偏导数概念的推广。Ox2x1x10x20x0x1x2sxS120000012121coscoscoscosnnniiiFFFFsxxxFxxxxxx0001212coscosFFFsxxxxxn元函数在点x0处沿s方向的方向导数方向导数与偏导数之间的数量关系Ox2x1x10x20x0x1x2sxS12二、梯度1、二元函数的梯度0001212coscosFFFsxxxxx01212coscosFFxxx0010122()TFxFFFFxxxxxx函数F(x1，x2)在x0点处的梯度为：方向导数：梯度的模：1212coscoscos,TFFFsxxFsFsFs2212FFFxx设12coscoss可见，梯度方向和s方向重合时，方向导数值最大。则二元函数梯度的模12coscoss梯度方向是函数值变化最快的方向；而梯度的模就是函数变化率的最大值。Ox2x1x0变化率为零的方向最速下降方向下降方向上升方向最速上升方向－f(x0)f(x0)梯度方向与等值线的关系000()()cos(,)TFFsFFssxxx设：则有为单位向量。..2、多元函数的梯度0012012()TnnFxFFFFxFxxxFxxxx00001cos()()cos(,)nTiiiFFFFFssxxxxdx012201()()niiFFxxx函数的梯度方向与函数等值面相垂直，也就是和等值面上过x0的一切曲线相垂直。由于梯度的模因点而异，即函数在不同点处的最大变化率是不同的。因此，梯度是函数的一种局部性质。多元函数梯度的模性质一函数在某点的梯度不为零，则必与过该点的等值面垂直；Ox2x1x0变化率为零的方向最速下降方向下降方向上升方向最速上升方向－f(x0)f(x0)梯度方向与等值面的关系梯度两个重要性质性质二梯度方向是函数具有最大变化率的方向。例题1求函数在点[3,2]T的梯度。22121()44fxxxx112224()2fxxfxfxx(1)1(1)2242()24xxfxx在点x(1)=[3,2]T处的梯度为：解：12121264,42fXfXxxxxxx121211200121021644422xxxxfXxxxPfXxxfXx00,1TX则函数在处的最速下降方向是解：10225505511151555XXe00224252514255fXefX012211222634|255XfXxxxx则，新点是这个方向上的单位向量是：例题2试求目标函数f(x1,x2)=3x12-4x1x2+x22在点X0=[0,1]T处的最速下降方向，并求沿这个方向移动一个单位长度后新点的目标函数值。由于1.002..3.2.4.2TTTfXCfXCfXbXfXbfXXXfXXQfXXQXfXQX常数则，即，则，则，对称矩阵。则，三、几个常用的梯度公式当极值点X*能使f（X*）在整个可行域中为最小值时，即在整个可行域中对任一X都有f（X）≥f（X*）时，则X*就是最优点，且称为全域最优点或整体最优点。若f（X*）为局部可行域中的极小值而不是整个可行域中的最小值时，则称X*为局部最优点或相对最优点。最优化设计的目标是全域最优点。为了判断某一极值点是否为全域最优点，研究一下函数的凸性很有必要。第二节凸集、凸函数与凸规划设D为n维欧氏空间中的一个集合，若其中任意两点X(1)、X(2)之间的联接直线都属于R，则称这种集合R为n维欧氏空间的一个凸集。图（a）是二维空间的一个凸集，而（b）不是。一、凸集X（1）、X（2）两点之间的连接直线，可用数学式表达为:(1)(2)(1)XXX（0≤α≤1）则：1）若R为凸集，λ是一个实数，则集合λR仍是凸集；2）若D和F均为凸集，则其和（或并）仍是凸集；3）任何一组凸集的积（或交）仍是凸集。凸集的性质具有凸性（表现为单峰性）或只有唯一的局部最优值亦即全域最优值的函数，称为凸函数或单峰函数。其数学定义是：设f（X）为定义在n维欧氏空间中的一个凸集R上的函数，如果对任何实数α（0α1）以及对R中任意两点X(1)、X(2)恒有:(1)(2)(1)(2)((1))()(1)()fXXfXfX则f（X）为R上的凸函数。二、凸函数凸函数的几何解释其凸集内任意两点X1、X2的线段上，函数值总是小于或等于用f(X1)及f(X2)作线性内插所得的值。1）若f（X）为定义在凸集D上的一个凸函数，且a是一个正数（a0），则af（X）也必是定义在凸集D上的凸函数；3）若f1(X），f2(X)为定义在凸集D上的两个凸函数，α和β为两个任意正数，则函数αfl（X）＋βf2(X)仍为D上的凸函数。2）定义在凸集D上的两个凸函数f1(X），f2(X)，其函数和f（X）=f1（X）＋f2（X）亦必为该凸集上的一个凸函数；凸函数的一些性质怎样确定一个函数是否具有凸性？1）若f（X）为定义在凸集R上且具有连续一阶导数的函数，则f（X）在R上为凸函数的充分必要条件为：对任意两点X（1），X（2），不等式(2)(1)(2)(1)(1)()()()()TfXfXXXfX恒成立2）若f（X）为定义在凸集R上,且具有连续二阶导数的函数，则f（X）在R上为凸函数的充分必要条件为：海赛矩阵G(x)在D上处处半正定。三、凸性条件几何意义？凸性条件例题判断函数f(X)=4x12+8x22+x32-2x2-x1x2+30是凸集D上的一个凸函数，D={X|-∞xi∞,i=1,2,3}。解：用第二种判断方法，求Hessian矩阵H(x)的各阶顺序主子式所以，H(x)正定。1、凸规划定义对于约束优化问题12min()(),..()01,2,,nnjFXFxxxXRstgXjm，，，式中若F（X）、均为凸函数，则称此问题为凸规划。()jgX四、凸规划2、凸规划的一些性质2）凸规划问题中的任何局部最优解都是全局最优解；1）可行域为凸集；()01,2,,jDXgXjm3）若F（X）可微，则X*为凸规划问题的最优解的充分必要条件为：XD**()()0TFXXX不论是无约束或有约束的优化问题，在实际应用中，要证明一个优化问题是否为凸规划，一般比较困难，有时甚至比求解优化问题本身还要麻烦。尤其对一些工程问题，由于其数学模型的性态都比较复杂，更难实现。故，在优化设计的求解中，不必花费大量精力用于求证函数的凸性，而通常是从几个初始点出发，找出几个局部最优解，从中选择目标函数值最好的解。对任意，满足0001()()()()2TTfffxxxxxGxx2221120222212()ffxxxffxxxGx101202xxxxxxx第三节多元函数的泰勒展开1、二元函数：在点x0即（x10，x20）处作泰勒展开，则：其中：一、函数的泰勒展开110001()()()()2TTfffxxxxxGxx0012()[]Tnffffxxxxx022221121222221220222212()nnnnnfffxxxxxfffxxxxxfffxxxxxxGx2、多元函数泰勒展开其中：二、函数的二次型与二次型函数的正定优化计算经常将目标函数表示成二次函数以便使问题的分析得到简化。1、二次型即二次齐次函数，矩阵表示为：f(x)=xTGx2、二次型函数的正定所谓正定，是指对任何非零矢量x，使f(x)=xTGx0则二次型函数f(x)正定，G为正定矩阵。优化计算中，在研究某点邻域的极值问题使常需要分析二次型函数是否正定。三、泰勒展开例题332212121()339fxxxxxx(1)[1,1]Tx解：函数在点x(1)处的函数值、梯度和二阶导数矩阵：(1)()3fx(1)211(1)2220369()336xxfxxxx(1)12(1)2660120()06600xfxxx用泰勒展开将函数在点处简化成线性函数与二次函数。0001()()()()2TTfffxxxxxGxx11(1)221111xxxxxx(1)(1)(1)22()()()[]33(1)36Tfffxxxxxxx(1)(1)(1)(1)2(1)(1)1()()()[][]()[]2TTfffxfxxxxxxxxx2212112366(1)6123xxxxx简化的线性函数简化的二次函数而Δx=