机械优化设计_第二章优化设计的数学基础

机械优化设计第二章优化设计的数学基础一、多元函数的方向导数和梯度二、多元函数的泰勒展开三、无约束优化问题的极值条件四、凸集、凸函数与凸规划五、等式约束优化问题的极值条件六、不等式约束优化问题的极值条件机械优化设计1、方向导数01020,xxx二元函数在点处的偏导数的定义是：10101201020011(,),limxxfxxxfxxfxx20102021020022(,),limxxfxxxfxxfxx01020,xxx二元函数在点处沿某一方向d的变化率，其定义为010120210200(,),limdxfxxxxfxxfdd方向导数一、多元函数的方向导数和梯度),(21xxf),(21xxf机械优化设计X1X10X20X2X0△X1△X2△dθ2θ1Od图1二维空间中的方向=010120210200(,),limdxfxxxxfxxfdd011cosxfx022cosxfx+偏导数与方向导数的关系机械优化设计n元函数在点x0处沿d方向的方向导数inixinxxxxxfxfxfxfdfncoscoscoscos1122110000机械优化设计2、二元函数的梯度000011221212coscos+cos,cosxxxxfffffdxxxx0010122(),Txxfxfffxfxxx令梯度000()()cos(,)Txffxdfxfdd21coscosd机械优化设计当梯度方向和d方向重合时，方向导数值最大，即梯度方向是函数值变化最快方向，而梯度的模就是函数值变化率的最大值。000()()cos(,)Txffxdfxfdd22210)(xfxfxf梯度的模：机械优化设计多元函数的梯度Txnxnxfxfxfxfxfxfxf0021210)(),cos()()(cos00100dfxfdxfxfdfTinixix机械优化设计2/1210])([)(0xniixfxf多元函数的梯度的模：函数的梯度方向与函数的等值面相垂直，也就是和等值面上过x0的一切曲线相垂直。由于梯度的模因点而异，即函数在不同点处的最大变化率是不同的。因此，梯度是函数的一种局部性质。机械优化设计梯度的两个重要性质：①函数在某点的梯度不为零，则必与过该点的等值面垂直（即为过点的等值线的法线方向）；②梯度方向具有最大变化率方向正梯度方向是函数值最速上升的方向，负梯度方向是函数值最速下降的方向。机械优化设计2121242)(xxxfxfxf42242)(211xxxf例1：求二次函数44,1222121xxxxxfT2,3在点处的梯度。解：在点T2,3处的梯度为：机械优化设计例2：试求二次函数2221212143,xxxxxxfTx1,00在点处的最速下降方向，并求沿这个方向移动一个单位长度后新点的目标函数值。解：21146xxxf21224xxxf242446)(102121102102121xxxxxxxxxfxfxfPTx]1,0[0则函数在处的最速下降方向为机械优化设计该方向上的单位向量为551552)2(424)()(2200xfxfe55115525515521001exx1x新点5252643)(12221211xxxxxxf该点函数值机械优化设计常用梯度公式：QXXfQXXXfQXXfXXXfbXfXbXfXfCXfTTT2)()()4(2)()()3()()()2(0)()()()1(为对称矩阵，常数注意：梯度为向量二次型机械优化设计二、多元函数的泰勒展开fx0xx在点处的泰勒展开为：200012fxfxfxxfxx其中2200,xxxxxx1、一元函数机械优化设计2、二元函数11102220,xxxxxx其中：...2!21),(,222222121221212221120102100000xxfxxxxfxxfxxfxxfxxfxxfxxxxx二元函数在点处的泰勒展开式为：)(xf),(20100xxx机械优化设计上式写成矩阵形式：2122221221221221212100021)()(xxxfxxfxxfxfxxxxxfxfxfxfxx机械优化设计02221222122120)(xxfxxfxxfxfxG令xxGxxxfxfxfTT0002121xxx0xG21,xxf上式可写成称为函数在点处的海赛（Hessian）矩阵),(20100xxx参见教材例题P30机械优化设计海赛矩阵是由函数在点处的二阶偏导数组成的方阵。由于函数的二次连续性，有：),(21xxf0x212122xxfxxf)(0xG2221222122120)(xfxxfxxfxfxG所以矩阵为对阵方阵。机械优化设计海赛矩阵22221222222122122122120)(nnnnnxfxxfxxfxxfxfxxfxxfxxfxfxG3、多元函数xxGxxxfxfxfTT00021其中：梯度Txnxfxfxfxf0210)(泰勒展开式机械优化设计若将函数的泰勒展开式只取到线性项，即取)(000xxxfxfxzTxz0x则是过点和函数所代表的超曲面相切的切平面。xf若将函数的泰勒展开式取到二次项时，则得到二次函数形式，在线性代数中将二次齐次函数称为二次型。矩阵形式GxxxfTG-----对称矩阵机械优化设计当对任何非零向量x使0GxxxfT则二次型函数正定，G为正定矩阵。机械优化设计海赛矩阵的特征：是实对称矩阵。0)det(G0)det(G0)det(G4、海赛矩阵与正定矩阵正定的充要条件：矩阵G的各阶顺序主子式为正，即矩阵负定的充要条件：矩阵G的奇数阶主子式主子式偶数阶主子式海赛矩阵的正定性：)(xG正定-----为全局极小值点的充分条件x)(xG负定-----为全局极大值点的充分条件x机械优化设计例3判定矩阵是否正定？010401023136032336066解：该对称矩阵的三个主子式依次为：401023136G故可知矩阵G是正定的。机械优化设计定理：若二次函数中Q正定，则它的等值面是同心椭球面族，且中心为cbXQXXXfT21)(bQX1证明：作变换，代入二次函数式中：bQYX1cbQYbbQYQbQYT)()()(21111)()(1bQYfYcbQbQYYTT12121QYYT210YbQX1结论：Q为正定矩阵的二次型的等值面是以的同心椭球面族。原二次函数就是以为中心的同心椭球面族，椭圆中心为极小值点。机械优化设计例4把二次函数化为矩阵向量形式并检验Q是否正定，如正定，试用公式求这个函数的极小点。bQX121312123222132154323),,(xxxxxxxxxxxxf32132132133323123222113121132121xxxbbbxxxgggggggggxxxXbQXXxxxfTT21),,(321TbQX7.07.68.21054b401023136Q解：与题中函数比较各系数得：由计算知Q正定，极小点机械优化设计三、无约束优化问题的极值条件1、一元函数fx0xx对于可微的一元函数判断在处是否取得极值的过程：00fx00fx则为极小点。0x00fx0x00fx逐次检验其更高阶导数的符号，开始不为零的导数阶数若为偶次，则为极值点，若为奇次，则为拐点。则为极大点。机械优化设计2、二元函数01020,xxx定理1：若二元可微函数在处取得极值的必要条件是：),(21xxf00021xxxfxf即0)(0xf凡满足上式的点称为函数的驻点（零向量）机械优化设计如下图所示的二元函数，在M0点虽有和是个驻点，但它不是极值点。0'xf0'yf机械优化设计01020,xxx定理2：若二元可微函数在的某个邻域取得极小值的充分条件是要求在该点附近的一切点均满足：),(21xxf0),(),(201021xxfxxf若函数存在连续的一阶及二阶偏导数，当满足0),(,0),(2010'2010'21xxfxxfxx则泰勒展开式的函数增量近似式（略三阶以上高阶微量）为：机械优化设计0),(),(2),(21),(),(2),(21),(),(),(),(222010''212010''212010''222010''212010''212010''22010'12010'20102122212122212121xxxfxxxxfxxxfxxxfxxxxfxxxfxxxfxxxfxxfxxfxxxxxxxxxx),(),(),(2010''2010''2010''222121xxfCxxfBxxfAxxxx令则0]2[21222121xCxxBxA0,0CBBAA可见，函数增量的性态与A,B,C的值有关。可以证明，当满足以下条件时，为极小值（证明略）。),(2010xxf此条件反映了函数在该点的海赛矩阵的各阶主子式均大于零（即正定）。机械优化设计结论：二元函数在某点取得极小值的充分条件是要求该点处的海赛矩阵为正定。0()0fx02210xfx2221122222120ffxxxGxffxxx且01020,xxx对于二元函数在处取得极值的充分必要条件是：),(21xxf参见教材例题P32机械优化设计3、多元函数对于多元函数若在处取得极值，则),,(21nxxxfx必要条件：充分条件：xnnnnnxfxxfxxfxxfxfxxfxxfxxfxfxG2222122222212212212212)(0)(21Txnxfxfxfxf正定或负定机械优化设计四、凸集、凸函数与凸规划当极值点x*能使f(x*)在整个可行域中为最小值时，即在整个可行域中对任一x都有f(x)=f(x