第二章 优化设计的数学基础

第二章优化设计的数学基础Mathematicknowledgeofoptimizationdesign优化设计一般是多变量有约束的非线性规划问题，即求解多变量非线性函数的极值问题。多元函数的极值理论数学基础无约束优化无条件极值约束优化条件极值一、函数的方向导数与梯度1、函数的方向导数202012020102010201021010100201021,,lim,,lim,,21xxxFxxxFxXFxxxFxxxFxXFxxXxxFxx处的偏导数定义为：在点二元函数一、函数的方向导数与梯度1、函数的方向导数方向的变化率。和处沿坐标轴在点分别是函数和210212010,xxXxxFxXFxXF方向的方向导数。为沿的变化率为：处沿某一方向在点函数S,,lim,0020120100002121SXFxxFxxxxFSXFSXxxF2221xx一、函数的方向导数与梯度1、函数的方向导数方向的方向导数。和分别沿坐标轴可看成是函数和21212010,xxxxFxXFxXF一、函数的方向导数与梯度1、函数的方向导数220110220201200011020101000201201000coscos,,lim,,lim,,lim212121xXFxXFxxxxFxxxFxxxxFxxxFxxFxxxxFSXF的数量关系为：方向导数与偏导数之间一、函数的方向导数与梯度1、函数的方向导数33022011000302010321coscoscosS,,,,xXFxXFxXFSXFxxxXxxxF方向导数可表示为：方向的处沿在点一个三元函数一、函数的方向导数与梯度1、函数的方向导数夹角的余弦。方向与坐标轴方向为的方向导数可表示为：方向处沿在点元函数一个iiniiinnnnxSxXFxXFxXFxXFSXFxxxXxxxFncoscoscoscoscosS,,,,,,100220110000201021一、函数的方向导数与梯度2、函数的梯度梯度：为函数在某点方向导数最大的方向。函数F(X)在某点X的方向导数表明函数沿某一方向S的变化率。函数在某一确定点沿不同的方向具有不同的变化率。一、函数的方向导数与梯度2、函数的梯度XgradFXXFXFxXFxXFXFxXFxXFxXFxXFSXFST处的梯度，记为在点函数称，令：，的方向导数为：一个二元函数沿方向为coscoscoscos2121212211一、函数的方向导数与梯度2、函数的梯度SXFSXFSXFSXFSST,coscos,cosT21则方向导数可表示为：为单位向量：设梯度向量的模单位向量的模梯度向量与S方向夹角的余弦一、函数的方向导数与梯度2、函数的梯度T2121,,,,,nnxXFxXFxXFSXFxxxFn的梯度可表示为：元函数一、函数的方向导数与梯度2、函数的梯度的梯度及其模和点在求二维函数例TTXXxxxxF3,42,22,：)2()1(222121一、函数的方向导数与梯度2、函数的梯度计算函数的梯度和模的M文件如下：二、凸集、凸函数与凸规划1、凸集(ConvexSets)定义：D为n维欧氏空间En.的一个集合；D内任意两点X1和X2的连线整个包围在D内；即对于任意实数(01)，点X1+(1-)X2D二、凸集、凸函数与凸规划1、凸集性质：若D是一个凸集，是一个实数，则集合D仍为凸集；若D与F均为凸集，则其和（或并）还是凸集；任何一组凸集的积（或交）还是凸集；二、凸集、凸函数与凸规划2、凸函数(ConvexFunction)定义：设D为En中一凸集，F(X)为定义在D上的一个函数，若对于任何实数，和D内任意两点X1和X2，恒有则F(X)为D上的凸函数。10212111XFXFXXF二、凸集、凸函数与凸规划2、凸函数几何意义：曲线上任意两点A、B间（与X1、X2相对应）所连成直线上的点K’总不会落在这两点间曲线的下方，即大于相应点K的函数值。二、凸集、凸函数与凸规划2、凸函数性质：F(X)为定义在凸集D上的凸函数，对于任意正实数，函数F(X)也是凸函数；F1(X)、F2(X)为定义在凸集D上的凸函数，则函数F(X)=F1(X)+F2(X)在D上也是凸函数；若函数F(X)在n维欧氏空间En一阶可微，则对于任意，F(X)为凸函数的充分必要条件为2121,,XXEXXn21211XFXXXFXFT二、凸集、凸函数与凸规划2、凸函数凸函数的几何意义在于函数曲线永远在切线的上面。若F(X)是凸集D上的凸函数，并且在D内有极小点，则极小点是唯一的。二、凸集、凸函数与凸规划3、凸规划(ConvexPlanning)对于约束优化问题式中，若F(X)、gu(X)均为凸函数，称此问题为凸规划。muXtsRXXFn,,2,1,0g..,minu1二、凸集、凸函数与凸规划3、凸规划性质：可行域为凸集；凸规划问题的任何局部最优解都是全局最优解；若F(X)可微，则X*为凸规划问题的最优解的充分必要条件是：对于任意XD，都满足muXXD,,2,1,0|0**XXXFT三、无约束优化问题的极值条件1、多元函数的泰勒展开式kjjnjikiijiknikikkkkkkkkkxxxxxxXFxxxXFXFXFxXFxxxFxxxFxFXFxXF1,21221''21'点的泰勒展开式则为：在多元函数点的泰勒展开式为：在一元函数三、无约束优化问题的极值条件1、多元函数的泰勒展开式kkTkTkknnkknkkknikikXXXFXXXFxxxxxxxXFxXFxXFxxxXF,,,2211211用向量矩阵表示为：三、无约束优化问题的极值条件1、多元函数的泰勒展开式kkTkknnkknknknknkkknkkkknnkkkjjnjikiijikXXXFXXxxxxxxxXFxxXFxxXFxxXFxXFxxXFxxXFxxXFxXFxxxxxxxxxxxxXF22211222212222221221221221222111,2,,,用向量矩阵表示为：三、无约束优化问题的极值条件1、多元函数的泰勒展开式称为梯度。的一阶偏导的列向量，在点为函数kTnkkkkXXFxXFxXFxXFXF,,,21三、无约束优化问题的极值条件1、多元函数的泰勒展开式矩阵。的海色在点数阶的对称方阵，称为函它是一个数的二次连续性，的二阶偏导数，由于函在点为函数)(22221222222122122122122HessianXXFnnXXFXHxXFxxXFxxXFxxXFxXFxxXFxxXFxxXFxXFXFkkknknknknkkknkkkk三、无约束优化问题的极值条件1、多元函数的泰勒展开式多元函数的泰勒展开式可只取前三项XHXXbcXXXFXXXXXFXFXFTTkkTkkkTk21212三、无约束优化问题的极值条件1、多元函数的泰勒展开式例：求二元函数在点处的二阶泰勒展开式。82322221141xxxxxXFTTkkkxxX2,1,)(2)(1)(三、无约束优化问题的极值条件1、多元函数的泰勒展开式计算函数的二阶泰勒展开式的M文件如下：三、无约束优化问题的极值条件2、无约束优化问题的极值条件一元函数存在极值点的必要和充分条件是：时为极小值。时为极大值；当二阶导数即找驻点一阶导数0''0''0'')(0'22xFxFxFdxxFdxFdxxdF三、无约束优化问题的极值条件2、无约束优化问题的极值条件X*X*X*三、无约束优化问题的极值条件2、无约束优化问题的极值条件多元函数的无约束极值问题，X*为一个局部极值点的充分条件是：为极大点。为负定时为极小点；为正定时当为正定或负定矩阵二阶导数矩阵，即海色即向量一阶导数*****2**,,2,1,0,0XXHXXHXFnixXFXFi各阶顺序主子式均大于0各阶顺序主子式呈负、正交替变化三、无约束优化问题的极值条件2、无约束优化问题的极值条件例：求三维函数的极值点36225223132232221xxxxxxxxXF三、无约束优化问题的极值条件2、无约束优化问题的极值条件三、无约束优化问题的极值条件2、无约束优化问题的极值条件计算海色矩阵正定性的M文件如下：四、约束优化问题的极值条件,,2,10,,2,10..,minvXhmuXgtsRXXFvun约束优化问题求解约束优化问题的实质是在所有的约束条件所形成的可行域内，求得目标函数的极值点，即约束最优点。约束最优点与目标函数本身的性质有关，还与约束函数的性质有关；四、约束优化问题的极值条件1、库恩-塔克条件（简称K-T条件）借助库恩-塔克条件来判断和检验约束优化问题中某个可行点是否为约束极值点。K-T条件可阐述为：若X＊是一个局部极小点，则该点的目标函数梯度F(X*)可表示成各约束面梯度gu(X*)和hv(X*)的线性组合的负值，即：qujvvvuuXhXgXF11***在设计点处的不等式约束面数在设计点处的等式约束面数u和v为拉格朗日乘子四、约束优化问题的极值条件1、库恩-塔克条件（简称K-T条件）K-T条件的几何意义在于：如果X＊是一个局部极小点，则该点的目标函数梯度F(X*)应落在该点约束面（所有起作用的约束条件）梯度gu(X*)和hv(X*)在设计空间所组成的锥角范围内。四、约束优化问题的极值条件1、库恩-塔克条件（简称K-T条件）四、约束优化问题的极值条件1、库恩-塔克条件（简称K-T条件）四、约束优化问题的极值条件1、例题已知二维约束优化问题试判断X（K）=[1，0]T点是否为约束极小点0100..2min221322112221xxXgxXgxXgtsxxXF四、约束优化问题的极值条件