机械优化设计的数学基础

机械优化设计太原科技大学张学良第二章优化设计的数学基础•梯度§2.1目标函数的近似表达设目标函数f(X)是一阶连续可微的，则它在某点X（k）处对xi(i=1,2,…,n)的一阶偏导数的列向量（列矩阵）称为f(X)在X（k）点处的梯度，记作()()12()kTknXffffXxxx梯度的模2()1()()knkiifXfXx•海赛矩阵设目标函数f(X)在某点X（k）处存在连续的一阶、二阶偏导数：()1()(1,2,,)kfXinx2()()(,1,2,,)kijfXijnxx则函数f(X)在X（k）点的n2个二阶偏导数所构成的n×n阶方阵称为函数f(X)在X（k）点的海赛矩阵。2()2()211()2()2()2()21()()()()()()kknkkkknnfXfXxxxHXfXfXfXxxx若函数f(X)的一阶偏导数在定义域内处处连续可微，则海赛矩阵为对称方阵。•目标函数的近似表达——泰勒展开一元函数f(x)的泰勒展开：()()()()()2()()()21()()()()()()21()()()2kkkkkkkkfxfxfxxxfxxxfxfxxfxx二元函数f(x1，x2)的泰勒展开：12212122()()()()()121122()()2()()()111122()()222(,)()()()()()1[()()2()()()2()()]kkkkkxxkkkkkxxxkkxfxxfXfXxxfXxxfXxxfXxxxxfXxx1121212122()()()()()1122()()()()()()11221122()()()()2(()()[()()][()()]()()1{[()()][()()]}2()()1()()[(2kkkkkTxxkkxxxkkkkTkkxxxkTkTkfXfXfXfXxxxxfXfXxxxxxxxxfXfXfXfXXXfX))]X()()1122[]kkTXxxxxn元函数f(X)的泰勒展开：()()2()1()()()[()]2kTkTkfXfXfXXXfXX•可计算函数与等值面给定一组设计变量的值，就对应一个确定的目标函数值f(X)=C，具有这种性质的函数叫可计算函数。反之，给定目标函数f(X)的值C，即f(X)=C，那么将有无限多个设计点X使该式成立，这些设计点在n维设计空间中将组成一个点集，称之为等值曲面（三维空间）或等值超曲面（n3），通称等值面。在二维平面中为等值线。若给定一系列目标函数的值，将在设计空间得到一组等值面（线）族。•目标函数的等值线（面）f(X)=ax12+2bx1x2+cx22a0c0ac-b20一、最速下降方向——负梯度方向01210120210201012010201010101202101202020(,)(,)lim(,)(,)lim(,)(,)limsXsxsxfxxxxfxxdfdssfxxxfxxxxsfxxxxfxxxxxs§2.2最速下降方向和共轭方向•函数的方向导数X0X0+Xx1x2S00001212coscossinsinXXXXffffxxxx0000012120coscossinsin()XXXXXTdfffffdsxxxxfXSn元函数的方向导数:()()()()()111()coscoscos()1kkkkkXnXXnXXnTkdfffdsxxffxxfXSS()()()()()()()()()cos((),)()cos((),)cos((),)1kTkkkXkkkdffXSfXSfXSdsfXfXSfXS()()()min()max()()kkkXkXdffXdsdffXds与负梯度方向成锐角的方向为目标函数值的下降方向，成钝角的方向为目标函数值的增加方向。•目标函数的梯度方向是目标函数等值线（面）在同一点的法向矢量方向。f(X(k))-f(X(k))X(k)t所以，目标函数在某一点的最速下降方向为负梯度方向•两个向量的共轭设两个非零向量S(0)、S(1)及对称正定矩阵H，若满足二、共轭方向(0)(1)[]0TSHS则称S(0)、S(1)关于H共轭，或称S(0)与S(1)为共轭方向。若H为单位阵，即H=I，则S(0)与S(1)正交。•一组向量的共轭设有一组非零向量S(0)、S(1)…S(n-1)及对称正定矩阵H，若满足()()[]0(,0,1,2,,1;)iTjSHSijnij则称它们关于H共轭，或称它们为一组共轭方向。若H为单位阵，则称它们相互正交。•凸集（见图2M8）一个点集（或区域），如果连接其中任意两点的线段都全部包含在该点集内，则称该点集为凸集。否则，称为非凸集。§2.3凸集、凸函数与凸规划•凸函数（见图2M10）设函数f(X)定义域为凸集G，X(1)、X(2)为凸集G上的任意两点，若函数f(X)在线段X(1)X(2)上的函数值总小于或等于用f(X(1))及f(X(2))作线性内插所得的值，则称函数f(X)为凸集G上的凸函数，即满足(1)(2)(1)(2)(1)(2)((1))()(1)(),,01fXXfXfXXGXG的函数f(X)为凸函数。若同时去掉式中的等号，则称函数f(X)为严格凸函数。•凸规划对于约束优化问题min()..()0(1,2,,)njfXXRstgXjl若函数f(X)、gj(X)均为凸函数，则称此约束优化问题为凸规划。•凸规划的性质1）凸规划的可行域为凸集2）凸规划的任何局部最优解就是全局最优解§2.4优化问题的几何解释X*X*X*X*X*X*h1=0h2=0§2.5优化方法的简单分类•按有无约束分类无约束优化方法、约束优化方法•按目标函数的维数分类一维优化方法、多维优化方法•按目标函数的数目分类单目标优化方法、多目标优化方法•按求优途径的不同分类直接法、解析法（间接法）、实验法、图解法§2.6迭代方法及其收敛准则无论是直接法还是解析法，求优的过程都是采用数值迭代法，且迭代公式的形式一致。•迭代方法X(k+1)=X(k)+(k)S(k)(k=0,1,2,…)•两个特性1）下降性:f(X(k+1))f(X(k))2）收敛性:当k∞时，X(k)X*f(X(0))f(X(1))…f(X(k))f(X(k+1))…f(X*)•确定步长(k)的方法1）定步长法取(k)=p(p为常数)，检验下列不等式f(X(k)+(k)S(k))f(X(k))？若成立，则继续下一步迭代计算；否则，取(k)=p（01），再检验不等式f(X(k)+(k)S(k))f(X(k))？直至满足为止。2）最优步长法用一维寻优方法确定(k)：当给定S(k)从X(k)点出发搜索X(k+1)点时，为求得沿搜索方向S(k)上的最优步长(k)，可以建立如下一维优化数学模型，即这实质上就是以(k)为变量的一元函数求极值的问题，称为一维搜索或一维寻优。()()()()?min()kkkkfXS解析法确定(k)：()()()()?min()kkkkfXS()()()()2()()()()()()()2()2()()()()()()()1()()()21()()[]()2()kTkkkTkkkkTkkkkTkkkfXfXfXXXXXfXXXfXfXSSfXS()()()()()()2()()()()0[]()kTkkkkkTkkfXSdSfXS由得•搜索方向S(k)的讨论1）三种常用搜索方向负梯度方向：S(k)=-f(X(k))共轭方向：将n维优化问题转化为每一个循环n次一维搜索，依次取n个相互共轭的方向为搜索方向。随机搜索方向：S(k)随机产生，只要求沿S(k)方向所得X(k+1)点处函数值下降。2）S(k)与-f(X(k))和f(X(k+1))的关系目标函数下降：f(X(k)+(k)S(k))-f(X(k))0f(X(k)+(k)S(k))-f(X(k))(k)Tf(X(k))S(k)故(k)Tf(X(k))S(k)0-Tf(X(k))S(k)0用一维优化方法确定(k)时，必须满足：f'(X(k)+S(k))=0所以Tf(X(k)+S(k))S(k)=0即Tf(X(k+1))S(k)=0第k次迭代的搜索方向S(k)与目标函数在本次迭代所得点X(k+1)处的梯度方向f(X(k+1))正交。X(k)X(k+1)S(k)-f(X(k+1))3）共轭搜索方向的一个重要性质n维正定二次函数的n次收敛性即对于n维正定二次函数，若相继以一组相互共轭的向量S(0)、S(1)、…、S(n-1)为搜索方向，则不论从任何初始点出发，经过n次一维搜索，就可以得到该正定二次函数的极小点。•收敛性与收敛准则迭代算法应具有收敛性，即产生的极小点序列或者其中某一点就是极小点，或者序列有一个极限，它是目标函数的极小点。点距准则：||X(k+1)—X(k)||≤1（1＞0）函数下降量准则：|f(X(k+1))—f(X(k))|≤2（2＞0）梯度准则：||f(X(k))||≤3（3＞0）