优化设计的理论与数学基础NEW

机械优化设计1§2-1目标函数的泰勒展开§2-2优化方法中搜寻方向的理论基础§2-3凸集与凸函数§2-4优化问题有最优解的条件第二章优化设计的理论与数学基础机械优化设计2教学目的、要求1．熟悉函数梯度的概念2．掌握无约束优化最优解的条件3．掌握KT--条件的应用教学重点1．梯度矩阵和海赛矩阵2．凸函数的性质3．共轭方向机械优化设计方向导数从多元函数的微分学得知，对于一个连续可微函数f(x)在某一点的一阶偏导数为：()kx1()kfxx2()kfxx()knfxx，，，…它表示函数f(x)值在点沿各坐标轴方向的变化率。()kx有一个二维函数，如图2-1所示。1.方向导数机械优化设计图2.1函数的方向导数机械优化设计其函数在点沿d方向的方向导数为0x000(0)112212211,,fxxxxfxxxxx1200limxx00001221222,,fxxxfxxxx001212coscosfxfxxx000(0)01122120,,limfxxxxfxxfxd机械优化设计62-1目标函数的Taylor展开式()/()()//()()2()()()1()()()()()()...21()()!kkkkknkknnfxfxfxxxfxxxfxxxRn1)()1())(()!1(1nknnxxfnR)()(之间与在点xxk式中,一、一元函数的Taylor展开式泰勒（Taylor）中值定理如果函数f(x)在含有x(k)的某个开区间(a,b)内具有直到(n+1)阶的导数，则对任一x，有),(ba拉格朗日余项机械优化设计7)(2)(//)(/)(,)(21)()()(kkkkxxxxxfxxfxfxf式中*在实际计算中,常取前三项(二次函数)来近似原函数:机械优化设计8二、多元函数的Taylor展开式()()()112212222()2()()()211112222221122()()()()1[()()()()](1)2!KkkkkkknFFFXFXxxxxxxFFFxxxxxxxxRxxxx21.二元函数的Taylor展开式（取到前三项）()11()()1222222()112()()111122()22222122()()()()()1()()(2)2()kKkkkknkxxFFFXFXxxxxFFxxxxxxxxxRxxFFxxx矩阵相乘机械优化设计9()11()()1222222()112()()111122()22222121()()()()()1()()(2)2()kKkkkknkxxFFFXFXxxxxFFxxxxxxxxxRxxFFxxx式中()()11()11()()2222()()kkkkkxxxxXXxxxx点距矢量12TFFFxx梯度矢量2221122222121FFxxxFFFxxx二阶偏导数矩阵()()()2()1()()(3)2TKTkkkFXFXFXXXXFXX机械优化设计102.推广到n维目标函数12...TnXxxx()11()()22()...TkkkknnxxxxXXxx()()()()12()()()()...TKKKKnFXFXFXFXxxx2)(22)(21)(22)(222)(212)(21)(221)(221)(2)(2)()(...)()(.......)(...)()()(...)()()()(nKnKnKnKKKnKKKKKxXFxxXFxxXFxxXFxXFxxXFxxXFxxXFxXFXFXH(4)海赛矩阵()()()2()1()()(3)2TKTkkkFXFXFXXXXFXX机械优化设计112222222022FX2222112132222222332,2,02,2,2FFFxxxxxFFFxxxx122133222,222,223TFXxxxxxxx323223FXxxx12122FXxxx2132222FXxxxx22212312233223xxxxxxxx例：求目标函数F（X）的梯度和Hesse矩阵。解：因为则又因为：故Hesse阵为：机械优化设计12(1)12(1)2660120()06600XxFXx例题:(1)()3FX(1)211(1)2220369()336XxxFXxx332212121()339FXxxxxx用泰勒展开将函数(1)[1,1]TX在点简化成线性函数与二次函数。(1)X解：函数在点的函数值、梯度和二阶导数矩阵：机械优化设计1311(1)221111xxXXxx简化的线性函数(1)(1)(1)22()()()[]33(1)36TFXFXFXXXxx简化的二次函数(1)(1)(1)(1)2(1)(1)1()()()[][]()[]2TTFXFXFXXXXFXXXx2212112366(1)6123xxxxx机械优化设计14三、二次型函数是指含有n个自变量的二次齐次函数211112121122121222222(1)111(1)212(1)(1)1(1)121122()...............nnnnnnnnnnnnnnnnnnnnnnFXaxaxxaxxaxxaxaxxaxxaxxaxaxxaxxaxxax11111221221122221(1)11(1)22(1)1122()(...)(...)...(...)(...)nnnnnnnnnnnnnnnnFXxaxaxaxxaxaxaxxaxaxaxxaxaxax机械优化设计1511111221221122221(1)11(1)22(1)1122()(...)(...)...(...)(...)nnnnnnnnnnnnnnnnFXxaxaxaxxaxaxaxxaxaxaxxaxaxax1112112122221212......[...].........nnnnnnnnaaaxaaaxxxxaaaxAXXT机械优化设计16TFXXAX（）;,0)(,0)1为正定矩阵则恒有对于根据线性代数AXFX;,0)(,0为半正定矩阵则恒有对于AXFX;,0)(,0为负定矩阵则恒有对于AXFX.)(,)2称为正定二次型则为正定若XFA机械优化设计17*矩阵A为正定的充要条件---A的各阶主子式均大于零。0003332312322211312112221121111aaaaaaaaaaaaaa333231232221131211aaaaaaaaaA如为正定，则必有：111213212223112233122331132132313233aaaaaaaaaaaaaaaaaa322311332112312213aaaaaaaaa机械优化设计182-2等值（线）面对于可计算的函数f(X)，给定一个设计点X(k)(x1(k),x2(k),…,xn(k))，f(X)总有一个定值c与之对应；而当f(x)取定值c时，则有无限多个设计点X(i)(x1(i),x2(i),…,xn(i))（i=1,2,…）与之对应，这些点集构成一个曲面，称为等值面。当c取c1,c2,…等值时，就获得一族曲面族，称为等值面族。机械优化设计19当f(x)是二维时，获得一族等值线族；当f(x)是三维时，获得一族等值面族；当f(x)大于三维时，获得一族超等值面族。二维等值线机械优化设计20等值线的“心”（以二维为例）一个“心”：是单峰函数的极（小）值点，是全局极（小）值点。没有“心”：如线性函数的等值线是平行的，无“心”，认为极值点在无穷远处。多个“心”：不是单峰函数，每个极（小）值点只是局部极（小）值点，必须通过比较各个极值点和“鞍点”（须正确判别）的值，才能确定极（小）值点。机械优化设计21等值线的形状：同心圆族、椭圆族，近似椭圆族；等值线的疏密：沿等值线密的方向，函数值变化快；沿等值线疏的方向，函数值变化慢。等值线的疏密定性反应函数值变化率。严重非线性函数——病态函数的等值线族是严重偏心和扭曲、分布疏密严重不一的曲线族。--不利于优化设计机械优化设计22§2-2关于优化方法中搜索方向的理论基础1.方向导数一.函数的最速下降方向2.最速下降方向二.共轭方向1.正定二次函数2.共轭方向的基本概念3.构成共轭方向的方法机械优化设计23XXXFXFSXFkkk)()()()()(lim)()(kXXSX)(kXS1)定义--函数沿指定方向的平均变化率的极限。1.方向导数一.函数的最速下降方向机械优化设计242)方向余弦niXXxkii,...,2,1,cos)(121x2xoX)(kX1x2x1coscos:122122)(222)(212)(2221即XXxXXxXXxxkkk机械优化设计253)方向导数的计算nnkkkkxxXFxxXFxxXFXFXFF)(...)()()()()(22)(11)()(()()()1212()()()coscos...coskkknnFXFXFXxxxXXXFXFSXFkkk)()()()()(lim)()(kXX机械优化设计262.最速下降方向TnKKKKxXFxXFxXFXF])(...)()([)()(2)(1)()(因为SXFSXFTkk)]([)()()(于是单位矢量TnS]cos...coscos[21令),cos()()(SFSXFk),cos(SFF()()()()1212()()()()coscos...coskkkknnFXFXFXFXSxxx机械优化设计27§2-2优化方法中搜寻方向的理论基础优化方法三要素初始点搜寻方向步长S(0)X()()()12()()(),,...,kkknFXFXFXxxx连续可微的n维目标函数F(X)，在点X(k)的一阶偏导数为分别表示F(X)在X(k)沿各坐标轴方向的变化率一、函数的最速下降方向1.方向导数讨论函数z=f(x,y)在一点P沿某一方向的变化率问题。机械优化设计28二维函数o2x1x1()kS1x2x()kX()kXX2()()1122[,]kkXxxxxS()12[,]KTSXXxx2212||||S