lxt第2章 优化设计数学基础

轧机CAD/CAM/CAE研究室第二章优化设计的数学基础1）多元函数的Taylor展开式2）二次型函数3）关于优化方法中搜索方向的理论基础4）凸集与凸函数5）最优化问题的极值存在条件轧机CAD/CAM/CAE研究室§2-1函数的Taylor展开式nnkknkkkkkRxxxfnxxxfxxxfxfxf))((!1...))((21))(()()()()()(2)()(//)()(/)()(2)(//)(/)(,)(21)()()(kkkkxxxxxfxxfxfxf式中*在实际计算中,常取前三项(二次函数)来近似原函数:1)()1())(()!1(1nknnxxfnR)()(之间与在点xxk式中,一.一元函数的Taylor展开式轧机CAD/CAM/CAE研究室二.多元函数的Taylor展开式TnkkkkxXFxXFxXFXF])(...)()([)()(2)(1)()(TnkxxxXXX...21)(令Tknnkkxxxxxx...2211jinininjjikiikkxxxxXFxxXFXFXF111)(2)()()(21)()()((1)2)(22)(21)(22)(222)(212)(21)(221)(221)(2)(2)()(...)()(.......)(...)()()(...)()()()(nknknknkkknkkkKKxXFxxXFxxXFxxXFxXFxxXFxxXFxxXFxXFXFXH(2)(3)XXHXXXFXFXFkTTkk)(][21)]([)()()()()(梯度海赛(Hessian)矩阵对称矩阵轧机CAD/CAM/CAE研究室814244410)()(2121)(kXXkxxxxXF24410)(2XF4445)(1222121xxxxxXF172181421244102121212121xxxxxx故解：4445)(1222121xxxxxXFTkX21)(例：将函数写成在点处泰勒展开式的矩阵形式。17414221415)(22)(kXF轧机CAD/CAM/CAE研究室§2-2二次齐次函数njijiijxxaXF1,)(nnnnnnnnxxxaaaaaaaaaxxx...............]...[2121222211121121AXXT2221212)(cxxbxaxXF2121][xxcbbaxx例：22212121cxxbxxbxax系数矩阵;,0)(,0)1为正定矩阵则恒有对于根据线性代数AXFX;,0)(,0为半正定矩阵则恒有对于AXFX;,0)(,0为负定矩阵则恒有对于AXFX.)(,)2称为正定二次型则为正定若XFA轧机CAD/CAM/CAE研究室*矩阵A为正定的充要条件--A的各阶主子式均大于零。0003332312322211312112221121111aaaaaaaaaaaaaa333231232221131211aaaaaaaaaA如为正定，则必有：轧机CAD/CAM/CAE研究室§2-3关于优化方法中搜索方向的理论基础1.方向导数一.函数的最速下降方向2.梯度二.共轭方向1.正定二次函数2.共轭方向的基本概念3.构成共轭方向的方法轧机CAD/CAM/CAE研究室XXXFXFSXFkkk)()()()()(lim)()(kXXSX)(kXS1.定义--函数沿指定方向的平均变化率的极限。一)方向导数2.3.1函数的最速下降方向轧机CAD/CAM/CAE研究室2.方向余弦niXXxkii,...,2,1,cos)(121x2xoX)(kX1x2x1coscos:122122)(222)(212)(2221即XXxXXxXXxxkkk)(kXX3x2x1x3x2x1x轧机CAD/CAM/CAE研究室3.方向导数的计算nnkkkkxxXFxxXFxxXFXFXFF)(...)()()()()(22)(11)()(XXFSXFkk)()(lim)()(kXXniXXxkii,...,2,1,cos)(nnkkkCOSxXFCOSxXFCOSxXF)(...)()()(22)(11)(XXXFXFSXFkkk)()()()()(lim)()(kXX轧机CAD/CAM/CAE研究室二）梯度TnKKKKxXFxXFxXFXF])(...)()([)()(2)(1)()(TnS]cos...coscos[21令),cos(SFFSXFSXFTkk)]([)()()(于是单位矢量nnkkkkkCOSxXFCOSxXFCOSxXFXXFSXF)(...)()(lim)()(22)(11)()()()(kXX),cos()()(SFSXFk轧机CAD/CAM/CAE研究室从上式可得出如下结论：SXFk)()(),cos(SFFFSF最优点*最速下降只是局部性质.4）在与梯度垂直的方向（等值线的切线方向）上，函数的变化率为零。2）梯度的模是最大的方向导数,负梯度方向是函数的最速下降方向；1）方向导数是梯度在指定方向上的投影；3）最速下降方向为等值线（面）的法线方向；轧机CAD/CAM/CAE研究室2.3.2共轭方向CXBAXXXFTT21)(常数阶正定对称矩阵CxxxXbbbBnATnTn......2121*当n=2时，fexdxcxxbxaxXF21222121)(fxxedxxcbbaxx21212122][21BAXecxbxdbxaxXF212122)(CTB1）矩阵表示一）正定二次函数也适于多元函数AcbbaXF22)(2轧机CAD/CAM/CAE研究室2)正定二元二次函数的特点fcxaxF2221.0,,,,caca且必同号故因是椭圆方程且有极小ⅱ)F=f时有极小.此时椭圆缩为一点,即椭圆中心.ⅰ)F只影响椭圆的大小,不影响其中心位置---同心;②椭圆方程经坐标轴平移和转动后可去掉一次项和交叉项,故写成下述形式不失一般性:.04,02acba①因函数为正定，故A为正定，即：由于判别式0，无论F(X)取何值,所得方程均为椭圆方程.证：（1）正定二元二次函数的等值线是一族同心椭圆，其中心坐标就是该函数的极小点。AcbbaXF22)(21)()(222221cfFxafFx轧机CAD/CAM/CAE研究室（2）过同心椭圆族的中心作任意直线与椭圆族中任意两椭圆相交，再过两交点所作相应椭圆的切线必相互平行。fcxaxF222121121221022cxaxdxdxdxdxcxaxckacxaxdxdx2112为常量,说明该直线上各椭圆的斜率均相等.)2()1(,XX)2()1(,XX逆命题:设两平行线与同心椭圆族中两椭圆分别相切于点,则过的直线必通过椭圆族的中心.12kxx设过中心的直线为,代入上式得:1x就上式对求导:证:)1(X)1(X)2(X轧机CAD/CAM/CAE研究室二）共轭方向的基本概念0324632422214*几何意义:经过线性变换A后成了与正交的向量.1S2S例：021ASST21,SS21SS和设A为n*n阶正定对称矩阵，是两个n维向量，若存在则称对A共轭。1)定义轧机CAD/CAM/CAE研究室2)共轭方向的性质*这种性质称为有限步收敛性（亦称二次收敛性）（2）从任意选定的初始点出发，只要依次沿n个共轭方向进行一维搜索，一轮后便可达到n元正定二次函数的极小点。(证明见席少霖:《最优化方法》，P97）nSSS,...,,21（1）若矢量系彼此对正定对称矩阵A共轭，则它们组成线性无关的矢量系；轧机CAD/CAM/CAE研究室三）构成共轭方向的方法21,ll1S)2()1(,XX)1()2(2XXS1S设为平行于的两条直线，则过这两直线上正定n元二次目标函数的极小点的向量和对Hessian矩阵A共轭。1S)1(X)2(X2S1l2l轧机CAD/CAM/CAE研究室证明：CXBAXXXFTT21)(二次函数BAXXF)(其梯度为0)(0)()2(1)1(1XFSXFSTT因分别为两直线上的极小点，故有)2()1(,XX0)]()([)1()2(1XFXFST将上述两式相减0)()1()2(1XXAST0][)1()2(1BAXBAXST021ASST1S)(XF轧机CAD/CAM/CAE研究室0211410nm122nmSTSXX]5.01[1)0()1(00125.05.01)2(XX5.001221110112ddFFX5.0071475.1775.021125.012ddFFX)1(X2S再从出发，沿搜索得TX]11[)0(1S2）取初始点，沿方向搜索解：,241221xxxxF2114H1）2122212)(xxxxXFTS]10[11S2S例：对于目标函数，给定，试求出与共轭的方向，并求出目标函数的极小点。轧机CAD/CAM/CAE研究室§2-4凸集与凸函数XX2X1llllXXXX122凸集非凸集凹集*若X是X1和X2连线上的点，则有DXXX21)1(DXX21,:102·4·1凸集---若任意两点，对于，恒有，则D为凸集。整理后即得21X)1(XX轧机CAD/CAM/CAE研究室10:)()1()(])1([2121XfXfXXf设f(X)为定义在Rn内一个凸集D上的函数，若对于及D上的任意两点X1,X2,恒有则f(X)为定义在D上的一个凸函数。y)(xfx2xx1xof1f2flxxlxx212,2·4·2凸函数1.定义llffyf12221)1(ffy轧机CAD/CAM/CAE研究室2.凸函数的基本性质)]()[1()]([])1([2121XFXFXXF)()1()(])1([2111211XFXFXXF)()1()(])1([2212212XFXFXXF证:由定义两式相加,整理后可得证.)(1XF)(2XF)(1XF)(2XF（2）设、均为定义在凸集D上的凸函数，则+也是定义在D上的凸函数。)()1()(])1([2121XFXFXXF证:由定义两边乘上:)(XF)(XF（1）设为定义在凸集D上的凸函数，为任意正实数,则也是定义在D上的凸函数。)(2XF)(1XF)()(2211XFXF（3）设、均为