第二章 优化设计基础

工程优化设计Mechanicaloptimizationdesign主讲：李熹平教材：工程优化设计与MATLAB实现清华大学出版社联系方式：632097第二章优化设计的数学基础第一节多元函数的方向导数和梯度一个多元函数可用偏导数的概念来研究函数沿各坐标方向的变化率。二元函数的偏导数：10201201020101201020011102021020022(,)(,),,lim,,limxxxxfxxxxxfxxxfxxfxxfxxxfxxfxx一个二元函数在点处的偏导数是第二章优化设计的数学基础第一节多元函数的方向导数和梯度方向导数：0120102010120210200(,)(,),,limdxfxxxxxdfxxxxfxxfdd称函数在点处沿某一方向的变化率为该函数沿此方向的方向导数，公式可以表示为θ2θ1o1x2x10x20x0X1x2xd偏导数与方向导数之间的数量关系：00010120210200101201020101101202101202021212,,lim,,lim,(,)limcoscosdxddxxfxxxxfxxfddfxxxfxxxxdfxxxxfxxxxxdffxx0001212coscosxxxfffxxd第二章优化设计的数学基础第一节多元函数的方向导数和梯度多元函数的方向导数：0000012012112i(,,,)xcoscoscoscoscosnnniixnixxxxinfxxxdfffffxxxxdd元函数…在点处沿方向的方向导数可以表示成：…其中，是方向与坐标轴x方向之间夹角的余弦。第二章优化设计的数学基础第一节多元函数的方向导数和梯度例：21212012112212()(,),[11]4436Tfxfxxxxxdddd设目标函数求点处沿和两个方向的方向导数。向量的方向为：，向量的方向为：，第二章优化设计的数学基础第一节多元函数的方向导数和梯度梯度：0010120122(,)(),Txxfxfffxxxfxfxxx二元函数在点处的梯度是0012102(,)cos()cosxffxxxdfxd二元函数在点处的方向导数等于该点处的梯度与方向单位向量的内积。方向导数与梯度的关系：000()()cos(,)Txffxdfxfdd第二章优化设计的数学基础第一节多元函数的方向导数和梯度梯度：0010120122(,)(),Txxfxfffxxxfxfxxx二元函数在点处的梯度是梯度的性质：1）梯度是一个向量；2）梯度方向是方向导数最大的方向，即函数值变化最快（函数值变化率最大）的方向；3）梯度方向是等值面（线）的法线方向。第二章优化设计的数学基础第一节多元函数的方向导数和梯度多元函数的梯度：000012102001212(,,,)(,,,)nnTnxnxfxxxxxxxfxffffxfxxxxfx函数…在点…处的梯度是第二章优化设计的数学基础第一节多元函数的方向导数和梯度220121212,42500Tfxxxxxxx求二元函数在点处函数变化率最大的方向和数值。例题：00110222201200244()222()252()51()5xxfxxfxfxxfffxxxfxpfx解：函数变化率最大的方向就是梯度方向，用单位向量表示，函数变化率最大的数值就是梯度的模。p第二章优化设计的数学基础第二节多元函数的泰勒展开020002200()1()()'()''()2()fxxxfxfxfxxfxxxxxxxx在点处的泰勒展开式：…其中，，一元函数第二章优化设计的数学基础第二节多元函数的泰勒展开000000121020222221210201211222212112211102220(,)(,)1(,)(,)22xxxxxfxxxxxffffffxxfxxxxxxxxxxxxxxxxxxxx在点处的泰勒展开式：…其中，，二元函数：二元函数泰勒展开式的矩阵形式：002221121101222221222120001212xxTTffxxxxxfffxfxxxxxxxffxxxfxfxxxGxx……00121020(,)(,)Gxfxxxxx是函数在点处的海赛矩阵对称矩阵第二章优化设计的数学基础第二节多元函数的泰勒展开多元函数泰勒展开式的矩阵形式：0001()2TTfxfxfxxxGxx…0012Tnxffffxxxx是函数在该点的梯度第二章优化设计的数学基础第二节多元函数的泰勒展开多元函数的海赛矩阵：22221121222202122222212nnnnnfffxxxxxfffGxxxxxxfffxxxxx第二章优化设计的数学基础第二节多元函数的泰勒展开正定矩阵：00A0A00ATTTxxAxxAxxxAx如果对于任意，有二次型成立，则矩阵为正定矩阵；若二次型，则矩阵为半正定矩阵；相反，如果对于任意，有，则矩阵负定。第二章优化设计的数学基础矩阵正定与负定的判定：正定：矩阵A正定的条件是A的各阶主子式大于零；负定：矩阵A负定的条件是各阶主子式负、正相间。第二节多元函数的泰勒展开第二章优化设计的数学基础第三节无约束优化问题的极值条件***12****12()()()0,0,,0()()()(),,,0nTnfxfxfxxxxfxfxfxfxxxx，即梯度**GxGx海赛矩阵正定（负定），即的各阶主子式均大于零（或负、正相间）*1212()(,,,)(,,,)Tnnfxfxxxxxxx多元函数在点处取得极值必要条件充分条件第二章优化设计的数学基础第三节无约束优化问题的极值条件12*12**()(,,,)(,,,)nTnfxfxxxxxxxGxGx多元函数在点处取得极小值的充要条件是：函数在该点的梯度为0，且海赛矩阵正定，即的各阶主子式均大于零。12*12*()(,,,)(,,,)nTnfxfxxxxxxxGx多元函数在点处取得极大值的充要条件是：函数在该点的剃度为0，且海赛矩阵负定，即各阶主子式负、正相间。第二章优化设计的数学基础第三节无约束优化问题的极值条件4222112121()245,4fxxxxxxx证明函数在点（2）处具有极小值。例：第二章优化设计的数学基础第四节凸集、凸函数和凸规划当极值点x*能使f（x*）在整个可行域中为最小值（最大值）时，即在整个可行域中对任一x都有f（x）≥f（x*）（或者f（x）≤f（x*））时，则x*就是全局极小点（全局极大点）。全局极值点（最优点）：第二章优化设计的数学基础第四节凸集、凸函数和凸规划若f（x*）为局部可行域中的极小值（极大值）而不是整个可行域中的最小值（或最大值）时，则称x*为局部极小点（局部极大点）。局部极值点（相对极值点）：第二章优化设计的数学基础第四节凸集、凸函数和凸规划一个下凸的函数，它的极值点只有一个，并且该点既是局部极值点也是全局极值点，我们就称这个函数具有凸性。函数的凸性（单峰性）：第二章优化设计的数学基础第四节凸集、凸函数和凸规划设R是一个点集（或区域），若连接其中任意两点x1和x2的直线都属于R，则称这种集合R是一个凸集。凸集：121201(1)RxRxRxxyR如果对于一切，及一切满足的实数，点，则称集合是凸集。第二章优化设计的数学基础第四节凸集、凸函数和凸规划凸集的性质：1AaAaA{|,}2ABabABaAbB{|,,}3AxxaaAABxxabaAbB．若是一个凸集，是一个实数，是凸集中的一个动点，即，则集合还是凸集。．若和是凸集，、分别是凸集、中的动点，即，，则集合还是凸集。．任何一组凸集的交集还是凸集。第二章优化设计的数学基础第四节凸集、凸函数和凸规划具有凸性（表现为单峰性）或只有唯一的局部最优值，即全局最优值的函数，称为凸函数或单峰函数。凸函数：1212121212R01Rxx()[(1)]()(1)()R()[(1)]()(1)()fxfxfxxfxfxfxfxxfxfx设f(x)是一个凸集上的函数，如果对任何实数（）以及对中任意两点和恒有，则函数f(x)就是定义在凸集上的一个凸函数。如果将上式中的等号去掉而写成严格的不等式：则称（）为严格凸函数。第二章优化设计的数学基础第四节凸集、凸函数和凸规划1．若f(x)为定义在凸集R上的一个凸函数，且α是一个正数（α0），则αf(x)也必是定义在凸集R上的凸函数。2．定义在凸集R上的两个凸函数f1(x)和f2(x)，其和f(x)=f1(x)+f2(x)也一定是该凸集上的一个凸函数。3．若f1(x)、f2(x)是定义在凸集R上的两个凸函数，α和β为两个任意正数，则函数αf1(x)+βf2(x)仍是R上的凸函数。4．若定义在凸集R上的一个凸函数f(x)有两个最小点x1和x2则这两点处的函数值f(x1)和f(x2)必相等，否则，其中较大的点就不是f(x)的最小点了。5．若x1和x2是定义在凸集R上的一个凸函数f(x)的两个最小点，则其连接线段上的一切点必为f(x)的最小点。凸函数的性质：第二章优化设计的数学基础第四节凸集、凸函数和凸规划凹函数：1212()[(1)]()(1)()fxfxxfxfx凸函数下凸——有极小值上凸——有极大值凹函数1212()[(1)]()(1)()fxfxxfxfx第二章优化设计的数学基础第四节凸集、凸函数和凸规划凸规划：目标函数与约束条件均为凸函数的优化问题称为凸规划。001,{|()()}2{|()01,2,,}3jRxfxfxRxgxjm）若给定点x则集合是凸集。）凸规划的可行域是凸集。）凸规划的任何局部最优解就是全局最优解。凸规划的性质第二章优化设计的数学基础第五节等式约束优化问题的极值条件等式约束优化问题的数学模型：min()..()0(1,2,,)kfxsthxkm消元法——降维法拉格朗日乘子法——升维法解法第二章优化设计的数学基础第五节等式约束优化问题的极值条件消元法：12()xx12(,)0hxx12(,)fxx2()Fx（二维）（一维）1212min(,)..(,)0fxxsthxx二元函数（一个等式约束）：第二章优化设计的数学基础第五节等式约束优化问题的极值条件n元函数（l个等式约束条件）：1212min(,,,)..(,,,)0(1,2,,)nknfxxxsthxxxkl……1112221212(,,,)(,,,)(,,,)llnllnllllnxxxxxxxxxxxx………12min(,,,)llnFxxx…（n-l维无约束优化问题）消元法第二