优化设计数学基础

MechanicalOptimizationDesign第二章优化设计的数学基础2.1多元函数的方向导数与梯度2.2多元函数的泰勒展开2.3无约束优化问题的极值条件2.4凸集、凸函数与凸规划2.5等式约束优化问题的极值条件2.6不等式约束优化问题的极值条件MechanicalOptimizationDesign2.1多元函数的方向导数与梯度一、方向导数MechanicalOptimizationDesign2.1多元函数的方向导数与梯度MechanicalOptimizationDesign2.1多元函数的方向导数与梯度MechanicalOptimizationDesign2.1多元函数的方向导数与梯度MechanicalOptimizationDesign2.1多元函数的方向导数与梯度MechanicalOptimizationDesign2.1多元函数的方向导数与梯度MechanicalOptimizationDesign2.1多元函数的方向导数与梯度MechanicalOptimizationDesign2.1多元函数的方向导数与梯度MechanicalOptimizationDesign2.1多元函数的方向导数与梯度MechanicalOptimizationDesign求函数2221)2()(xxXf在点T2,2和T3,4处的梯度。解：2211242xxfxxf在点T2,2Tf4,044022f梯度方向1044,0TffS8321.05547.0ffS211.76422fTf6,4T3,4MechanicalOptimizationDesign2.1多元函数的方向导数与梯度求目标函数在点处的最速下降方向，并求沿这个方向移动一个单位长度后新点的目标函数值2221212143),(xxxxxxfTx]1,0[)0(解：MechanicalOptimizationDesign551155255155210)0()1(eXX新点是：5252642)(1222121)1(XxxxxXfMechanicalOptimizationDesign2.2多元函数的泰勒展开MechanicalOptimizationDesign2.2多元函数的泰勒展开MechanicalOptimizationDesign2.2多元函数的泰勒展开MechanicalOptimizationDesign2.2多元函数的泰勒展开MechanicalOptimizationDesign2.2多元函数的泰勒展开MechanicalOptimizationDesign2.2多元函数的泰勒展开MechanicalOptimizationDesign2.3无约束优化问题的极值条件若目标函数f(x)处处存在一阶导数，则极值点的必要条件一阶偏导数等于零，即*0fx满足此条件仅表明该点为驻点，不能肯定为极值点，即使为极值点，也不能判断为极大点还是极小点，还得给出极值点的充分条件设目标函数在点至少有二阶连续的偏导数，则在这一点的泰勒二次近似展开式为：*xMechanicalOptimizationDesign*2*****1,112nniiijjiijiijfxfxfxfxxxxxxxxxx2222112122222122222212.....................kkknkkkknkkknnnfxfxfxxxxxxfxfxfxGxxxxxxfxfxfxxxxxx2.3无约束优化问题的极值条件MechanicalOptimizationDesign泰勒展开写成向量矩阵形式******12TTfxfxfxxxxxGxxx*0fx∵****12TfxfxxxGxxx∵*0fxfx2.3无约束优化问题的极值条件MechanicalOptimizationDesign2.3无约束优化问题的极值条件（1）▽F(X*)=0；必要条件（2）Hesse矩阵G(X*)为正定。充分条件*x为无约束极小点的充分条件其Hesse矩阵G(X*)为正定的。则极小点必须满足***0TxxGxxx为无约束优化问题的极值条件多元函数f(x)在处取得极值，则极值的条件为*xMechanicalOptimizationDesign考虑二元函数在处取得极值的充分必要条件。*x120fxfxfx10020xxx02221120222212xffxxxGxffxxx各阶主子式大于零例：求函数的极值22121212,425fxxxxxx2.3无约束优化问题的极值条件MechanicalOptimizationDesign2.4凸集、凸函数与凸规划前面我们根据函数极值条件确定了极小点*x则函数f(x)在附近的一切x均满足不等式*x*fxfx所以函数f(x)在处取得局部极小值，称为局部极小点。*x*x而优化问题一般是要求目标函数在某一区域内的全局极小点。函数的局部极小点是不是一定是全局极小点呢？MechanicalOptimizationDesign2.4凸集、凸函数与凸规划MechanicalOptimizationDesign2.4凸集、凸函数与凸规划一、凸集的线段都全部包含在该集合内，就称该点集为凸集，否则为非凸集。一个点集（或区域），如果连接其中任意两点1x2x2xMechanicalOptimizationDesign2.4凸集、凸函数与凸规划MechanicalOptimizationDesign2.4凸集、凸函数与凸规划MechanicalOptimizationDesign2.4凸集、凸函数与凸规划MechanicalOptimizationDesign2.4凸集、凸函数与凸规划MechanicalOptimizationDesignMechanicalOptimizationDesign2.4凸集、凸函数与凸规划MechanicalOptimizationDesign2.4凸集、凸函数与凸规划凸规划的性质：1.若给定一点，则集合0x0fxfxRx为凸集。2.可行域1,2,...,0jjmgxRx为凸集MechanicalOptimizationDesign2.4凸集、凸函数与凸规划MechanicalOptimizationDesign2.5等式约束优化问题的极值条件约束优化等式约束不等式约束求解这一问题的方法消元法拉格朗日乘子法minfx..st0khx1,2,...,klMechanicalOptimizationDesign2.5等式约束优化问题的极值条件MechanicalOptimizationDesign2.5等式约束优化问题的极值条件二、拉格朗日乘子法（升维法）对于具有L个等式约束的n维优化问题*x处有**0Tdfxfxdx**10lTkkikiihdhxdxhxdxx将原来的目标函数作如下改造：1,lkkkFxfxhx拉格朗日函数待定系数MechanicalOptimizationDesign2.5等式约束优化问题的极值条件0iFx0kF新目标函数的极值的必要条件MechanicalOptimizationDesign2.5等式约束优化问题的极值条件MechanicalOptimizationDesign用拉格朗日乘子法计算在约束条件的情况下，目标函数的极值点坐标0632),(2121xxxxh22212154),(xxxxf2.5等式约束优化问题的极值条件MechanicalOptimizationDesign2.6不等式约束优化问题的极值条件不等式约束的多元函数的极值的必要条件：库恩-塔克（Kuhn-Tucker）条件一、一元函数在给定区间上的极值条件一元函数f(x)在给定区间[a,b]上的极值问题，可以写成下列具有不等式约束条件的优化问题：minfx..st10gxax20gxxb拉格朗日乘子法，除了可以应用于等式的极值问题，还可以用于不等式的极值问题。MechanicalOptimizationDesign2.6不等式约束优化问题的极值条件需引入松弛变量，将不等式约束变成等式约束。设a1和b1为两个松弛变量，则上述的不等式约束可写为：2211111,0hxagxaaxa2221211,0hxbgxbxbb则该问题的拉格朗日函数1112111221,,,,,,Fxabfxhxahxb221121fxaxaxbb1020MechanicalOptimizationDesign2.6不等式约束优化问题的极值条件根据拉格朗日乘子法，此问题的极值条件：1212120dgdgFfdfxxdxdxdx11120Fbb11120Faa221212,0Fhxbgxb211111,0Fhxagxa由110a110,0a110,0a10gxax（起作用约束）10gxax0)(11xguMechanicalOptimizationDesign2.6不等式约束优化问题的极值条件同样，来分析起作用和不起作用约束。210b2gx因此，一元函数在给定区间的极值条件，可以表示为：12120dgdgdfdxdxdx220gx110gx1020库恩-塔克条件1212120dgdgdfdfdxdxdxdx分析极值点在区间的位置，有三种情况*x对于一元函数：MechanicalOptimizationDesign2.6不等式约束优化问题的极值条件当*axb时，此时120则极值条件为：*0dfxdx当*xa时，此时120,0则极值条件为10dfdx即*0dfxdx当*xb时，此时120,0，则极值条件为20dfdx*0dfxdx即MechanicalOptimizationDesign2.6不等式约束优化问题的极值条件从以上分析可以看出，对应于不起作用的约束的拉格朗日乘子取零值，因此可以引入起作用约束的下标集合。0,1,2jgxjJxj一元函数在给定区间的极值条件，可以改写为：极值条件中只考虑起作用的约束和相应的乘子。000jjjJjjdgdfdxdxgxjJjJMechanicalOptimizationDesign2.6不等式约束优化问题的极值条件**101,2,...,01,2,...,01,2,...,mjjjiijjjdfxdgxindxdxgxjmjm用起作用约束的下标集合表示仿照一元函数给定区间上极值条件的推导过程，可以得到具有不等式约束多元函数极值条件：***01,2,...,00jjjJiijjdfxdgxindxdxgxjJjJ