第8讲无约束优化

无约束最优化数学建模与数学实验无约束最优化问题12:,,)(,()nTnfxXxxfX，设min()nXfX求例选址问题：某市燃气公司计划要建一个煤气供应站，该站向城市中固定位置的𝒎个用户供货。对于选定的坐标系而言，已知第𝒊个用户的位置为(𝒂𝒊,𝒃𝒊),𝒊=𝟏,…,𝒎。如果只考虑直线距离，问如何确定这个煤气站的位置，才能使总的运输距离最短？一元函数求极值的方法1.驻点法2.二分法3.牛顿切线法4.割线法二元函数求极值的方法1.梯度2.黑塞(Hesse)矩阵3.多元函数的泰勒展开4.正定矩阵、负定矩阵、半定矩阵、不定矩阵5.利用黑塞矩阵判断驻点的性质搜索算法1.选定初始点𝑿𝟎，𝒌=𝟎2.假定已经得到𝑿𝒌3.按照一定的规则选取𝑿𝒌+𝟏，4.判断是否满足结束条件：𝑿𝒌+𝟏是否为近似最优解5.如果𝑿𝒌+𝟏是近似最优解，迭代完成；否则令𝒌=𝒌+𝟏，回到步骤2。下降算法•利用梯度的性质选择搜索方向•使得𝒇(𝑿𝒌+𝟏)𝒇(𝑿𝒌)一维搜索的直接法•“成功——失败”法•黄金分割法无约束优化问题的基本算法最速下降法(梯度法)算法步骤：(1)给定初始点𝑿𝟎∈ℝ𝒏，允许误差𝜺𝟎，令𝒌=𝟎.(2)计算𝛁𝒇(𝑿𝒌).(3)检验是否满足收敛性的判别准则：𝛁𝒇(𝑿𝟎)𝜺，若满足，则停止迭代，使得𝑿∗=𝑿𝒌，否则进行(4).(4)令𝑺𝒌=−𝛁𝒇(𝑿𝒌)，从𝑿𝒌出发，沿𝑺𝒌进行一维搜索，即求𝝀使得𝐦𝐢𝐧𝝀≥𝟎𝒇𝑿𝒌+𝝀𝑺𝒌=𝒇(𝑿𝒌+𝝀𝒌𝑺𝒌)(5)令𝐗𝒌+𝟏=𝑿𝒌+𝝀𝒌𝑺𝒌，𝒌=𝒌+𝟏.返回(2).缺点是收敛慢(依赖于𝝀𝒌，在极小点附件容易出现梯度正交的现象)。最速下降法是一种最基本的算法，它在最优化方法中占有重要地位.最速下降法的优点是工作量小，存储变量较少,初始点要求不高；最速下降法适用于寻优过程的前期迭代或作为间插步骤，当接近极值点时，宜选用别种收敛快的算法.最速下降法的一些改进方向：(1)先用最速下降法求近似最优解，在用牛顿法等计算.(2)为消除梯度正交现象，把求得的𝝀𝒌用𝟎.𝟗𝝀𝒌代替计算.(3)在迭代的过程中，如果采用加速步，把负梯度方向−𝛁𝒇(𝑿𝒌)替换成𝑺𝒌=𝑿𝒌−𝑿𝒌−𝟐，𝒌≥𝟐，即用𝑿𝒌−𝑿𝒌−𝟐作为点𝑿𝒌的搜索方向.平行切线法是有交错使用最速下降方向和加速步的方向构成的。牛顿法算法步骤：牛顿法的基本思想是用一个二次函数去逼近目标函数𝒇(𝑿)，然后精确地求出这个二次函数的极小点，并把这个极小点作为所有函数极小点的近似值。(1)给定初始点𝑿𝟎∈ℝ𝒏，允许误差𝜺𝟎，令𝒌=𝟎.(2)求𝛁𝒇(𝑿𝒌)和𝛁𝟐𝒇𝑿𝒌−𝟏.(3)检验是否满足收敛性的判别准则：𝛁𝒇(𝑿𝟎)𝜺，若满足，则停止迭代，使得𝑿∗=𝑿𝒌，否则进行(4).(4)令𝑺𝒌=−𝛁𝟐𝒇𝑿𝒌−𝟏𝛁𝒇(𝑿𝒌)(5)令𝑿𝒌+𝟏=𝑿𝒌+𝑺𝒌，𝒌=𝒌+𝟏.返回(2).如果𝒇(𝑿)是对称正定矩阵A的二次函数，则用牛顿法，经过一次迭代就可达到最优点,如不是二次函数，则牛顿法不能一步达到极值点，但由于这种函数在极值点附近和二次函数很近似,因此牛顿法的收敛速度还是很快的.如果初始点距极值点比较远，由于用二次函数去近似𝒇(𝑿)总有误差，𝑿𝒌+𝟏与𝒇(𝑿)的极值点也会有偏差，且𝑿𝒌+𝟏不一定是牛顿方向最优点，甚至可能出现𝒇𝑿𝒌+𝟏𝒇(𝑿𝒌)。广义牛顿法(阻尼牛顿法)：(4′)从𝑿𝒌出发，沿𝑺𝒌=−𝛁𝟐𝒇𝑿𝒌−𝟏𝛁𝒇(𝑿𝒌)方向进行一维搜索：𝐦𝐢𝐧𝝀≥𝟎𝒇𝑿𝒌+𝝀𝑺𝒌=𝒇(𝑿𝒌+𝝀𝒌𝑺𝒌)(5′)令𝑿𝒌+𝟏=𝑿𝒌+𝝀𝒌𝑺𝒌，𝒌=𝒌+𝟏.返回(2).牛顿法的收敛速度虽然较快，但要求黑塞矩阵可逆，要计算二阶导数和逆矩阵，就加大了计算机的计算量和存储量.拟牛顿法为克服牛顿法的缺点，同时保持较快收敛速度的优点，利用第𝒌步和第𝒌+𝟏步得到的𝑿𝒌,𝑿𝒌+𝟏,𝛁𝒇(𝑿𝒌),𝛁𝒇(𝑿𝒌+𝟏)构造一个正定矩阵𝑮𝒌+𝟏近似代替𝛁𝟐𝒇(𝑿𝒌+𝟏),或用𝑯𝒌+𝟏近似近似代替𝛁𝟐𝒇𝑿𝒌+𝟏−𝟏，将牛顿方向改为：𝑮𝒌+𝟏𝑺𝒌+𝟏=−𝛁𝒇𝑿𝒌+𝟏,𝑺𝒌+𝟏=−𝑯𝒌+𝟏𝛁𝒇𝑿𝒌+𝟏,从而得到下降方向.通常采用迭代法计算1kG，1kH，迭代公式为:BFGS（Boryden-Fletcher-Goldfarb-Shanno）公式TT1TT()()()()kkkkkkkkkkkkkffGxxGGGfxxGxTT1TT()()1()()kkkkkkkkkkkfHfxxHHfxfxTTT()()()kkkkkkkkxfHHfxfxDFP（Davidon-Fletcher-Powell）公式：TT1TT()()1()()kkkkkkkkkkkXGXffGGXffXTTT()()()kkkkkkkkfXGGXfXfTT1TT()()()()kkkkkkkkkkkkkXXHffHHHfXfHf计算时可置IH1（单位矩阵），对于给出的1X利用上面的公式进行递推.这种方法称为拟牛顿法.返回MATLAB优化工具箱简介1.MATLAB求解优化问题的主要函数类型模型基本函数名一元函数极小minF(x)s.t.x1xx2x=fminbnd(‘F’,x1,x2)无约束极小minF(X)X=fminunc(‘F’,X0)X=fminsearch(‘F’,X0)线性规划minXcTs.t.AX≤bX=linprog(c,A,b)二次规划min21xTHx+cTxs.t.Ax≤bX=quadprog(H,c,A,b)约束极小（非线性规划）minF(X)s.t.G(X)≤0X=fmincon(‘FG’,X0)达到目标问题minrs.t.F(x)-wr≤goalX=fgoalattain(‘F’,x,goal,w)极小极大问题minmax{Fi(x)}x{Fi(x)}s.t.G(x)≤0X=fminimax(‘FG’,x0)2.优化函数的输入变量使用优化函数或优化工具箱中其他优化函数时,输入变量见下表:变量描述调用函数f线性规划的目标函数f×X或二次规划的目标函数XT×H×X+f×X中线性项的系数向量linprog,quadprogfun非线性优化的目标函数.fun必须为行命令对象或M文件、嵌入函数、或MEX文件的名称fminbnd,fminsearch,fminunc,fmincon,lsqcurvefit,lsqnonli,fgoalattain,fminimaxH二次规划的目标函数XT×H×X+f×X中二次项的系数矩阵quadprogA,bA矩阵和b向量分别为线性不等式约束：bAX中的系数矩阵和右端向量linprog,quadprog,fgoalattain,fmincon,fminimaxAeq,beqAeq矩阵和beq向量分别为线性等式约束：beqXAeq中的系数矩阵和右端向量linprog,quadprog,fgoalattain,fmincon,fminimaxvlb,vubX的下限和上限向量：vlb≤X≤vublinprog,quadprog,fgoalattain,fmincon,fminimax,lsqcurvefit,lsqnonlinX0迭代初始点坐标除fminbnd外所有优化函数x1,x2函数最小化的区间fminbndoptions优化选项参数结构，定义用于优化函数的参数所有优化函数3.优化函数的输出变量见下表:变量描述调用函数x由优化函数求得的值.若exitflag0,则x为解;否则,x不是最终解,它只是迭代停止时优化过程的值所有优化函数fval解x处的目标函数值linprog,quadprog,fgoalattain,fmincon,fminimax,lsqcurvefit,lsqnonlin,fminbndexitflag描述退出条件:exitflag0,表示目标函数收敛于解x处exitflag=0,表示已达到函数评价或迭代的最大次数exitflag0,表示目标函数不收敛output包含优化结果信息的输出结构.Iterations:迭代次数Algorithm:所采用的算法FuncCount:函数评价次数所有优化函数4．控制参数选项的设置(3)MaxIter:允许进行迭代的最大次数,取值为正整数.选项中常用的几个参数的名称、含义、取值如下:(1)Display:显示水平.取值为'off'时,不显示输出;取值为'iter'时,显示每次迭代的信息;取值为'final'时,显示最终结果.默认值为'final'.(2)MaxFunEvals:允许进行函数评价的最大次数,取值为正整数.例：opts=optimset('Display','iter','TolFun',1e-8)该语句创建一个称为选择的优化选项结构,其中显示参数设为'iter',TolFun参数设为1e-8.控制参数选项可以通过函数optimset创建或修改.命令的格式如下：(1)options=optimset('optimfun')创建一个含有所有参数名,并与优化函数optimfun相关的默认值的选项结构.（2）options=optimset('param1',value1,'param2',value2,...)创建一个名称为选项的优化选项参数,其中指定的参数具有指定值,所有未指定的参数取默认值.(3)options=optimset(oldops,'param1’,value1,...)创建名称为oldops的参数的拷贝,用指定的参数值修改oldops中相应的参数.用MATLAB解无约束优化问题1.一元函数无约束优化问题:min()fx21xxx其中等式(3)、(4)、(5)的右边可选用(1)或(2)的等式右边.函数fminbnd的算法基于黄金分割法和二次插值法，它要求目标函数必须是连续函数，并可能只给出局部最优解.常用格式如下：(1)x=fminbnd(fun,x1,x2)(2)x=fminbnd(fun,x1,x2,options)(3)[x,fval]=fminbnd(…)(4)[x,fval,exitflag]=fminbnd(…)(5)[x,fval,exitflag,output]=fminbnd(…)运行结果：xmin=3.9270ymin=-0.0279xmax=0.7854ymax=0.6448MATLAB(wliti1)例1求x=2esinxx在0x8中的最小值与最大值.主程序为wliti1.m:f='2*exp(-x).*sin(x)';fplot(f,[0,8]);%作图语句[xmin,ymin]=fminbnd(f,0,8)f1='-2*exp(-x).*sin(x)';[xmax,ymax]=fminbnd(f1,0,8)例2有边长为3m的正方形铁板，在四个角剪去相等的正方形以制成方形无盖水槽，问如何剪法使水槽的容积最大？设剪去的正方形的边长为x，则水槽的容积为：xx)23(2建立无约束优化模型为：miny=-xx)23(2，0x1.5解先编写M文件fun0.m如下:functionf=fun0(x)f=-(3-2*x).^2*x;主程序为wliti2.m:[x,fval]=fminbnd('fun0',0,1.5);xmax=xfmax=-fval运算结