第5讲 无约束优化

无约束最优化数学建模与数学实验实验目的实验内容2.掌握用数学软件包求解无约束最优化问题.1.无约束最优化基本算法.1.无约束优化基本思想及基本算法.4.实验作业.3.用MATLAB求解无约束优化问题.2.MATLAB优化工具箱简介.无约束最优化问题求解无约束最优化问题的的基本思想*无约束最优化问题的基本算法返回RminnXfX其中1:RRnf标准形式：求解无约束最优化问题的基本思想求解的基本思想(以二元函数为例)1x2x12(,)fxxO1x2xO5310X1X2X)(0Xf)(1Xf)(2Xf连续可微RmaxnXfX=Rmin[]nXfX多局部极小298.0f0f298.0f唯一极小(全局极小)2212112212(,)223fxxxxxxxx搜索过程22212211min(,)100()(1)fxxxxx最优点(11)初始点(-11)1x2xf-114.00-0.790.583.39-0.530.232.60-0.180.001.500.09-0.030.980.370.110.470.590.330.200.800.630.050.950.900.0030.990.991E-40.9990.9981E-50.99970.99981E-8返回⑴给定初始点0RnX，允许误差0,令k=0；⑵计算kXf；⑶检验是否满足收敛性的判别准则：kXf，若满足，则停止迭代，得点kXX*，否则进行⑷；⑷令kkXfS，从kX出发，沿kS进行一维搜索，即求k,使得：kkkkkSXfSXf0min；⑸令kkkkSXX1，k=k+1返回⑵.无约束优化问题的基本算法最速下降法是一种最基本的算法，它在最优化方法中占有重要地位.最速下降法的优点是工作量小，存储变量较少,初始点要求不高；缺点是收敛慢，最速下降法适用于寻优过程的前期迭代或作为间插步骤，当接近极值点时，宜选用别种收敛快的算法.1．最速下降法（共轭梯度法）算法步骤：2．牛顿法算法步骤：(1)选定初始点0RnX，给定允许误差0，令k=0；(2)求kXf,12kXf.检验：若kXf,则停止迭代,*kXX令.否则,转(3)；(3)令kkkXfXfS12][（牛顿方向）；(4)kkkSXX1,1kk,转回(2).如果f是对称正定矩阵A的二次函数，则用牛顿法，经过一次迭代就可达到最优点,如不是二次函数，则牛顿法不能一步达到极值点，但由于这种函数在极值点附近和二次函数很近似,因此牛顿法的收敛速度还是很快的.牛顿法的收敛速度虽然较快，但要求黑塞矩阵可逆，要计算二阶导数和逆矩阵，就加大了计算机的计算量和存储量.3．拟牛顿法为克服牛顿法的缺点，同时保持较快收敛速度的优点，利用第k步和第k+1步得到的kX，1kX，)(kXf，)(1kXf，构造一个正定矩阵1kG近似代替)(2kXf,或用1kH近似代替12))((kXf，将牛顿方向改为：1kG1kS=-)(1kXf，1kS=-1kH)(1kXf从而得到下降方向.通常采用迭代法计算1kG，1kH，迭代公式为:BFGS（Boryden-Fletcher-Goldfarb-Shanno）公式TT1TT()()()()kkkkkkkkkkkkkffGxxGGGfxxGxTT1TT()()1()()kkkkkkkkkkkfHfxxHHfxfxTTT()()()kkkkkkkkxfHHfxfxDFP（Davidon-Fletcher-Powell）公式：TT1TT()()1()()kkkkkkkkkkkXGXffGGXffXTTT()()()kkkkkkkkfXGGXfXfTT1TT()()()()kkkkkkkkkkkkkXXHffHHHfXfHf计算时可置IH1（单位矩阵），对于给出的1X利用上面的公式进行递推.这种方法称为拟牛顿法.返回MATLAB优化工具箱简介1.MATLAB求解优化问题的主要函数类型模型基本函数名一元函数极小minF（x）s.t.x1xx2x=fminbnd(‘F’,x1,x2)无约束极小minF(X)X=fminunc(‘F’,X0)X=fminsearch(‘F’,X0)线性规划minXcTs.t.AX≤bX=linprog(c,A,b)二次规划min21xTHx+cTxs.t.Ax≤bX=quadprog(H,c,A,b)约束极小（非线性规划）minF(X)s.t.G(X)≤0X=fmincon(‘FG’,X0)达到目标问题minrs.t.F(x)-wr≤goalX=fgoalattain(‘F’,x,goal,w)极小极大问题minmax{Fi(x)}x{Fi(x)}s.t.G(x)≤0X=fminimax(‘FG’,x0)2.优化函数的输入变量使用优化函数或优化工具箱中其他优化函数时,输入变量见下表:变量描述调用函数f线性规划的目标函数f×X或二次规划的目标函数XT×H×X+f×X中线性项的系数向量linprog,quadprogfun非线性优化的目标函数.fun必须为行命令对象或M文件、嵌入函数、或MEX文件的名称fminbnd,fminsearch,fminunc,fmincon,lsqcurvefit,lsqnonli,fgoalattain,fminimaxH二次规划的目标函数XT×H×X+f×X中二次项的系数矩阵quadprogA,bA矩阵和b向量分别为线性不等式约束：bAX中的系数矩阵和右端向量linprog,quadprog,fgoalattain,fmincon,fminimaxAeq,beqAeq矩阵和beq向量分别为线性等式约束：beqXAeq中的系数矩阵和右端向量linprog,quadprog,fgoalattain,fmincon,fminimaxvlb,vubX的下限和上限向量：vlb≤X≤vublinprog,quadprog,fgoalattain,fmincon,fminimax,lsqcurvefit,lsqnonlinX0迭代初始点坐标除fminbnd外所有优化函数x1,x2函数最小化的区间fminbndoptions优化选项参数结构，定义用于优化函数的参数所有优化函数3.优化函数的输出变量见下表:变量描述调用函数x由优化函数求得的值.若exitflag0,则x为解;否则,x不是最终解,它只是迭代停止时优化过程的值所有优化函数fval解x处的目标函数值linprog,quadprog,fgoalattain,fmincon,fminimax,lsqcurvefit,lsqnonlin,fminbndexitflag描述退出条件:exitflag0,表示目标函数收敛于解x处exitflag=0,表示已达到函数评价或迭代的最大次数exitflag0,表示目标函数不收敛output包含优化结果信息的输出结构.Iterations:迭代次数Algorithm:所采用的算法FuncCount:函数评价次数所有优化函数4．控制参数选项的设置(3)MaxIter:允许进行迭代的最大次数,取值为正整数.选项中常用的几个参数的名称、含义、取值如下:(1)陈列:显示水平.取值为'off'时,不显示输出;取值为'iter'时,显示每次迭代的信息;取值为'final'时,显示最终结果.默认值为'final'.(2)MaxFunEvals:允许进行函数评价的最大次数,取值为正整数.例：opts=optimset('Display','iter','TolFun',1e-8)该语句创建一个称为选择的优化选项结构,其中显示参数设为'iter',TolFun参数设为1e-8.控制参数选项可以通过函数optimset创建或修改.命令的格式如下：(1)options=optimset('optimfun')创建一个含有所有参数名,并与优化函数optimfun相关的默认值的选项结构.（2）options=optimset('param1',value1,'param2',value2,...)创建一个名称为选项的优化选项参数,其中指定的参数具有指定值,所有未指定的参数取默认值.(3)options=optimset(oldops,'param1',value1,'param2',value2,...)创建名称为oldops的参数的拷贝,用指定的参数值修改oldops中相应的参数.返回用MATLAB解无约束优化问题1.一元函数无约束优化问题:min()fx21xxx其中等式（3）、（4）、（5）的右边可选用（1）或（2）的等式右边.函数fminbnd的算法基于黄金分割法和二次插值法，它要求目标函数必须是连续函数，并可能只给出局部最优解.常用格式如下：（1）x=fminbnd(fun,x1,x2)（2）x=fminbnd(fun,x1,x2，options)（3）[x，fval]=fminbnd（…）（4）[x，fval，exitflag]=fminbnd（…）（5）[x，fval，exitflag，output]=fminbnd（…）运行结果：xmin=3.9270ymin=-0.0279xmax=0.7854ymax=0.6448MATLAB(wliti1)例1求x=2esinxx在0x8中的最小值与最大值.主程序为wliti1.m:f='2*exp(-x).*sin(x)';fplot(f,[0,8]);%作图语句[xmin,ymin]=fminbnd(f,0,8)f1='-2*exp(-x).*sin(x)';[xmax,ymax]=fminbnd(f1,0,8)例2有边长为3m的正方形铁板，在四个角剪去相等的正方形以制成方形无盖水槽，问如何剪法使水槽的容积最大？设剪去的正方形的边长为x，则水槽的容积为：xx)23(2建立无约束优化模型为：miny=-xx)23(2，0x1.5解先编写M文件fun0.m如下:functionf=fun0(x)f=-(3-2*x).^2*x;主程序为wliti2.m:[x,fval]=fminbnd('fun0',0,1.5);xmax=xfmax=-fval运算结果为:xmax=0.5000,fmax=2.0000.即剪掉的正方形的边长为0.5m时水槽的容积最大,最大容积为2m3.MATLAB(wliti2)命令格式为:（1）x=fminunc（fun,X0）；或x=fminsearch（fun,X0）（2）x=fminunc（fun,X0，options）；或x=fminsearch（fun,X0，options）（3）[x，fval]=fminunc（...）；或[x，fval]=fminsearch（...）（4）[x，fval，exitflag]=fminunc（...）；或[x，fval，exitflag]=fminsearch（5）[x，fval，exitflag，output]=fminunc（...）；或[x，fval，exitflag，output]=fminsearch（...）2.多元函数无约束优化问题标准型为：min()FX[3]fminunc为中型优化算法的步长一维搜索提供了两种算法，由选项中参数LineSearchType控制：LineSearchType=‘quadcubic’(缺省值)，混合的二次和三次多项式插值；LineSearchType='cubicpoly'，三次多项式插•使用fminunc和fminsearch可能会得到局部最优解.说明:•fminsearch是用单纯形法寻优.fminunc算法见以下几点说明：[1]fminunc为无约