第5讲 无约束优化

后勤工程学院数学教研室无约束最优化数学建模与数学实验实验目的实验内容2、掌握用数学软件包求解无约束最优化问题。1、了解无约束最优化基本算法。1、无约束优化基本思想及基本算法。4、实验作业。3、用MATLAB求解无约束优化问题。2、MATLAB优化工具箱简介无约束最优化问题求解无约束最优化问题的的基本思想*无约束最优化问题的基本算法返回XfnEXmin其中1:EEfn标准形式：求解无约束最优化问题的基本思想求解的基本思想(以二元函数为例)1x2x)(21xxf01x2x05310X1X2X)(0Xf)(1Xf)(2Xf连续可微XfnEXmax=][minXfnEX多局部极小298.0f0f298.0f唯一极小(全局极小)2122212121322)(xxxxxxxxf搜索过程21221221)1()(100)(minxxxxxf最优点(11)初始点(-11)1x2xf-114.00-0.790.583.39-0.530.232.60-0.180.001.500.09-0.030.980.370.110.470.590.330.200.800.630.050.950.900.0030.990.991E-40.9990.9981E-50.99970.99981E-8返回⑴给定初始点nEX0，允许误差0,令k=0；⑵计算kXf；⑶检验是否满足收敛性的判别准则：kXf，若满足，则停止迭代，得点kXX*，否则进行⑷；⑷令kkXfS，从kX出发，沿kS进行一维搜索，即求k使得：kkkkkSXfSXf0min；⑸令kkkkSXX1，k=k+1返回⑵.无约束优化问题的基本算法最速下降法是一种最基本的算法，它在最优化方法中占有重要地位.最速下降法的优点是工作量小，存储变量较少,初始点要求不高；缺点是收敛慢，最速下降法适用于寻优过程的前期迭代或作为间插步骤，当接近极值点时，宜选用别种收敛快的算法.1．最速下降法（共轭梯度法）算法步骤：2．牛顿法算法步骤：(1)选定初始点nEX0，给定允许误差0，令k=0；(2)求kXf,12kXf,检验：若kXf,则停止迭代,kXX*.否则,转向(3)；(3)令kkkXfXfS12][（牛顿方向）；(4)kkkSXX1,1kk,转回(2).如果f是对称正定矩阵A的二次函数，则用牛顿法经过一次迭代就可达到最优点,如不是二次函数，则牛顿法不能一步达到极值点，但由于这种函数在极值点附近和二次函数很近似,因此牛顿法的收敛速度还是很快的.牛顿法的收敛速度虽然较快，但要求Hessian矩阵要可逆，要计算二阶导数和逆矩阵，就加大了计算机计算量和存储量.3．拟牛顿法为克服牛顿法的缺点，同时保持较快收敛速度的优点，利用第k步和第k+1步得到的kX，1kX，)(kXf，)(1kXf，构造一个正定矩阵1kG近似代替)(2kXf,或用1kH近似代替12))((kXf，将牛顿方向改为：1kG1kS=-)(1kXf，1kS=-1kH)(1kXf从而得到下降方向.通常采用迭代法计算1kG，1kH，迭代公式为:BFGS（Boryden-Fletcher-Goldfarb-Shanno）公式kkTkkTkkkkTkTkkkkxGxGxxGxfffGG)()()()(1kTkTkkkTkkkTkkkxfxxxffHfHH)()()()(11kTkTkkkkTkkxfxfHHfx)()()(DFP（Davidon-Fletcher-Powell）公式：kTkTkkkTkkkTkkkXffffXXGXGG)()()()(11kTkTkkkkTkkfXfXGGXf)()()(kkTkkTkkkkTkTkkkkfHfHffHXfXXHH)()()()(1计算时可置IH1（单位阵），对于给出的1X利用上面的公式进行递推.这种方法称为拟牛顿法.返回Matlab优化工具箱简介1.MATLAB求解优化问题的主要函数类型模型基本函数名一元函数极小MinF（x）s.t.x1xx2x=fminbnd(‘F’,x1,x2)无约束极小MinF(X)X=fminunc(‘F’,X0)X=fminsearch(‘F’,X0)线性规划MinXcTs.t.AX=bX=linprog(c,A,b)二次规划Min21xTHx+cTxs.t.Ax=bX=quadprog(H,c,A,b)约束极小（非线性规划）MinF(X)s.t.G(X)=0X=fmincon(‘FG’,X0)达到目标问题Minrs.t.F(x)-wr=goalX=fgoalattain(‘F’,x,goal,w)极小极大问题Minmax{Fi(x)}X{Fi(x)}s.t.G(x)=0X=fminimax(‘FG’,x0)2.优化函数的输入变量使用优化函数或优化工具箱中其它优化函数时,输入变量见下表:变量描述调用函数f线性规划的目标函数f*X或二次规划的目标函数X’*H*X+f*X中线性项的系数向量linprog,quadprogfun非线性优化的目标函数.fun必须为行命令对象或M文件、嵌入函数、或MEX文件的名称fminbnd,fminsearch,fminunc,fmincon,lsqcurvefit,lsqnonlin,fgoalattain,fminimaxH二次规划的目标函数X’*H*X+f*X中二次项的系数矩阵quadprogA,bA矩阵和b向量分别为线性不等式约束：bAX中的系数矩阵和右端向量linprog,quadprog,fgoalattain,fmincon,fminimaxAeq,beqAeq矩阵和beq向量分别为线性等式约束：beqXAeq中的系数矩阵和右端向量linprog,quadprog,fgoalattain,fmincon,fminimaxvlb,vubX的下限和上限向量：vlb≤X≤vublinprog,quadprog,fgoalattain,fmincon,fminimax,lsqcurvefit,lsqnonlinX0迭代初始点坐标除fminbnd外所有优化函数x1,x2函数最小化的区间fminbndoptions优化选项参数结构，定义用于优化函数的参数所有优化函数3.优化函数的输出变量下表:变量描述调用函数x由优化函数求得的值.若exitflag0,则x为解;否则,x不是最终解,它只是迭代制止时优化过程的值所有优化函数fval解x处的目标函数值linprog,quadprog,fgoalattain,fmincon,fminimax,lsqcurvefit,lsqnonlin,fminbndexitflag描述退出条件:exitflag0,表目标函数收敛于解x处exitflag=0,表已达到函数评价或迭代的最大次数exitflag0,表目标函数不收敛output包含优化结果信息的输出结构.Iterations:迭代次数Algorithm:所采用的算法FuncCount:函数评价次数所有优化函数4．控制参数options的设置(3)MaxIter:允许进行迭代的最大次数,取值为正整数.Options中常用的几个参数的名称、含义、取值如下:(1)Display:显示水平.取值为’off’时,不显示输出;取值为’iter’时,显示每次迭代的信息;取值为’final’时,显示最终结果.默认值为’final’.(2)MaxFunEvals:允许进行函数评价的最大次数,取值为正整数.例：opts=optimset(‘Display’,’iter’,’TolFun’,1e-8)该语句创建一个称为opts的优化选项结构,其中显示参数设为’iter’,TolFun参数设为1e-8.控制参数options可以通过函数optimset创建或修改。命令的格式如下：(1)options=optimset(‘optimfun’)创建一个含有所有参数名,并与优化函数optimfun相关的默认值的选项结构options.（2）options=optimset(‘param1’,value1,’param2’,value2,...)创建一个名称为options的优化选项参数,其中指定的参数具有指定值,所有未指定的参数取默认值.(3)options=optimset(oldops,‘param1’,value1,’param2’,value2,...)创建名称为oldops的参数的拷贝,用指定的参数值修改oldops中相应的参数.返回用Matlab解无约束优化问题1.一元函数无约束优化问题:minf（x）21xxx其中（3）、（4）、（5）的等式右边可选用（1）或（2）的等式右边。函数fminbnd的算法基于黄金分割法和二次插值法，它要求目标函数必须是连续函数，并可能只给出局部最优解。常用格式如下：（1）x=fminbnd(fun,x1,x2)（2）x=fminbnd(fun,x1,x2，options)（3）[x，fval]=fminbnd（...）（4）[x，fval，exitflag]=fminbnd（...）（5）[x，fval，exitflag，output]=fminbnd（...）运行结果：xmin=3.9270ymin=-0.0279xmax=0.7854ymax=0.6448ToMatlab(wliti1)例1求f=2xexsin在0x8中的最小值与最大值主程序为wliti1.m:f='2*exp(-x).*sin(x)';fplot(f,[0,8]);%作图语句[xmin,ymin]=fminbnd(f,0,8)f1='-2*exp(-x).*sin(x)';[xmax,ymax]=fminbnd(f1,0,8)例2对边长为3米的正方形铁板，在四个角剪去相等的正方形以制成方形无盖水槽，问如何剪法使水槽的容积最大？设剪去的正方形的边长为x，则水槽的容积为：xx)23(2建立无约束优化模型为：miny=-xx)23(2，0x1.5解先编写M文件fun0.m如下:functionf=fun0(x)f=-(3-2*x).^2*x;主程序为wliti2.m:[x,fval]=fminbnd('fun0',0,1.5);xmax=xfmax=-fval运算结果为:xmax=0.5000,fmax=2.0000.即剪掉的正方形的边长为0.5米时水槽的容积最大,最大容积为2立方米.ToMatlab(wliti2)命令格式为:（1）x=fminunc（fun,X0）；或x=fminsearch（fun,X0）（2）x=fminunc（fun,X0，options）；或x=fminsearch（fun,X0，options）（3）[x，fval]=fminunc（...）；或[x，fval]=fminsearch（...）（4）[x，fval，exitflag]=fminunc（...）；或[x，fval，exitflag]=fminsearch（5）[x，fval，exitflag，output]=fminunc（...）；或[x，fval，exitflag，output]=fminsearch（...）2、多元函数无约束优化问题标准型为：minF(X)[3]fminunc为中型优化算法的步长一维搜索提供了两种算法，由options中参数LineSearchType控制：LineSearchType=’quadcubic’(缺省值)，混合的二次和三次多项式插值；LineSearchType=’cubicpoly’，三次多项式插•使用fminunc和fminsear