最优化牛顿法最速下降法共轭梯度法matlab代码

牛顿法迭代公式：(1)2()1()[()]()kkkkxxfxfxMatlab代码：function[x1,k]=newton(x1,eps)hs=inline('(x-1)^4+y^2');写入函数ezcontour(hs,[-1010-1010]);建立坐标系holdon;显示图像symsxy定义变量f=(x-1)^4+y^2;定义函数grad1=jacobian(f,[x,y]);求f的一阶梯度grad2=jacobian(grad1,[x,y]);求f的二阶梯度k=0;迭代初始值while1循环grad1z=subs(subs(grad1,x,x1(1)),y,x1(2));给f一阶梯度赋初值grad2z=subs(subs(grad2,x,x1(1)),y,x1(2));给f二阶梯度赋初值x2=x1-inv(grad2z)*(grad1z)';核心迭代公式ifnorm(x1-x2)eps判断收敛条件break;elseplot([x1(1),x2(1)],[x1(2),x2(2)],'-r*');画图k=k+1;迭代继续x1=x2;赋值endendend优点：在极小点附近收敛快缺点：但是要计算目标函数的hesse矩阵最速下降法1.：选取初始点xo，给定误差2.计算一阶梯度。若一阶梯度小于误差，停止迭代，输出3.取()()()kkpfx4.10t()(),1.minkkkkkkkkkktfxtpfxtpxxtpkk进行一维搜索，求，使得令转第二步例题：求min(x-2)^4+(x-2*y)^2.初始值（0,3）误差为0.1(1)编写一个目标函数，存为f.mfunctionz=f(x,y)z=(x-2.0)^4+(x-2.0*y)^2;end(2)分别关于x和y求出一阶梯度，分别存为fx.m和fy.mfunctionz=fx(x,y)z=2.0*x-4.0*y+4.0*(x-2.0)^3;end和functionz=fy(x,y)z=8.0*y-4.0*x;end（3）下面是脚本文件，一维搜索用的是黄金分割法Tic计算时间eps=10^(-4);误差err=10;dt=0.01;x0=1.0;初始值y0=1.0;mm=0;whileerreps黄金分割法dfx=-fx(x0,y0);dfy=-fy(x0,y0);tl=0;tr=1;确定一维搜索的区间h=3;nn=0;gerr=10;geps=10^(-4);whilegerrgepstll=tl+0.382*abs(tr-tl);trr=tl+0.618*abs(tr-tl);iff(x0+tll*h*dfx,y0+tll*h*dfy)f(x0+trr*h*dfx,y0+trr*h*dfy)tl=tll;elsetr=trr;endgerr=abs(tl-tr);区间的长度之差tt=0.5*(tl+tr);nn=nn+1;步数增加ifnn200迭代终止条件breakendendx0=x0+tt*h*dfx;重新迭代y0=y0+tt*h*dfy;err=sqrt(fx(x0,y0)^2+fy(x0,y0)^2);mm=mm+1;步数增加ifmm700迭代步数超过700，终止breakendendres=[x0,y0];输出最后的x，y。toc计算运行时间拟牛顿法（DFP算法）220'412010min()4,(1,1),,1001fxxxxH取这是一个脚本文件可以直接运行symsx1x2;定义变量eps=0.00001;x0=[1,1]';初始值h0=[1,0;0,1];f=x1^2+4*x2^2;待求函数fx=diff(f,x1);对x求导fy=diff(f,x2);对y求导df=[fx,fy];f的一阶梯度dfx0=[subs(fx,[x1,x2],x0),subs(fy,[x1,x2],x0)]';赋初值d0=-dfx0;搜索方向n=1;while1symst;s0=x0+t*d0;引入变量tff=subs(f,[x1,x2],s0)给f赋值;t=solve(diff(ff));求ff的极小点xx1=x0+t*d0;更新初始值dfx1=[subs(fx,[x1,x2],xx1'),subs(fy,[x1,x2],xx1')]';赋值pp=sqrt(dfx1*dfx1');判断此时一阶梯度的值if(pp0.001)迭代终止条件breakenda1=xx1-x0;r1=dfx1-dfx0;h1=h0+(a1*a1')/(a1'*r1)-(h0*r1*r1'*h0)/(r1'*h0*r1);h0的更新d1=-h1*dfx1;搜索方向的更新d0=d1;循环赋值x0=xx1;循环赋值h0=h1;二阶梯度的近似的更新n=n+1;计算迭代步数end共轭梯度法221212112(,)242fxxxxxxx求二次函数的极小点。(0)(1,1)T取初始点x这是一个脚本文件clc;clearall;symsxyt;定义变量x0=[1,1];初始值n=1;初始迭代t=0;f1=x^2+2*y^2-4*x-2*x*y;待求函数dfx=diff(f1,x);求函数的对x一阶梯度dfy=diff(f1,y);函数对y的一阶梯度df=[dfx,dfy];函数一阶梯度以数组的形式while1symskk;在循环里定义变量g0=[subs(dfx,[x,y],x0),subs(dfy,[x,y],x0)];给一阶梯度赋值s0=-g0;下降方向m0=x0+kk*s0;引入变量kkf11=f(m0(1),m0(2));带入原函数，得到关于kk的函数kk=solve(diff(f11));求f11的极小点m1=x0+kk*s0;更新迭代初始值g1=[subs(dfx,[x,y],m1),subs(dfy,[x,y],m1)];给一阶梯度赋值s1=-g1;k=(s1*s1')/(g0*g0');s2=s1+k*s0;更新梯度s0=s2;重新迭代x0=m1;tt=subs(df,[x,y],m1);t=sqrt(tt*tt');一阶梯度值n=n+1;if(t0.01)判断迭代终止条件breakend%if(n20)%break;%endend最佳答案[4,2]。