最速下降法-最优化方法

3.1.2.最速下降法原理最速下降法算法最速下降法性质与评价1.最速下降法原理用来求解无约束多元函数的一种迭代算法,是其他许多算法的基础。意义：特点：简单，直观，适应性强基本格式：PXXkkkk1其中Pk=-▽f(Xk),即搜索方向取为出发点的最速下降方向。minf(X),X∈En问题：由于最速下降方向的下降趋势只是局部性质，只能保证Xk的一个邻域沿此方向下降。步长太长，可能会使目标函数值上升；步长太短，会使目标函数下降速度放慢。沿用最速下降方向进行一位搜索，即求解如下一位搜索问题。)(minPXfkkk0..tsk设是一维搜索的最优解，则取kkkkPXX12.最速下降法算法设是可微函数，精度要求为，为初始点。(1)计算梯度,k=0；(2)；(3)求解·设是一维搜索的最优解；(4)；(5)若满足终止准则(通常取为)，令，输出，计算终止；否则，k=k+1，转(2)。)(Xf)(1XKfX0)(0Xf)(XPkkfPXXkkkk1XXk1X)(minPXfkk0..ts开始输入输出X停止XX0,0X)()(0PXFPXf，有，使对求)(XfPPXX)(XfYN最速下降法流程图例3.18用最速下降法求解无约束优化问题：xxxxxxXf2122212122)(min初始点,迭代终止准则为。)1,1(0TX01.0)(2Xfk解：122124)(2121xxxxXf（1）)1,1(0TX)1,1()(0TXf)1,1()(00TXPf125)()(200tttftPX,,,t0应用一维搜索技术，可解得的极小点为t0=0.2)(t所以)2.1,8.0()1,1()1,1(2.00001TTTPtXX（2）08.0)1(2Xf)2.0,2.0()(1TXf)2.0,2.0()(11TXPf2.108.004.0)()(211ttfttPX,,应用一维搜索技术，可解得的极小点为t1=1)(t所以)4.1,1()2.0,2.0()2.1,1.0(11112TTTPtXX（3）08.0)2(2Xf)2.0,2.0()(2TXf)2.0,2.0()(22TXPf24.108.02.0)()(222ttfttPX,,应用一维搜索技术，可解得的极小点为t2=0.2)(t所以)44.1,96.0()2.0,2.0()4.1,1(2.02223TTTPtXX（4）01.00032.0)3(2Xf)04.0,04.0()(3TXfX3)44.1,96.0(3TXX,注：原问题的精确极小点为)5.1,1(TX已达到预定精度要求，迭代终止。故f（x）的无约束近似极小点为3.最速下降法性质与评价1.相邻两个搜索方向正交，存在锯齿现象，从而影响了迭代速度。2.不具有有限收敛性。缺点：1.收敛于稳定点，收敛速度是线性的。2.仅仅要求函数可微，其适应面宽。优点：常常在计算开始时使用最速下降法，而在迭代一段时间后，改用其他算法。锯齿现象