坐标轮换法汇总

4.7坐标轮换法1.基本思想：每次以一个变量坐标轴作为搜索方向，将n维的优化问题转化为一维搜索问题。例，第k轮迭代的第i次搜索，是固定除xi外的n-1个变量，沿xi变量坐标轴作一维搜索，求得极值点xi(k)…n次搜索后获得极值点序列x1(k),x2(k）,…,xn(k)，若未收敛，则开始第k+1次迭代，直至收敛到最优点x*。2.搜索方向与步长：3.方法评价：方法简单，容易实现。当维数增加时，效率明显下降。收敛慢，以振荡方式逼近最优点。受目标函数的性态影响很大。如图a)所示，二次就收敛到极值点；如图b)所示，多次迭代后逼近极值点；如图c)所示，目标函数等值线出现山脊（或称陡谷），若搜索到A点，再沿两个坐标轴，以±t0步长测试，目标函数值均上升，计算机判断A点为最优点。事实上发生错误。。：次搜索的收敛条件轮第第；：次搜索的迭代公式轮第第；：次搜索的步长轮第第向；个设计变量的坐标轴方为第次搜索的方向：轮第第)()()()()(1)()()()(,...,2,1,kikikikikikikikikiSikniSxxikSikiSik4.8Poweel法1.基本思想：若沿连接相邻两轮搜索末端的向量S方向搜索，收敛速度加快。其中：S=x2(2)-x2(1)因为两条平行线S1,S2与同心椭圆族相切，两个切点的连线S直指中心。称S1,S2与S为共轭方向。目的：以共轭方向打破振荡，加速收敛。2.共轭方向：共轭。阵则称这组向量是关于矩能满足若有一组非零向量，为正定实对称矩阵设正交。和则即，时则，为单位矩阵若的方向是共轭方向。和是关于矩阵共轭，和则称向量满足，和维向量若有两个，为实对称正定矩阵设AjiASSSSSASSSSISSIASSSSASSSSnAjTinTTT),(0,,...,,,00,021212121212121213.共轭方向的性质：4.步骤：二次收敛性。为步可收敛至极值点，称多方向进行一维搜索，至出发，依次沿从任意初始点，次函数个非零向量，则对于二矩阵共轭的是关于设矩阵共轭。中每一个向量关于，也是与向量组，向量和搜索，分别得到最优点方向进行一维出发，沿和分别从两个初始点个非零向量，对于函数矩阵共轭的是关于设。满足，个向量则可以构造出是线性无关的向量组，若是线性无关的。个非零向量矩阵共轭的这组关于）（）（）（）（）（）（nniSxAXXXBCxfnASSSAniSxxSxxniSxxxfnASSSjiSASSSSnSSSSSSnAiTTniiniTinnn),...,2,1(21)(,...,,),...,2,1(),...,2,1()(,...,,)(,0][][,...,,,...,,,...,,)0(211221)2(0)1(021)2()2(222211121121。的极值点作第三次搜索，求得，沿此方向构筑共轭方向：。的极值点分别求得作两次一维搜索，两个坐标轴方向，依次沿，令选初始点第一轮迭代：131012112111211)0(10)0(,,xxfxxSxxxfSSxxx迭代。若不满足，则作下一轮。则若满足。或是否满足收敛条件：每轮迭代结束时，检验。的极值点作第三次搜索，求得，沿此方向构筑共轭方向：。的极值点一维搜索，分别求得方向作两次，分别沿令第二轮迭代：)1(3210010101023202222221112)1(320*,,,,kkkkkkxxfffxxxxfxxSxxxfSSxx5.说明：若是正定二次函数，n轮迭代后收敛于最优点x*。若是非正定二次函数，则迭代次数增加。若是n维问题，步骤相同。搜索方向：第一轮迭代，沿初始方向组Si(1)(i=1,2,…,n)的n个方向和共轭方向S(1)，搜索n+1次得极值点xn+1(1)；第二轮迭代，沿方向组Si(2)(i=1,2,…,n；i≠m)的n-1个方向和共轭方向S(1)，构筑共轭方向S(2)搜索n+1次得极值点xn+1(2)。其中，为保证搜索方向的线性无关，去除了Sm(2)方向。在第k轮迭代中，为避免产生线性相关或近似线性相关，需要去除前一轮中的某个方向Sm(k)。6.方法评价：计算步骤复杂;是二次收敛方法，收敛快。对非正定函数，也很有效;是比较稳定的方法。第六章约束优化方法第一节概述一.有约束问题解法分类：直接解法：随机方向搜索法、复合形法、可行方向法间接解法：内点惩罚函数法、外点惩罚函数法、混合惩罚函数法二.直接解法的基本思想：合理选择初始点，确定搜索方向，以迭代公式x(k+1)=x(k)+α(k)S(k)在可行域中寻优，经过若干次迭代，收敛至最优点。收敛条件：边界点的收敛条件应该符合K-T条件；内点的收敛条件为：特点：①在可行域内进行；②若可行域是凸集，目标函数是定义在凸集上的凸函数，则收敛到全局最优点；否则，结果与初始点有关。有解的条件：①f(x)和g(x)都连续可微；②存在一个有界的可行域；③可行域为非空集；④迭代要有目标函数的下降性和设计变量的可行性。2111kkkkkxfxfxfxx和1.基本思想：每次以一个变量坐标轴作为搜索方向，将n维的优化问题转化为一维搜索问题。例，第k轮迭代的第i次搜索，是固定除xi外的n-1个变量，沿xi变量坐标轴作一维搜索，求得极值点xi(k)…n次搜索后获得极值点序列x1(k),x2(k）,…,xn(k)，若未收敛，则开始第k+1次迭代，直至收敛到最优点x*。2.搜索方向与步长：3.方法评价：方法简单，容易实现。当维数增加时，效率明显下降。收敛慢，以振荡方式逼近最优点。受目标函数的性态影响很大。如图a)所示，二次就收敛到极值点；如图b)所示，多次迭代后逼近极值点；如图c)所示，目标函数等值线出现山脊（或称陡谷），若搜索到A点，再沿两个坐标轴，以±t0步长测试，目标函数值均上升，计算机判断A点为最优点。事实上发生错误。。：次搜索的收敛条件轮第第；：次搜索的迭代公式轮第第；：次搜索的步长轮第第向；个设计变量的坐标轴方为第次搜索的方向：轮第第)()()()()(1)()()()(,...,2,1,kikikikikikikikikiSikniSxxikSikiSik4.8Poweel法1.基本思想：若沿连接相邻两轮搜索末端的向量S方向搜索，收敛速度加快。其中：S=x2(2)-x2(1)因为两条平行线S1,S2与同心椭圆族相切，两个切点的连线S直指中心。称S1,S2与S为共轭方向。目的：以共轭方向打破振荡，加速收敛。2.共轭方向：共轭。阵则称这组向量是关于矩能满足若有一组非零向量，为正定实对称矩阵设正交。和则即，时则，为单位矩阵若的方向是共轭方向。和是关于矩阵共轭，和则称向量满足，和维向量若有两个，为实对称正定矩阵设AjiASSSSSASSSSISSIASSSSASSSSnAjTinTTT),(0,,...,,,00,021212121212121213.共轭方向的性质：4.步骤：二次收敛性。为步可收敛至极值点，称多方向进行一维搜索，至出发，依次沿从任意初始点，次函数个非零向量，则对于二矩阵共轭的是关于设矩阵共轭。中每一个向量关于，也是与向量组，向量和搜索，分别得到最优点方向进行一维出发，沿和分别从两个初始点个非零向量，对于函数矩阵共轭的是关于设。满足，个向量则可以构造出是线性无关的向量组，若是线性无关的。个非零向量矩阵共轭的这组关于）（）（）（）（）（）（nniSxAXXXBCxfnASSSAniSxxSxxniSxxxfnASSSjiSASSSSnSSSSSSnAiTTniiniTinnn),...,2,1(21)(,...,,),...,2,1(),...,2,1()(,...,,)(,0][][,...,,,...,,,...,,)0(211221)2(0)1(021)2()2(222211121121。的极值点作第三次搜索，求得，沿此方向构筑共轭方向：。的极值点分别求得作两次一维搜索，两个坐标轴方向，依次沿，令选初始点第一轮迭代：131012112111211)0(10)0(,,xxfxxSxxxfSSxxx迭代。若不满足，则作下一轮。则若满足。或是否满足收敛条件：每轮迭代结束时，检验。的极值点作第三次搜索，求得，沿此方向构筑共轭方向：。的极值点一维搜索，分别求得方向作两次，分别沿令第二轮迭代：)1(3210010101023202222221112)1(320*,,,,kkkkkkxxfffxxxxfxxSxxxfSSxx5.说明：若是正定二次函数，n轮迭代后收敛于最优点x*。若是非正定二次函数，则迭代次数增加。若是n维问题，步骤相同。搜索方向：第一轮迭代，沿初始方向组Si(1)(i=1,2,…,n)的n个方向和共轭方向S(1)，搜索n+1次得极值点xn+1(1)；第二轮迭代，沿方向组Si(2)(i=1,2,…,n；i≠m)的n-1个方向和共轭方向S(1)，构筑共轭方向S(2)搜索n+1次得极值点xn+1(2)。其中，为保证搜索方向的线性无关，去除了Sm(2)方向。在第k轮迭代中，为避免产生线性相关或近似线性相关，需要去除前一轮中的某个方向Sm(k)。6.方法评价：计算步骤复杂;是二次收敛方法，收敛快。对非正定函数，也很有效;是比较稳定的方法。