搜索
坐标轮换法变尺度法可行方向法序列线性规划广义简约梯度法内点罚函数法外点罚函数法混合罚函数法人工神经网络智能算法兔子朝着比现在高的地方跳去。他们找到了不远处的最高山峰。但是这座山不一定是珠穆朗玛峰。这就是局部搜索，它不能保证局部最优值就是全局最优值。一般而言，局部搜索就是基于贪婪思想利用邻域函数进行搜索，若找到一个比现有值更优的解就弃前者而取后者。但是，它一般只可以得到“局部极小解”，就是说，可能这只兔子登“登泰山而小天下”，但是却没有找到珠穆朗玛峰。神经网络从名字就知道是对人脑的模拟。它的神经元结构，它的构成与作用方式都是在模仿人脑，而如果要用计算机模仿生物神经，就需要人工的神经网络有三个要素：（1）形式定义人工神经元；（2）给出人工神经元的连接方式，或者说给出网络结构；（3）给出人工神经元之间信号强度的定义。在输入神经元i的若干个神经元之间开展竞争，竞争之后，只有一个神经元为1，其他均为0，而对于失败的神经元，调整使得向对竞争有利的方向移动，则最终也可能在一次竞争中胜利。源于对鸟群捕食的行为研究。该算法最初是受到飞鸟集群活动的规律性启发，进而利用群体智能建立的一个简化模型。粒子群算法在对动物集群活动行为观察基础上，利用群体中的个体对信息的共享使整个群体的运动在问题求解空间中产生从无序到有序的演化过程，从而获得最优解。PSO中，每个优化问题的解都是搜索空间中的一只鸟。我们称之为“粒子”。所有的粒子都有一个由被优化的函数决定的适应值(fitnessvalue)，每个粒子还有一个速度决定他们飞翔的方向和距离。然后粒子们就追随当前的最优粒子在解空间中搜索。兔子喝醉了。他随机地跳了很长时间。这期间，它可能走向高处，也可能踏入平地。但是，他渐渐清醒了并朝最高方向跳去。这就是模拟退火。模拟退火算法的依据是固体物质退火过程和组合优化问题之间的相似性。物质在加热的时候，粒子间的布朗运动增强，到达一定强度后，固体物质转化为液态，这个时候再进行退火，粒子热运动减弱，并逐趋于有序，最后达到稳定。遗传算法兔子们吃了失忆药片，并被发射到太空，然后随机落到了地球上的某些地方。他们不知道自己的使命是什么。但是，如果你过几年就杀死一部分海拔低的兔子，多产的兔子们自己就会找到珠穆朗玛峰。这就是遗传算法。遗传算法以一种群体中的所有个体为对象，并利用随机化技术指导对一个被编码的参数空间进行高效搜索。其中，选择、交叉和变异构成了遗传算法的遗传操作；参数编码、初始群体的设定、适应度函数的设计、遗传操作设计、控制参数设定五个要素组成了遗传算法的核心内容。遗传算法简单通用、健壮性强、适于并行处理以及高效、实用。兔子们知道一个兔的力量是渺小的。他们互相转告着，哪里的山已经找过，并且找过的每一座山他们都留下一只兔子做记号。他们制定了下一步去哪里寻找的策略。这就是禁忌搜索。为了找到“全局最优解”，就不应该执着于某一个特定的区域。禁忌搜索就是对于找到的一部分局部最优解，有意识地避开它（但不是完全隔绝），从而获得更多的搜索区间。兔子们找到了泰山，它们之中的一只就会留守在这里，其他的再去别的地方寻找。就这样，一大圈后，把找到的几个山峰一比较，珠穆朗玛峰脱颖而出。粒子群算法（PSO）局部搜索模拟退火算法禁忌搜索算法以线性规划理论为基础（将原约束优化问题转化为线性规划类问题，采用线性规划类算法来求解）最速下降法最速下降法具有方法简单等优点，计算效率在最初几步迭代时较高，且对初始点不敏感，因而常与其他方法一起使用.但最速下降法需要目标函数的一阶导数信息。牛顿法对给定的初始点比较敏。如果初始点选择的比较好，则其解决优化问题的收敛过程会很快;如果选择不当，则可能会出现收敛失败的情况。另外，牛顿法存在计算过程复杂、计算量特别大等缺点，因此主要适合于设计变量数目小的优化问题及目标函数阶次较低的优化问题。共轭梯度法具有收敛速度快等优点，其收敛速度远快于最速下降法。共扼梯度法计算简单，所需要的存储空间少，适合于优化变量数目较多的中等规模优化问题。Powell法是计算效率比较高的优化算法之一，它不需要目标函数的导数，是求解中小型规模优化问题的有效方法。单纯形法具有不需目标函数导数信息、程序实现简单、计算效率比较高等优点。以无约束极值理论为基础（将原约束优化问题转化为无约束优化类问题，采用无约束优化算法来求解）以二次规划理论为基础（将原约束优化问题转为二次规划问题,用二次规划类算法求解）广义简约梯度法具有算法收敛快、计算精度高等优点，但也存在程序实现复杂等不足。约束优化问题的约束优化算法一般以非常成熟的无约束优化算法、线性规划和二次规划类优化算法为基础发展起来的。MonteCarlo法随机试验法变尺度法也是计算效率比较高的优化算法之一，可用来解决高阶目标函数的优化问题，但存在程序实现比较复杂、存储空间比较大等缺点。优化算法分类无约束优化算法牛顿法单纯形法共轭梯度法Powell法随机搜索法复合形法序列二次规划法坐标轮换法具有不需要导数信息的优点，计算过程比较简单，程序实现也比较容易，但存在算法收敛速度较慢、计算效率低等缺点、主要用来解决优化问题设计变量数目小于10的小规模无约束优化问题;另外，坐标轮换法还可解决目标函数的等值线为圆或平行于坐标轴的优化问题。约束优化算法直接法在(优化过程中直接考虑约束条件的优化方法间接法将约束优化问题等效转化为无约束优化问题等相对简单的优化问题，在此基础上再对相对简单的优化问题进行求解罚函数优化方法包括内点法、外点法、混合法等，具有方法实现简单等优点，但存在优化过程不稳定、收敛速度较慢等缺点，适宜于解决中小规模优化问题;序列线性规划法收敛较慢，只适用于非线性程度不是很强的优化问题。序列二次规划法是收敛速度较快、优化比较有效的方法之一，比较适合于中等规模优化问题;遗传算法具有通用性强、不需要导数信息、收敛较快等优点，是近十多年出现的比较有效的优化方法。MonteCarlo法具有方法简单、不需要导数信息等优点，但存在求解高维优化问题时计算量大等不足。随机方向搜索法具有优化求解过程收敛快，但存在局部寻优的不足，因而在使用时需采用选择多个不同初始点的策略。复合形法具有程序实现简单等优点，但在解决设计变量和约束条件多的优化问题时优化效率比较低。可行方向法是解决约束优化问题的有效方法之一，适合求解中等规模化问题，但存在程序实现复杂等不足。