基于群体智能的数据挖掘方法及应用

生物启发式优化方法及其在管理中的应用牛奔Email:[e-mail]2报告内容启发式优化方法研究背景生物启发式优化方法群体智能优化方法（SI）SI算法在管理中的应用实例研究3报告内容1启发式计算方法研究背景2生物启发式计算方法3群体智能优化方法（SI）4SI算法在管理中的应用5实例研究4最优化问题模型启发式计算方法背景min()fx.()0()00iistgxhx或全局最优与局部最优DxSR实际生活中的优化问题5经典的计算方法17世纪Newtown微积分1847年Cauchy最速下降法1947年Dantzig单纯形方法1939年Kantorovich下料问题和运输问题问题求解6启发式计算方法【定义1-1】启发式算法是一种基于直观或经验构造的算法，在可接受的耗费（指计算时间、占用空间等）下给出待解决优化问题每一实例的一个可行解，该可行解与最优解的偏离程度未必可事先估计。【定义1-2】启发式算法是一种技术，该技术使得能在可接受的计算费用内去寻找尽可能好的解，但不一定能保证所得解的可行性和最优性，甚至在多数情况下，无法描述所得解与最优解的近似程度。经典的启发式方法基本原理:根据问题的部分已知信息来启发式地探索该问题的解决方案，在探索解决方案的过程中将发现的有关信息记录下来，不断积累和分析，并根据越来越丰富的已知信息来指导下一步的动作并修正以前的步骤，从而获得在整体上较好的解决方案。7启发式计算方法分类物理启发式模拟退火算法（模拟固体熔化状态下由逐渐冷却至最终达到结晶状态的物理过程）量子计算（模拟量子态的叠加性和相干性以及量子比特之间的纠缠性）社会与文化启发文化算法（模拟人类社会的演化过程）人口迁移算法（模拟人口流动与人口迁移）8报告内容1启发式计算方法研究背景2生物启发式计算方法3群体智能优化方法（SI）4SI算法在管理中的应用5实例研究生物启发式优化方法遗传算法神经网络模糊逻辑。。。。。生物启发式计算是指以生物界的各种自然现象或过程为灵感，而提出的一系列启发式智能计算方法。10遗传算法进化过程优化过程生物进化过程是一个自然，并行，稳健的优化过程，这一优化过程的目的在于使生命体达到适应环境的最佳结构与效果，而生物种群通过”“优胜劣汰”及遗传变异来达到进化（优化）目的的。11遗传算法+++==生物的进化机制自然选择适应环境的个体具有更高的生存能力，同时染色体特征被保留下来杂交随机组合来自父代的染色体上的遗传物质，产生不同于它们父代的染色体突变随机改变父代的染色体基因结构，产生新染色体12神经计算树突突触轴突细胞体人工神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。细胞体突触轴突树突图12.2生物神经元功能模型输入输出信息处理电脉冲形成传输13神经计算人工神经网络（ArtificialNeuralNetworks,ANN），一种模范动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。人工神经网络具有自学习和自适应的能力。IN1NjjjxwIxT？1w2w3w4wI1I2I3S14模糊逻辑是A1x集结器去模糊化y规则1xy是B1y是B2y是Br是A2x是Arx规则2规则r模糊推理系统是建立在模糊集合理论、模糊if-then规则和模糊推理等概念基础上的先进的计算框架。模糊推理系统的基本结构由三个重要部件组成：一个规则库，包含一系列模糊规则；一个数据库，定义模糊规则中用到的隶属度函数（MembershipFunctions,MF）；以及一个推理机制，按照规则和所给事实执行推理过程求得合理的输出或结论。15其它生物启发式计算技术进化规划算法进化编程人工免疫系统DNA计算膜计算等16报告内容1启发式计算方法研究背景2生物启发式计算方法3群体智能优化方法（SI）4SI算法在管理中的应用5实例研究群体智能（SwarmIntelligence）生物学家研究表明：在这些群居生物中虽然每个个体的智能不高，行为简单，也不存在集中的指挥，但由这些单个个体组成的群体，似乎在某种内在规律的作用下，却表现出异常复杂而有序的群体行为。18AC19AC20AC21otherwise0allowedif)(allowed][)]([][)]([jtpjijijijijttkij),()()(ijntttntijij轨迹更新:Visibility:ij=1/dij蚂蚁算法表示轨迹的相对重要性表示能见度的相对重要性轨迹的持久性ij表示第K只蚂蚁在本次循环中留在路径ij上的信息量开始初始化+1ccNN达到最大循环次数结束对每只蚂蚁按概率移到下一顶点更新每个蚂蚁的个体禁忌表信息量更新输出最短路径及其长度22生物社会学家E.O.Wilson指出：“至少从理论上，在搜索食物过程中群体中个体成员可以得益于所有其他成员的发现和先前的经历。当食物源不可预测地零星分布时，这种协作带来的优势是决定性的，远大于对食物的竞争带来的劣势。”鱼群觅食模型23避免碰撞速度匹配中心聚集鸟群的飞行行为24鸟群觅食模型FoodGlobalBestSolutionPastBestSolution25Randomlysearchingfoods社会型行为的模拟26认知行为（CognitionBehavior）先前经验26Max27社会行为（SocialBehavior）Wetendtoadjustourbeliefsandattitudestoconformwiththoseofoursocialpeers.１２５Max人类社会系统28粒子群算法介绍每个寻优的问题解都被想像成一支鸟，也称为“Particle”。所有的Particle都有一个fitnessfunction以判断目前的位置之好坏，每一个Particle具有记忆性，能记得所搜寻到最佳位置。每一个Particle还有一个速度以决定飞行的距离与方向。29局部最优解全局最优解运动向量惯性向量12X=X,X,...,Xiiiid12V=V,V,...,ViiiidStudyFactor12(1)()()()()()()()ididididgdidttttvvcrandpxcrandpx(1)()()iiitttxxvHereIam!ThebestpositionofteamMybestpositionx(t)pgpivx(t+1)速度与位置更新30算法流程Initialization：将群族做初始化，以随机的方式求出每一Particle之初始位置与速度。Evaluation：依据fitnessfunction计算出其fitnessvalue以作为判断每一个Particle之好坏。FindPbest：找出每一个Particle到目前为止的搜寻过程中最佳解，这个最佳解称之为Pbest。FindtheGbest：找出所有群体中的最佳解，此最佳解称之为Gbest。UpdatetheVelocityandposition：根据速度与位置公式更新每一Particle的速度与位置。Termination.返回步骤2继续执行，直到获得一个令人满意的结果或符合终止条件为止。31参数选择粒子数:一般取20–40.其实对于大部分的问题10个粒子已经足够可以取得好的结果,不过对于比较难的问题或者特定类别的问题,粒子数可以取到100或200粒子的维数:这是由优化问题决定,就是问题解的长度粒子的范围:由优化问题决定,每一维可是设定不同的范围Vmax:最大速度,决定粒子在一个循环中最大的移动距离,通常设定为粒子的范围宽度学习因子:c1和c2通常等于2.不过在文献中也有其他的取值.但是一般c1等于c2并且范围在0和4之间中止条件:最大循环数以及最小错误要求.32PSO与遗传算法的比较相同点都是基于种群的都需要适应度函数.都是随机计算技术不能保证100%收敛不同点PSO没有交叉变异等进化操作.PSO中通过粒子的竞争与协作实现种群进化粒子具有记忆能力优点PSO容易实现具有较小的调整参数收敛速度快、解质量高、鲁棒性好33Schwefel'sfunctionn:1=i420.9687,=418.9829;=)(maximumglobal500500where)sin()()(1iiniiixnxfxxxxf34初始状态355代后3610代后3715代后38100代后39500代后40最终结果迭代次数搜寻结果0416.2455995515.74879610759.40400615793.73201920834.813763100837.9115355000837.965771最优解837.965840045050055060065070075080085014166425610244096sample.dat41))1(exp()3/1()exp()5/(10))1(exp()1(3Maximize2221222152311222121xxxxxxxxxxz424344报告内容1启发式计算方法研究背景2生物启发式计算方法3群体智能优化方法（SI）4SI算法在管理中的应用5实例研究45SI算法提供了一种求解复杂系统优化间题的通用框架，它不依赖于问题的具体领域，对问题的种类有很强的鲁棒性，所以广泛应用于很多学科。下面是SI的一些主要应用领域：(1)管理领域的组合优化问题随着问题规模的增大，组合优化问题的搜索空间也急剧扩大，有时在目前的计算机上用枚举法很难或甚至不可能求出其精确最优解。对这类复杂问题，人们己意识到应把主要精力放在寻求其满意解上，而SI算法是寻求这种满意解的最佳工具之一。实践证明，SI算法对于组合优化中的NP完全问题非常有效。例如，SI已经在求解旅行商问题、背包问题、装箱问题、指派问题等方面得到成功的应用。SI算法在管理中应用46（2）物流与供应链管理中应用物流与供应链管理中，在很多情况下所建立起来的数学模型难以精确求解，即使经过一些简化之后可以进行求解，也会因简化得太多而使得求解结果与实际相差甚远。而目前在现实管理中也主要是靠一些经验来进行管理。现在群体智能算法已成为复杂问题的有效工具，在生产计划调度、运输问题、车辆路径调度问题、物流配送管理问题，多级库存优化控制策略，供应链需求预测优化模型研究，都得到了有效的应用.SI算法在管理中应用47(3)知识管理中的应用知识管理是企业为实现其管理目标，运用现代的管理理论和技术，对企业内部和外部知识资源进行发现，挖掘，整理，整合，并实施科学的管理和维护，将最合理的知识在最恰当的时候提供给最需要的人，以便做出最科学的决策。目前基于群体思想的方法应用于知识管理的主要方向有：客户关系管理中的客户行为聚类分析，关联分析，文档分类，属性约简.SI算法在管理中应用48(5)项目管理项目管理网络计划中的工期限定-资源均衡问题项目合作伙伴的选择问题(4)风险管理传统的风险管理大都是凭借主观经验，采用定性的判断方法，大多数情况下只考虑信用风险最低而忽略投资投资组合理论在此过程中的重要。研究如何在各种复杂的、不确定的环境中对资产进行有效的配置，实现资产的回报最大化与所承担风险的最小化的均衡，将是SI应用研究的一个重要方向。SI算法在管理中应用49报告内容1启发式计算方法研究背景2生物启发式计算方法3群体智能优化方法（SI）4SI算法在管理中的应用5实例研究50配送中心选址问题配送中心是将取货，集货，包装，仓库，装卸，分货，配货，加工，信息服务，送货等多种服务功能融为一体的物流据点。配送中心是进行物流配活动的最主要的硬件设施，所有的物流活动都是基于配送中心这个平台来进行的，它是供应链中