XXXX-建模竞赛暑期培训-人工智能优化算法

主讲教师：杨晓慧E-mail:[e-mail]算法介绍(AlgorithmIntroduction)2011年全国大学生数学建模竞赛暑期培训数学与信息科学学院，2011年7月9日2011年大学生数学建模竞赛杨晓慧人工智能优化算法2数学建模十大算法数学建模十大算法蒙特卡罗算法数据拟合、参数估计、插值等数据处理算法线性规划等规划类问题图论算法动态规划、回溯搜索、分支定界等计算机算法模拟退火、神经网络、遗传算法等最优化理论算法网格算法和穷举法一些连续离散化方法数值分析算法图像处理算法2011年大学生数学建模竞赛杨晓慧人工智能优化算法3数学建模十大算法数学建模十大算法蒙特卡罗算法数据拟合、参数估计、插值等数据处理算法线性规划等规划类问题图论算法动态规划、回溯搜索、分支定界等计算机算法模拟退火、神经网络、遗传算法等最优化理论算法网格算法和穷举法一些连续离散化方法数值分析算法图像处理算法2011年大学生数学建模竞赛杨晓慧人工智能优化算法4蒙特卡罗算法蒙特卡罗算法蒙特卡罗法（MonteCarlomethod）是以概率和统计的理论、方法为基础的一种计算方法，将所求解的问题同一定的概率模型相联系，用电子计算机实现统计模拟或抽样，以获得问题的近似解，故又称统计模拟法或统计试验法。蒙特卡罗是摩纳哥的一个城市，以赌博闻名于世界。蒙特卡罗法借用这一城市的名称是为了象征性地表明该方法的概率统计的特点。2011年大学生数学建模竞赛杨晓慧人工智能优化算法5蒙特卡罗算法蒙特卡罗算法蒙特卡罗法作为一种计算方法，是由S.M.乌拉姆和J.冯·诺伊曼在20世纪40年代中叶为研制核武器的需要而首先提出来的。在此之前，该方法的基本思想实际上早已被统计学家所采用了。例如，早在17世纪，人们就知道了依频数来决定概率的方法。20世纪40年代中叶，出现了电子计算机，使得用数学方法模拟大量的试验成为可能。另外，随着科学技术的不断发展，出现了越来越多的复杂而困难的问题，用通常的解析方法或数值方法都很难加以解决。蒙特卡罗法就是在这些情况下，作为一种可行的而且是不可缺少的计算方法被提出和迅速发展起来的。2011年大学生数学建模竞赛杨晓慧人工智能优化算法6蒙特卡罗法解题的一般过程是，首先构成一个概率空间；然后在该概率空间中确定一个随机变量g(x)，其数学期望正好等于所要求的值G，其中F(x)为x的分布函数；最后，以所确定的随机变量的简单子样的算术平均值作为G的近似估计。在一些典型数学问题方面的应用主要有：多重积分计算、线性代数方程组求解、矩阵求逆、常微分方程边值问题求解、偏微分方程求解、非齐次线性积分方程求解、本征值计算和最优化计算等等。其中的多重积分计算、非齐次线性积分方程求解和齐次线性积分方程本征值计算等，不仅非常有代表性，而且有很大的实用价值，对于高维问题常比其他数值方法好。2011年大学生数学建模竞赛杨晓慧人工智能优化算法百度检索示例-蒙特卡罗模拟法2011年大学生数学建模竞赛杨晓慧人工智能优化算法百度检索示例-蒙特卡罗模拟法matlab2011年大学生数学建模竞赛杨晓慧人工智能优化算法9数学建模十大算法数学建模十大算法蒙特卡罗算法数据拟合、参数估计、插值等数据处理算法线性规划等规划类问题图论算法动态规划、回溯搜索、分支定界等计算机算法模拟退火、神经网络、遗传算法等最优化理论算法网格算法和穷举法一些连续离散化方法数值分析算法图像处理算法2011年大学生数学建模竞赛杨晓慧人工智能优化算法1010人工智能优化算法人工智能优化算法人工神经网络模拟退火遗传算法进化算法*粒子群算法*蚁群算法……2011年大学生数学建模竞赛杨晓慧人工智能优化算法11认识认识““人工智能人工智能””人工智能(ArtificialIntelligence,AI)概念是JohnMcCarthy于1956年在Dartmouth学会上提出的。美国计算机科学家，因在人工智能领域的重大贡献，被称为“人工智能之父”，并因此获得图灵奖他于1948年获得加州理工学院数学学士学位，1951年获得普林斯顿大学数学博士学位JohnMcCarthy2011年大学生数学建模竞赛杨晓慧人工智能优化算法12认识认识““人工智能人工智能””（续）（续）人工智能——让机器像人一样思考人工智能是计算机科学的前沿学科，是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学.计算机编程语言和其它计算机软件都因为有了人工智能的进展而得以存在。人工智能涉及学科：哲学和认知科学，数学，神经生理学，心理学，计算机科学，信息论，控制论，不定性论，仿生学等2011年大学生数学建模竞赛杨晓慧人工智能优化算法13认识认识““人工智能人工智能””（续）（续）人工智能的目的：通过研究人脑的组成机理和思维方式，企图了解智能的实质，并生产出一种能以人类智能相似的方式做出反应的智能机器——让机器具有智慧，像人一样思考.计算机的出现——人类开始真正有了一个可以模拟人类思维的工具人工智能的领域研究：包括机器人、语言识别、图像识别、自然语言处理和专家系统等.2011年大学生数学建模竞赛杨晓慧人工智能优化算法14意识和人工智能的区别意识和人工智能的区别人工智能就其本质而言，是对人的思维的信息过程的模拟.对于人的思维模拟可以从两条道路进行：结构模拟：仿照人脑的结构机制，制造出“类人脑”的机器；功能模拟：暂时撇开人脑的内部结构，而从其功能过程进行模拟。现代电子计算机的产生便是对人脑思维功能的模拟，是对人脑思维的信息过程的模拟.人工智能不是人的智能，更不会超过人的智能.2011年大学生数学建模竞赛杨晓慧人工智能优化算法15意识和人工智能的区别（续）意识和人工智能的区别（续）“机器思维”同“人类思维”的本质区别：1.人工智能纯系无意识的机械的物理的过程，人类智能主要是生理和心理的过程.2.人工智能没有社会性.3.人工智能没有人类的意识所特有的能动的创造能力.4.两者总是人脑的思维在前，电脑的功能在后.2011年大学生数学建模竞赛杨晓慧人工智能优化算法16人工智能专业机构人工智能专业机构美美国国1.MassachusettsInstituteofTechnology麻省理工学院2.StanfordUniversity斯坦福大学(CA)3.CarnegieMellonUniversity卡内基美隆大学(PA)4.UniversityofCalifornia-Berkeley加州大学伯克利分校……中中国国1.北京大学2.清华大学3.哈尔滨工业大学4.厦门大学人工智能研究所5.中国AI创业研发俱乐部……2011年大学生数学建模竞赛杨晓慧人工智能优化算法17经典的人工智能成果经典的人工智能成果人机对弈人机对弈*1996年2月10-17日,GarryKasparov以4:2战胜“深蓝”(DeepBlue)*1997年5月3-11日,GarryKasparov以3.5:2.5输于改进后的“深蓝”*2003年2月GarryKasparov3:3战平“小深”(DeepJunior)*2003年11月GarryKasparov2:2战平“X3D德国人”(X3D-Fritz)模式识别模式识别指纹识别、人脸识别、语音识别、文字识别、图像识别、车牌识别等2011年大学生数学建模竞赛杨晓慧人工智能优化算法18经典的人工智能成果经典的人工智能成果((续续))电电影影中文名：人工智能片名：AI年代：2001国家：美国相关著作相关著作《视读人工智能》、《人工智能的未来》、《人工智能哲学》、《人工智能：一种现代的方法》……2011年大学生数学建模竞赛杨晓慧人工智能优化算法1919人工神经网络(ArtificicalNeuralNetwork,ANN)模拟退火(SimulatedAnnealing,SA)遗传算法(GeneticAlgorithm,GA)进化算法(EvolutionaryAlgorithm,EA)*粒子群优化算法(ParticalSwamOptimizationAlgorithm,PSOA)*蚁群优化算法(AntColonyOptimizationAlgorithm,ACOA)人工智能优化算法人工智能优化算法2011年大学生数学建模竞赛杨晓慧人工智能优化算法2020人工神经网络(ArtificicalNeuralNetwork,ANN)模拟退火(SimulatedAnnealing,SA)遗传算法(GeneticAlgorithm,GA)进化算法(EvolutionaryAlgorithm,EA)*粒子群优化算法(ParticalSwamOptimizationAlgorithm,PSOA)*蚁群优化算法(AntColonyOptimizationAlgorithm,ACOA)人工智能优化算法人工智能优化算法2011年大学生数学建模竞赛杨晓慧人工智能优化算法21人工神经网络人工神经网络((ArtificicalArtificicalNeuralNetworks,NeuralNetworks,ANNsANNs))1943年，心理学家W.S.McCulloch和数理逻辑学家W.Pitts建立了神经网络和数学模型，称为MP模型。人工神经网络（ArtificialNeuralNetworks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（ConnectionistModel），它是一种模范动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。人工神经网络是集脑科学、神经心理学和信息科学等多学科的交叉研究领域，是近年来高科技领域的一个研究热点。2011年大学生数学建模竞赛杨晓慧人工智能优化算法22人工神经网络基本组成人工神经网络基本组成人工神经网络中处理单元的类型分为三类：输入单元、隐单元和输出单元。输出隐层输入节点计算单元2011年大学生数学建模竞赛杨晓慧人工智能优化算法23人工神经网络中，神经元处理单元可表示不同的对象，例如特征、字母、概念，或者一些有意义的抽象模式。输入单元接受外部世界的信号与数据；输出单元实现系统处理结果的输出；隐单元是处在输入和输出单元之间，不能由系统外部观察的单元。神经元间的连接权值反映了单元间的连接强度，信息的表示和处理体现在网络处理单元的连接关系中。人工神经网络是一种非程序化、适应性、大脑风格的信息处理，其本质是通过网络的变换和动力学行为得到一种并行分布式的信息处理功能，并在不同程度和层次上模仿人脑神经系统的信息处理功能。涉及神经科学、思维科学、人工智能、计算机科学等多个领域的交叉学科。2011年大学生数学建模竞赛杨晓慧人工智能优化算法24人工神经网络基本流程人工神经网络基本流程•算法过程*从随机的权值开始*反复应用这个神经网络算法到每个训练样例，只要它误分类样例，就根据输入得到的误差来修改神经网络的权值*重复这个过程，直到正确分类所有的训练样例2011年大学生数学建模竞赛杨晓慧人工智能优化算法25右图表示了几种常见的激励函数。1.阈值型函数（见图（a），（b））2.饱和型函数（见图（c））3.双曲函数（见图（d））4.S型函数（见（e））5.高斯函数（见图（f））几种常见的激励函数几种常见的激励函数2011年大学生数学建模竞赛杨晓慧人工智能优化算法26人工神经网络的基本特征人工神经网络的基本特征1.非线性*非线性关系是自然界的普遍特性。*大脑的智慧就是一种非线性现象。*人工神经元处于激活或抑制二种不同的状态，这种行为在数学上表现为一种非线性关系。*具有阈值的神经元构成的网络具有更好的性能，可以提高容错性和存储容量。2011年大学生数学建模竞赛杨晓慧人工智能优化算法27人工神经网络的基本特征（续）人工神经网络的基本特征（续）2.2.非局限性非局限性*一个神经网络通常