智能优化算法-数学建模-王成章-人工神经网络

数学建模主讲人：王成章智能优化算法2数学建模—智能优化算法前言所谓人工神经网络就是基于模仿生物大脑的结构和功能而构成的一种信息处理系统。人是地球上具有最高智慧的动物，而人的指挥均来自大脑，人类靠大脑进行思考、联想、记忆和推理判断等，这些功能是任何被称为“电脑”的一般计算机所无法取代的。长期以来，许多科学家一直致力于人脑内部结构和功能的探讨和研究，并试图建立模仿人类大脑的计算机，虽然到目前对大脑的内部工作机理还不甚完全清楚，但对其结构已有所了解。3数学建模—智能优化算法前言(C.)粗略地讲，大脑是由大量神经细胞或神经元组成的。每个神经元可看作是一个小的处理单元，这些神经元按某种方式连接起来，形成大脑内部的生理神经元网络。这种神经元网络中各神经元之间联结的强弱，按外部的激励信号做自适应变化，而每个神经元又随着所接收到的多个接收信号的综合大小而呈现兴奋或抑制状态。现已明确大脑的学习过程就是神经元之间连接强度随外部激励信息做自适应变化的过程，而大脑处理信息的结果则由神经元的状态表现出来。4数学建模—智能优化算法前言(C.)人工神经网络是根据人的认识过程而开发出的一种算法。假如我们现在只有一些输入和相应的输出，而对如何由输入得到输出的机理并不清楚，那么我们可以把输入与输出之间的未知过程看成是一个“网络”，通过不断地给这个网络输入和相应的输出来“训练”这个网络，网络根据输入和输出不断地调节自己的各节点之间的权值来满足输入和输出。这样，当训练结束后，我们给定一个输入，网络便会根据自己已调节好的权值计算出一个输出。这就是神经网络的简单原理。5数学建模—智能优化算法前言(C.e)由于我们建立的信息处理系统实际上是模仿生理神经网络，因此称它为人工神经网络。需要指出的是，尽管人工神经网络是对大脑结构的模仿，但这种模仿目前还处于较低的水平。6数学建模—智能优化算法人工神经网络的定义定义方式有多种：Hecht—Nielsen（1988年）Simpson（1987年）：人工神经网络是一个非线性的有向图，图中含有可以通过改变权大小来存放模式的加权边，并且可以从不完整的或未知的输入找到模式。别名人工神经系统（ANS）神经网络（NN）自适应系统（AdaptiveSystems）、自适应网（AdaptiveNetworks）联接模型（Connectionism）神经计算机（Neurocomputer）7数学建模—智能优化算法人工神经网络的发展初始期（20世纪40年代）：1943年，心理学家McCulloch和数学家Pitts建立起了著名的阈值加权和模型，简称为M-P模型。发表于数学生物物理学会刊《BulletinofMethematicalBiophysics》。1949年，心理学家D.O.Hebb提出神经元之间突触联系是可变的假说——Hebb学习律。8数学建模—智能优化算法人工神经网络的发展(C.)第一高潮期（1950~1968）：以MarvinMinsky，FrankRosenblatt，BernardWidrow等为代表人物，代表作是单级感知器（Perceptron）。可用电子线路模拟。人们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地投入此项研究，希望尽快占领制高点。9数学建模—智能优化算法人工神经网络的发展(C.)反思期（1969~1982）：M.L.Minsky和S.Papert，《Perceptron》，MITPress，1969年。书中指出：简单的感知器存在非常严重的局限性，甚至不能解决简单的“异或”问题。批评的声音高涨，不少研究人员把注意力转向了人工智能，导致对人工神经网络的研究陷入低潮。10数学建模—智能优化算法人工神经网络的发展(C.)第二高潮期（1983~1990）：1982年，J.Hopfield提出循环网络用Lyapunov函数作为网络性能判定的能量函数，建立ANN稳定性的判别依据阐明了ANN与动力学的关系用非线性动力学的方法来研究ANN的特性指出信息被存放在网络中神经元的联接上ninjijnixiiiiininjjiijwdsxsxswVi111011)()()()(2111数学建模—智能优化算法人工神经网络的发展(C.)第二高潮期（1983~1990）：1984年，J.Hopfield设计研制了后来被人们称为Hopfield网的电路。较好地解决了著名的TSP问题，找到了最佳解的近似解，引起了较大的轰动。1985年，UCSD的Hinton、Sejnowsky、Rumelhart等人所在的并行分布处理（PDP）小组的研究者在Hopfield网络中引入了随机机制，提出所谓的Boltzmann机。1986年，并行分布处理小组的Rumelhart等研究者重新独立地提出多层网络的学习算法——BP算法，较好地解决了多层网络的学习问题。国内首届神经网络大会是1990年12月在北京举行。12数学建模—智能优化算法人工神经网络的发展(C.e)再认识与应用研究期（1991~）：发现的问题：应用面还不够宽结果不够精确存在可信度的问题开始研究：开发现有模型的应用，并在应用中根据实际运行情况对模型、算法加以改造，以提高网络的训练速度和运行的准确度。充分发挥两种技术各自的优势是一个有效方法希望在理论上寻找新的突破，建立新的专用/通用模型和算法。进一步对生物神经系统进行研究，不断地丰富对人脑的认识。13数学建模—智能优化算法生物神经网构成：生物神经元由:细胞体(Cellbody)树突(Dendrite)轴突(Axon)突触(Synapse)14数学建模—智能优化算法生物神经网(C.)工作过程：神经元就是神经细胞，它是动物的重要特征之一，在人体内从大脑到全身存在大约1010个神经元。神经元间信息的产生、传递和处理是一种电化学活动。神经元间的信号通过突触传递。通过它，一个神经元内传送的冲击信号将在下一个神经元内引起响应，使下一个神经元兴奋，或阻止下一个神经元兴奋。细胞体突触轴突树突图12.2生物神经元功能模型输入输出信息处理电脉冲形成传输15数学建模—智能优化算法生物神经网(C.)基本工作机制：一个神经元有两种状态——兴奋和抑制平时处于抑制状态的神经元，当接收到其它神经元经由突触传来的冲击信号时，多个输入在神经元中以代数和的方式叠加。进入突触的信号会被加权，起兴奋作用的信号为正，起抑制作用的信号为负。如果叠加总量超过某个阈值，神经元就会被激发进入兴奋状态，发出输出脉冲，并由轴突的突触传递给其它神经元。神经元被触发后有一个不应期，在此期间内不能被触发，然后阈值逐渐下降，恢复原来状态。16数学建模—智能优化算法生物神经网(C.e)特点：由多个生物神经元以确定方式和拓扑结构相互连接即形成生物神经网络。生物神经网络的功能不是单个神经元信息处理功能的简单叠加。神经元之间的突触连接方式和连接强度不同并且具有可塑性，这使神经网络在宏观呈现出千变万化的复杂的信息处理能力。17数学建模—智能优化算法人工神经元人工神经元是对生物神经元的模拟。模拟生物神经网络应首先模拟生物神经元：人工神经元(节点)。从三个方面进行模拟：节点本身的信息处理能力节点与节点之间连接(拓扑结构)相互连接的强度(通过学习来调整)18数学建模—智能优化算法人工神经元(C.)人工神经元的建模：每个神经元都是一个多输入单输出的信息处理单元；神经元输入分兴奋性输入和抑制性输入两种类型；神经元具有空间整合特性和阈值特性；神经元输入与输出间有固定的时滞,主要取决于突触延搁；忽略时间整合作用和不应期；神经元本身是非时变的，即其突触时延和突触强度均为常数。19数学建模—智能优化算法人工神经元(C.)人工神经元的基本构成：人工神经元模拟生物神经元的一阶特性输入：X=(x1，x2，…，xn)联接权：W=(w1，w2，…，wn)T网络输入：net=∑xiwi向量形式：net=XWxnwnx1w1x2w2net=XW…Σ20数学建模—智能优化算法人工神经元(C.)人工神经元的输出：针对人工神经元所接收的网络输入，通过一个转移函数，得到人工神经元的最后输出。人工神经元各种不同数学模型的主要区别在于采用了不同的转移函数，从而使神经元具有不同的信息处理特性。人工神经元的信息处理特性是决定人工神经网络整体性能的三大要素之一，反映了神经元输出与其激活状态之间的关系，最常用的转移函数有4种形式。21数学建模—智能优化算法人工神经元(C.)转移函数：线性函数（LinearFunction）o=f(net)=k*net+cneto0c22数学建模—智能优化算法人工神经元(C.)转移函数：非线性斜面函数(RampFunction)γifnet≥θo=f(net)=k*netif|net|θ-γifnet-θγ0为一常数，被称为饱和值，为该神经元的最大输出。γ-γθ-θneto23数学建模—智能优化算法人工神经元(C.)转移函数：阈值函数（ThresholdFunction）βifnet≥θo=f(net)=-γifnet-θβ、γ、θ均为非负实数，θ为阈值β-γθonet024数学建模—智能优化算法人工神经元(C.e)转移函数：S形函数o=f(net)=(a+b)/(1+exp(-d*net))a，b，d为常数。它的饱和值为a和a+b。25数学建模—智能优化算法人工神经网络的分类按网络连接的拓扑结构分类：层次型结构：将神经元按功能分成若干层，如输入层、中间层（隐层）和输出层，各层顺序相连互连型网络结构：网络中任意两个节点之间都可能存在连接路径按网络内部的信息流向分类：前馈型网络：网络信息处理的方向是从输入层到各隐层再到输出层逐层进行反馈型网络：在反馈网络中所有节点都具有信息处理功能，而且每个节点既可以从外界接收输入，同时又可以向外界输出26数学建模—智能优化算法人工神经网络的分类(C.)按网络连接的拓扑结构分类：层次型结构：将神经元按功能分成若干层，如输入层、中间层（隐层）和输出层，各层顺序相连单纯型层次型结构27数学建模—智能优化算法人工神经网络的分类(C.)按网络连接的拓扑结构分类：层次型结构：将神经元按功能分成若干层，如输入层、中间层（隐层）和输出层，各层顺序相连输出层到输入层有连接28数学建模—智能优化算法人工神经网络的分类(C.)按网络连接的拓扑结构分类：层次型结构：将神经元按功能分成若干层，如输入层、中间层（隐层）和输出层，各层顺序相连层内有连接层次型结构29数学建模—智能优化算法人工神经网络的分类(C.)按网络连接的拓扑结构分类：互连型网络结构：网络中任意两个节点之间都可能存在连接路径全互连型30数学建模—智能优化算法人工神经网络的分类(C.)按网络连接的拓扑结构分类：互连型网络结构：网络中任意两个节点之间都可能存在连接路径局部互连型31数学建模—智能优化算法人工神经网络的分类(C.)按网络内部的信息流向分类：前馈型网络：网络信息处理的方向是从输入层到各隐层再到输出层逐层进行前馈型网络32数学建模—智能优化算法人工神经网络的分类(C.e)按网络内部的信息流向分类：反馈型网络：在反馈网络中所有节点都具有信息处理功能，而且每个节点既可以从外界接收输入，同时又可以向外界输出反馈型网络33数学建模—智能优化算法人工神经网络的学习神经网络能够通过对样本的学习训练，不断改变网络的连接权值以及拓扑结构，以使网络的输出不断地接近期望的输出。这一过程称为神经网络的学习或训练，其本质是可变权值的动态调整。神经网络的学习类型有导师学习(有监督学习)无导师学习(无监督学习)死记式学习34数学建模—智能优化算法人工神经网络的学习(C.)神经网络的学习类型有导师学习(有监督学习)有导师学习也称为有监督学习，这种学习模式采用的是纠错规则。在学习训练过程