数学建模-神经网络算法

数学建模经典算法陈旺虎[e-mail]学习目标–拓宽视野–感受神经网络算法的应用背景–能够用神经网络算法解决一些简单问题–不探究详细的理论基础内容安排•人工神经网络简介•人工神经网络的基本功能•人工神经网络的发展历史•人工神经网络的生物学基础•M-P模型•前馈神经网络–单层感知器–多层感知器•BP算法•BP网络•应用案例（MATLAB计算）1.人工神经网络简介•生物神经网络–人类的大脑大约有1.4×1011个神经细胞，亦称为神经元。–每个神经元有数以千计的通道同其它神经元广泛相互连接，形成复杂的生物神经网络。•人工神经网络–以数学和物理方法以及信息处理的角度对人脑神经网络进行抽象，并建立某种简化模型，就称为人工神经网络（ArtificialNeuralNetwork，缩写ANN）。–对人类大脑系统的一阶特性的一种描述。–（生理角度的模拟）•基本原理–存在一些输入和相应的输出，而对如何由输入得到输出的机理并不清楚–把输入与输出之间的未知过程看成是一个“网络”，通过不断地给这个网络输入和相应的输出来“训练”这个网络，网络根据输入和输出不断地调节自己的各节点之间的权值来满足输入和输出。–当训练结束后，给定一个输入，网络便会根据已调节好的权值计算出相应的输出。•严格定义——ANN–最典型的定义由Simpson在1987年提出–人工神经网络是一个非线性的有向图，图中含有可以通过改变权大小来存放模式的加权边，并且可以从不完整的或未知的输入找到模式。•ANN算法–根据人的认识过程而开发出的一种算法2.人工神经网络的基本功能•（1）联想记忆功能–由于神经网络具有分布存储信息和并行计算的性能，因此它具有对外界刺激信息和输入模式进行联想记忆的能力。–联想记忆有两种基本形式•自联想记忆•异联想记忆•自联想记忆–网络中预先存储（记忆)多种模式信息–当输入某个已存储模式的部分信息或带有噪声干扰的信息时，网络能通过动态联想过程回忆起该模式的全部信息•异联想记忆–网络中预先存储了多个模式对–每一对模式均由两部分组成，当输入某个模式对的一部分时，即使输入信息是残缺的或迭加了噪声的，网络也能回忆起与其对应的另一部分•不完整模式的自联想–神经网络通过预先存储信息和学习机制进行自适应训练，可以从不完整的信息和噪声干扰中恢复原始的完整信息–这一能力使其在图象复原、图像和语音处理、模式识别、分类等方面具有巨大的潜在应用价值2.人工神经网络的基本功能（续）输入样本神经网络输出样本自动提取非线性映射规则•（2）非线性映射功能•非线性映射功能–在客观世界中，许多系统的输入与输出之间存在复杂的非线性关系，对于这类系统，往往很难用传统的数理方法建立其数学模型。–设计合理的神经网络，通过对系统输入输出样本对进行自动学习，能够以任意精度逼近任意复杂的非线性映射。–神经网络的这一优良性能使其可以作为多维非线性函数的通用数学模型。该模型的表达是非解析的，输入输出数据之间的映射规则由神经网络在学习阶段自动抽取并分布式存储在网络的所有连接中。–具有非线性映射功能的神经网络应用十分广阔，几乎涉及所有领域。2.人工神经网络的基本功能（续）（3）分类与识别功能传统分类能力ANN分类能力•分类与识别功能–神经网络对外界输入样本具有很强的识别与分类能力。–对输入样本的分类实际上是在样本空间找出符合分类要求的分割区域，每个区域内的样本属于一类。–传统分类方法只适合解决同类相聚，异类分离的的识别与分类问题。–但客观世界中许多事物（例如，不同的图象、声音、文字等等）在样本空间上的区域分割曲面是十分复杂的，相近的样本可能属于不同的类，而远离的样本可能同属一类。–神经网络可以很好地解决对非线性曲面的逼近，因此比传统的分类器具有更好的分类与识别能力。2.人工神经网络的基本功能（续）（4）优化计算功能•优化计算功能–优化计算是指在已知的约束条件下，寻找一组参数组合，使由该组合确定的目标函数达到最小值。–某些类型的神经网络可以把待求解问题的可变参数设计为网络的状态，将目标函数设计为网络的能量函数。–神经网络经过动态演变过程达到稳定状态时对应的能量函数最小，从而其稳定状态就是问题的最优解。–这种优化计算不需要对目标函数求导，其结果是网络自动给出的。问题解答知识分布式表示由同一知识获取、知识库神经网平行推理络实现输入数据变量变换求解的问题神经网络专家系统的构成2.人工神经网络的基本功能（续）（5）知识处理功能•知识处理功能•知识是人们从客观世界的大量信息以及自身的实践中总结归纳出来的经验、规则和判据。•神经网络获得知识的途径与人类似，也是从对象的输入输出信息中抽取规律而获得关于对象的知识，并将知识分布在网络的连接中予以存储。•神经网络的知识抽取能力使其能够在没有任何先验知识的情况下自动从输入数据中提取特征，发现规律，并通过自组织过程将自身构建成适合于表达所发现的规律。•另一方面，人的先验知识可以大大提高神经网络的知识处理能力，两者相结合会使神经网络智能得到进一步提升。•神经网络的发展历程经过了4个阶段。•（1）启蒙期（1890-1969年）•1890年，W.James发表专著《心理学》，讨论了脑的结构和功能。•1943年，心理学家W.S.McCulloch和数学家W.Pitts提出了描述脑神经细胞动作的数学模型，即M-P模型（第一个神经网络模型）。•1949年，心理学家Hebb实现了对脑细胞之间相互影响的数学描述，从心理学的角度提出了至今仍对神经网络理论有着重要影响的Hebb学习法则。•1958年，E.Rosenblatt提出了描述信息在人脑中贮存和记忆的数学模型，即著名的感知机模型（Perceptron）。•1962年，Widrow和Hoff提出了自适应线性神经网络，即Adaline网络，并提出了网络学习新知识的方法，即Widrow和Hoff学习规则（即δ学习规则），并用电路进行了硬件设计。3.神经网络的发展历史3.神经网络的发展历史（续）•（2）低潮期（1969-1982）–受当时神经网络理论研究水平的限制，以及冯·诺依曼式计算机发展的冲击等因素的影响，神经网络的研究陷入低谷。–在美、日等国有少数学者继续着神经网络模型和学习算法的研究，提出了许多有意义的理论和方法。•例如，1969年，S.Groisberg和A.Carpentet提出了至今为止最复杂的ART网络，该网络可以对任意复杂的二维模式进行自组织、自稳定和大规模并行处理。1972年，Kohonen提出了自组织映射的SOM模型。3.神经网络的发展历史（续）•（3）复兴期（1982-1986）–1982年，物理学家Hoppield提出了Hoppield神经网络模型，该模型通过引入能量函数，实现了问题优化求解，1984年他用此模型成功地解决了旅行商路径优化问题(TSP)。–在1986年，在Rumelhart和McCelland等出版《ParallelDistributedProcessing》一书，提出了一种著名的多层神经网络模型，即BP网络。该网络是迄今为止应用最普遍的神经网络。3.神经网络的发展历史（续）•（4）新连接机制时期（1986-现在）–神经网络从理论走向应用领域，出现了神经网络芯片和神经计算机。–神经网络主要应用领域有•模式识别与图象处理（语音、指纹、故障检测和图象压缩等）•控制与优化•预测与管理（市场预测、风险分析）•等神经生理学和神经解剖学的研究结果表明，神经元(Neuron)是脑组织的基本单元，是人脑信息处理系统的最小单元。4.人工神经网络的生物学基础1.神经元及其联接；2.神经元之间的联接强度决定信号传递的强弱；3.神经元之间的联接强度是可以随训练改变的；4.信号可以是起刺激作用的，也可以是起抑制作用的；5.一个神经元接受的信号的累积效果决定该神经元的状态；6.每个神经元可以有一个“阈值”4.1生物神经元的信息处理机理（1）信息的产生•神经元间信息的产生、传递和处理是一种电化学活动。神经元状态静息兴奋抑制膜电位极化去极化超极化4.1生物神经元的信息处理机理（续）（2）信息的传递与接收4.1生物神经元的信息处理机理（续）（3）信息的整合•空间整合–同一时刻产生的刺激所引起的膜电位变化，大致等于各单独刺激引起的膜电位变化的代数和•时间整合–各输入脉冲抵达神经元的时间先后不一样。总的突触后膜电位为一段时间内的累积4.2神经元的人工模型神经元及其突触是神经网络的基本器件。因此，模拟生物神经网络应首先模拟生物神经元人工神经元(节点),从三个方面进行模拟:•节点本身的信息处理能力(数学模型)•节点与节点之间连接(拓扑结构)•相互连接的强度(通过学习来调整)决定人工神经网络整体性能的三大要素神经元的建模(1)每个神经元都是一个多输入单输出的信息处理单元；(2)神经元输入分兴奋性输入和抑制性输入两种类型；(6)神经元本身是非时变的，即其突触时延和突触强度均为常数。(3)神经元具有空间整合特性和阈值特性；(4)神经元输入与输出间有固定的时滞,主要取决于突触延搁；(5)忽略时间整合作用；模型的六点假设：假设1：多输入单输出•正如生物神经元有许多激励输入一样，人工神经元也应该有许多的输入信号•图中，每个输入的大小用确定数值xi表示，它们同时输入神经元j，神经元的单输出用oj表示。假设2：输入类型——兴奋性和抑制性•生物神经元具有不同的突触性质和突触强度，其对输入的影响是使有些输入在神经元产生脉冲输出过程中所起的作用比另外一些输入更为重要。•图中，对神经元的每一个输入都有一个加权系数wij，称为权重值，其正负模拟了生物神经元中突触的兴奋和抑制，其大小则代表了突触的不同连接强度。假设3：空间整合特性和阈值特性•作为ANN的基本处理单元，必须对全部输入信号进行整合，以确定各类输入的作用总效果•图中，表示组合输入信号的“总和值”，相应于生物神经元的膜电位。•神经元激活与否取决于某一阈值电平，即只有当其输入总和超过阈值时,神经元才被激活而发放脉冲,否则神经元不会产生输出信号。神经元的输出•图中，人工神经元的输出也同生物神经元一样仅有一个•如，用oj表示神经元输出，则输出与输入之间的对应关系可用图中的某种非线性函数来表示。神经元模型示意图4.2.1人工神经元的数学模型•人工神经元模拟生物神经元的一阶特性，具有生物神经元的六大特征•一个人工神经元一般有多个输入和一个输出•一个人工神经元有一个转移函数（激发函数），不同的转移函数对应了不同的网络，也决定了网络的用途4.2.1人工神经元的数学模型})]({[)(jn1iijiijjTtxwftoτij——输入输出间的突触时延；Tj——神经元j的阈值；wij——神经元i到j的突触连接系数或称权重值；f()——神经元转移函数。(4.1)•为简单起见，将4.1上式中的突触时延取为单位时间，则式(4.1)可写为4.2式。•上式描述的神经元数学模型全面表达了神经元模型的6点假定。其中–输入xi的下标i=1,2,…,n，输出oj的下标j体现了神经元模型假定(1)中的“多输入单输出”。–权重值wij的正负体现了假定(2)中“突触的兴奋与抑制”。–Tj代表假定(3)中神经元的“阈值”；–“输入总和”常称为神经元在t时刻的净输入，用下面的式子表示：})]({[)(jn1iiijjTtxwf1to(4.2)n1iiijjtxwttne)()((4.3)net’j=WjTXWj=(w1w2…wn)TX=(x1x2…xn)T令x0=-1，w0=Tj则有-Tj=x0w0(4.4)4.2.1人工神经元的数学模型（续）4.2.1人工神经元的数学模型（续）•net’j(t)体现了神经元j的空间整合特性而未考虑时间整合，当net’j-Tj0时，神经元才能被激活。oj(t+1)与xI(t之间的单位时差代表所有神经元具有相同的、恒定的工作节律，对应于假定(4)中的“突触延搁