51人工神经网络

第5章智能计算5.1人工神经网络简介ArtificialNeuralNetwork生物神经网络人类的大脑大约有1.41011个神经细胞，亦称为神经元。每个神经元有数以千计的通道同其它神经元广泛相互连接，形成复杂的生物神经网络。神经元由细胞体及其发出的许多突起构成。生物神经元（1）细胞体：由细胞核、细胞质和细胞膜组成。（2）树突：胞体上短而多分枝的突起。相当于神经元的输入端，接收传入的神经冲动。（3）轴突：胞体上最长枝的突起，端部有很多神经末稍传出神经冲动。突触神经末梢树突细胞膜细胞核轴突细胞质（4）突触：神经元间的连接接口，每个神经元约有1万～10万个突触。神经元通过其轴突的神经末稍，经突触与另一神经元的树突联接，实现信息的传递。由于突触的信息传递特性是可变的，形成了神经元间联接的柔性，称为结构的可塑性。突触神经末梢树突细胞膜细胞核轴突细胞质（5）细胞膜电位：神经细胞在受到电的、化学的、机械的刺激后，能产生兴奋，此时，细胞膜内外有电位差，称膜电位。电位膜内为正，膜外为负。神经元功能——兴奋与抑制当传入神经元的冲动，经整和，使细胞膜电位升高，超过动作电位的阈值时，为兴奋状态，产生神经冲动，由轴突经神经末稍传出。当传入神经元的冲动，经整和，使细胞膜电位降低，低于阈值时，为抑制状态，不产生神经冲动。生物神经元—信息处理单元生物神经元—信息处理单元生物神经元—信息处理单元生物神经元—信息处理单元生物神经元—信息处理单元生物神经元—信息处理单元神经元及其联结；神经元之间的联结强度决定信号传递的强弱；神经元之间的联结强度可以改变；信号分为兴奋型和抑制型；一个神经元接受的信号的累计效果决定该神经元的状态；每个神经元有一个阈值。生物神经元的基本特征人工神经元模型人工神经网络的基本要素是人工神经元。人工神经元只模拟了生物神经元的三个基本功能：（1）对每个输入信号进行处理，以确定其强度（权值）；（2）确定所有输入信号的组合（加权和）；（3）确定其输出（转移特性）。上面已指出，一个生物神经元的基本功能是将输入量加权后相加，当加权和超过某一阈值后就产生一定输出。这点是模拟神经元时所应抓住的基本特征。突触神经末梢树突细胞膜细胞核轴突细胞质轴突突触树突内核轴突模拟神经元的首要目标：输入信号的加权和。人工神经元可以接受一组来自系统中其它神经元的输入信号，每个输入对应一个权，所有输入的加权和决定该神经元的激活状态。每个权就相当于突触的联结强度。w1wixiw2wnx1x2xnXWxwXuii)(人工神经元数学模型设X=(x1,x2,…,xn)表示n个输入，W=(w1,w2,…,wn)表示它们对应的联结权重。故神经元所获得的输入信号累计效果为：xwxwxuniii,1w1wixiw2wnx1x2xnXWxwXuii)(信息输入)(ixfi信息传播与处理：积与和)(ixfi信息传播)(ixfi)(ixfi信息传播与处理：非线性信息输出)(ixfi神经元获得网络输入信号后，信号累计效果整合函数u(x)大于某阈值时，神经元处于激发状态；反之，神经元处于抑制状态。构造作用函数，用于表示这一转换过程。要求是[-1,1]之间的单调递增函数。作用函数通常为3种类型，由此决定了神经元的输出特征。符号函数0,10,1)sgn()(uuuu1-1u分段线性函数21,12121,21,1)(uuuuu1-1uSigmoid函数112)(ueuuueeu11)(1-1u其特点是单调递增、光滑且具有渐近值，具有解析上的优点。M-P模型将人工神经元的基本模型与激活函数结合，即McCulloch–Pitts模型。w1u=wixiw2wnx1x2xny=(u(x)-)niiixwxuy1基本思想：逐步将训练集中的样本输入到网络中，根据输出结果和理想输出之间的差别来调整网络中的权重值。学习的问题归结为求权重系数W=(w1,w2,…,wn)和阈值的问题。w1u=wixiw2wnx1x2xny=(u(x)-)基本思想单层感知器不能表达的问题被称为线性不可分问题。1969年，Minsky(明斯基)证明了“异或”问题是线性不可分问题：“异或”（XOR）运算的定义如下：1,xxif0,)x,y(x2121其他线性不可分问题异或问题从几何意义上讲，相当于一个正方形有四个顶点，不存在一条直线能将●和●分开的，所以，简单感知器无法实现异或问题。2u1u●●●●●相关研究表明，线性不可分函数的数量随着输入变量个数的增加而快速增加，甚至远远超过了线性可分函数的个数。也就是说，单层感知器不能表达的问题的数量远远超过了它所能表达的问题的数量。当Minsky给出单层感知器的这一致命缺陷时，人工神经网络的研究跌入漫长的黑暗期。解决途径——多层网络多层感知器与单层感知器在结构上的区别在于，多层感知器含有隐层。x1z0xnz1zn二层感知器假设输入向量为二维的，可分为两类：一类输人向量全在凸集合R1内；另一类全在R1外。可以证明，如果应用如图所示的二层感知器网络，则可完成对它们的正确分类。2、三层感知器具有两个隐层的三层感知器，可以证明，它可完成对任何非交集合进行分类。更准确地说，它可对任何由直线边所构成的非交集合进行分类。现以下图所示的二维输入空间的非凸集合R为例。图中所示的非凸集合R，若添加一条虚线lc，则R可分解为2个凸集合R1和R2。误差反向传播神经网络（Back-PropagationNetworks）——BP网络BP算法误差反向传播的BP算法简称BP算法。其基本思想是最小二乘算法。它采用梯度搜索技术，以期使网络的实际输出值与期望输出值的误差均方值为最小。第一阶段：正向传播在正向传播过程中，输入信息从输入层经隐层逐层处理，并传向输出层，获得各个单元的实际输出。正向传播uy第二阶段：反向传播如果在输出层未能得到期望的输出，则转入反向传播，计算出输出层各单元的一般化误差，然后将这些误差信号沿原来的连接通路返回，通过修改各层神经元的权值，使得误差信号最小。uy反向传播网络结构uy网络结构uyuy网络结构正向＋反向反向传播(BP)学习算法正向uy正向uy正向uy正向uy正向uy正向uy正向uy正向uy反向uy反向uyBP网络的优点（1）网络实质上实现了一个从输入到输出的映射功能，而数学理论已证明它具有实现任何复杂非线性映射的功能。（2）网络能通过学习带正确答案的实例集自动提取“合理的”求解规则，即具有自学习能力；(1)BP算法的学习速度很慢；(2)网络训练失败的可能性较大；(3)难以解决应用问题的实例规模和网络规模间的矛盾；(4)网络结构的选择尚无一种统一而完整的理论指导，一般只能由经验选定；BP网络的问题致命问题J(W)J(W)局部极小点全局极小点J(W)－－初始状态梯度下降－－搜索梯度下降－－搜索梯度下降－－搜索梯度下降－－搜索梯度下降－－搜索梯度下降－－搜索梯度下降－－搜索J(W)－－局部极小点J(W)－－局部极小点J(W)－－局部极小点J(W)－－局部极小点改进算法J(W)J(W)－－初始状态J(W)－－初始状态改进算法改进算法改进算法改进算法改进算法改进算法改进算法改进算法改进算法改进算法－－搜索改进算法改进算法改进算法改进算法改进算法改进算法改进算法改进算法改进算法改进算法改进算法改进算法改进算法改进算法改进算法全局极小点人工神经网络的发展简史1.初始发展期（1890-1968）（1）1890，James（美国生理学家）在其著作《生理学》中首次较系统地阐明了大脑的结构和功能、神经元的功能与连接、信息的传递等，并将大脑看作一个神经网络。为进一步认识大脑的功能奠定了基础。（2）1943年，McCulloch和Pitts（美国心理学家和数学家）提出了神经元的数学模型，现称为M-P模型。（3）1949年，Hebb在其著作《行为自组织》中提出了改变神经元连接强度的学习规则（现称Hebb规则。（4）1958,Rosenblatt发展了M-P模型，提出了感知机（Perceptron）及其学习算法，它是历史上第一个人工神经网络和学习算法。它的出现掀起了神经网络研究的第一高潮。1969，Minsky和Papert在论著《感知机》中指出了感知机的局限性，即只能作线性分类，对于非线性分类，感知机无法解决。大批学者便离开这一领域，出现人工神经网络的研究的低潮。2.低潮时期（1969-1982）1982-1984，Hopfield提出一种互连反馈网络，现称之为Hopfield网络。引入了一种能量函数，证明了网络的稳定性。（2）1986，Rumelhart和Hinton等提出了多层前向网络的误差反向传播（BP)算法，使得网络可以任意逼近一个连续系统，并得到广泛的应用。Hopfield网络和BP算法的出现，使得人工神经的研究出现了复兴。3.复兴时期（1982-1986）由于人工神经网络在信息处理方面的优点，使得大批学者加入到了这一研究领域，掀起了神经网络研究的新高潮。1987年在美国召开了第一届国际神经网络学术大会，并宣告成立了国际神经网络学会，与会代表1600多人。这次大会也宣告了神经网络学科的诞生。神经网络的研究进入了一个转折点，其范围不断扩大，领域几乎包括各个方面。神经网络的应用使工业技术发生了很大变化，特别是在自动控制领域有了新的突破。4.全面发展时期（1987-现在）