搜索
人工神经网络网络与应用（ArtficialNeuralNetwork—ANN）参考书目：人工神经网络杨行峻郑君显高教出版社人工神经网络及应用袁曾任清华大学出版社人工神经网络的模型及其应用张立明复旦大学出版社神经网络系统理论及其应用沈世益神经元网络控制王永骥涂健机械工业出版神经网络的综合基础SimonHaykin英原版神经网络理论焦李或西安电子科大版人工神经网络理论设计及应用韩力群化学工业版1绪论1.1人工神经网络概述人类大脑分为两个半球（左半球-左脑；右半球-右脑）,左脑支配人体的右侧,右脑支配人体的左侧,大脑受伤会使它支配的那部分身体产生功能障碍。为什么右脑损伤的人丧失音乐能力，但能说话？为什么左脑损伤的人难以说话，却仍能唱歌？为什么许多艺术大师（达.芬奇、米开朗琪罗、毕加索等）都习惯使用左手？左右脑具有不同的功能。左脑不仅是语言中枢，还能从事分析性的工作，例如逻辑推理、数学运算和写作等。右脑善于处理空间概念和模式识别(识别面孔、图案、曲调、色彩等)，还擅长创造性的活动。左半球倾向于按顺序处理信息，右半球却习惯同时处理信息。人们常常认为，逻辑思维和分析能力比感性认识更为重要，反映在教育上就是把注奋力集中在“读、写、算”这些左脑的功能上。有一所美国的小学让学生用一半时间学习艺术，用另一半时间学习科学，结果学生的科学课程的成绩明显提高。这表明，花时间发展右脑的功能将有助于改善左脑的功能。实际上，只有左右脑完美配合，才能产生最有效率的创造性活动。语言学习中充分发挥大脑功能的一种方法是快速阅读。逐字逐句的缓慢阅读是发挥左脑的功能，而快速阅读是发挥右脑的功能，快速阅读获得的信息是从整体上被理解的，这样就能提高对文字的理解程度。换句话说，如果你发现一篇文章很难理解，你就应该读得更快一些。近十年来，由于当代科学技术的突飞猛进，人类一年创造的财富是20世纪初的19倍。人类是否会以此速率，继续创造发明，越来越聪明呢？研究未来学的一个英国科研小组提出，人类大脑的进化已接近极限。也就是说，未来人类不会比现在的人聪明很多。该科研小组根据人类大脑进化数学模型分析指出：人的神经元数与神经网络规模，决定人的大脑接受、处理、利用信息的能力，也就决定人的聪明程度。但有些科学家不同意这观点，认为在知识经济的时代，人类接受信息处理能力的极大提高，会促使大脑进化出现结构性变化。认为人的不同区域的神经元与神经网络可能出现进一步分工以提高信息接受与处理效率，这很可能使未来的人类比今天的人类聪明得多。人类大脑一直在进化一项新的研究发现，人类的大脑仍在进化之中，研究人员跟踪研究了被认为是有助于控制大脑生长的两种基因(mi-cro-cephalic和VASPM)的变化，这种变化在20万年前现代人出现后就一直存在。人类的大脑比其他动物发达，这是人类的特征。直到5800年前，人的大脑仍在进化，而且现在可能也仍在进化之中。美国芝加哥大学的遗传学家认为:人类已经到了进化的顶峰，事实上不进化几乎是不可能的。科学家发现，微脑磷脂基因发生变异是在大约37000年前，当时正是艺术、音乐和工具制造出现的时期。而ASPM基因发生变异的时间是在大约5800年前，基本上和书面语言的发展、农业的扩展和城市的发展处在同一时期。学者推测人类最近的基因进化在某些方面可能与文化的进化有关。多年来,人类试图向生物学习,寻求更理想的有效发明,为人类服务.而人的大脑是自然界所造就的最高级产物，科学家们希望开发出像人脑的机器来代替人类工作,以寻求更神奇的文明和进步.人工智能工程可看成是对人类左脑功能研究，主要基于逻辑思维，如电子计算机就是模拟人脑逻辑思维的人工智能系统.现行计算机运算速度是人脑神经元速度的几百万倍，善长各种数值运算和逻辑运算，极大地拓展了人脑的能力，所以誉为“电脑”。迄今为止，计算机在解决与形象思维和灵感思维相关的问题时，却显得无能为力。例如人脑识别（见面认识），骑自行车、打篮球等涉及联想或经验的问题，人脑可以从中体会那些只可意会、不便言传的直觉与经验，可根据情况灵活掌握处理问题的规则，从而轻而易举地完成此类任务，而计算机在这方面则显得十分笨拙。人工神经网络则是探索人的形象思维，即针对右脑的认知规律的研究产物。比较人脑与“电脑”的信息处理能力，会发现“电脑”和人脑存在很大的差距。反映在多个方面:记忆与联想能力方面:人脑具有非凡的创造能力。良好的学习和认知能力（刚生婴儿大脑几乎空白，但是在成长中通过对外界环境的感知及意识，知识和经验与日俱增）。信息综合能力方面：人脑善于知识归纳，类比和概括，也可以是经验地、模糊地甚至是直觉地做出判断等。信息处理速度方面：人脑中的信息处理是以神经细胞为单位，而神经细胞的传递速度只能达毫秒级，比计算机电子元件纳秒级的计算速度慢得多。实际上数值处理方面确实如此。但在图形声音等类信息的处理方面则不同。如几个月婴儿从人群中一眼认出母亲，而计算机解决此类问题则需要一幅具有几百万个像素的逐点处理，并提取脸谱特征进行识别，等等。关健一点是人脑与电脑的信息处理机制不同，人脑中的神经网络是一种高度并行的非线性信息处理系统，虽然单个神经信息处理速度为毫秒级，但大规模神经细胞（人脑有约1.4×10１１个）的群体协同并行处理方式是高效的．而计算机采用的是有限集中的串行信息处理机制（基于冯．诺依曼工作原理VonNeumann）。即存储器与处理器相互独立，处理信息必须是形式化信息（用二进制定义）。布满人类大脑皮层上的神经细胞亦称为神经元。每个神经元有数以千计的通道同其他神经元互连，形成复杂的生物神经网络。生物神经网络以神经元为基本信息处理单元，对信息进行分布式存储与加工。这处信息加工与存储相结合的群体协同工作方式使得人脑呈现出神奇智能。为了模拟人脑形象思维方式，人们从模拟人脑生物神经网络的信息存储加工处理机制入手，设计具有人类思维特点的智能机器，无疑是最有希望的途经之一。ANN定义:(目前定义尚不统一。)ANN是以数学和物理方法以及信息处理的角度对人脑神经网络进行抽象，并建立某种简化模型。ANN是生物学上的真实人脑神经网络的结构以及若干基本特性的某种理论抽象，简化模拟而构成的一种信息处理系统。ANN是采用物理可实现的系统来模仿人脑神经细胞和结构和功能的系统。应该明确:ANN远不是人脑生物神经网络的真实写照，而只是对它的简化，抽象与模拟。目前已提出上百种ANN模型，这些简化模型的确能反映出人脑的许多基本特征。它们在模式识别、系统辨识、信号处理、自动控制、组合优化、预测估计、故障诊断、医学与经济学等许多领域已成功地解决了许多用计算机等方法难解决的实际问题，表现出良好的智能特征和潜在的应用前景。人工神经网络应用系统的研究，需要硬件制作技术的新突破，以便制作出ANN设备，据报道神经网络计算机已取得令人瞩目的进展。ANN的研究内容极具丰富，涉及的面宽而又有相当深的理论有待进一步研究（涉及多学科知识）。研究内容大体上有基本理论、模型、算法、应用和实现等五大方面，每方面都有很多问题尚未解决或完善解决，尚需用各种方法从各方面开展对ANN进行更深入研究。1.2人工神经网络发展简史ＡＮＮ发展可划分四个时期（早期、低潮期、复兴时期、新时期）。早期（启蒙时期）1943年,美国心理学家W.S.MeCuLLoch和数学家W.H.Pitts合作,在分析总结神经元基本特性的基础上，提出神经元数学模型，简称MP模型。从脑科学研究来看，MP模型是第一个用数理语言描述人脑的信息处理过程的模型。后来此模型又有发展，至今沿用——人工神经网络之先驱。1957年,F.Rosenblatt设计制作了“感知机”（Perceptron），是一种三层神经网络。用于文字、声音识别、声纳信号识别，及学习记忆问题研究。1962年,Widrow和Hoff等提出了自适应线性元件网络，简称Adline（AdaptiveLinearelemlnt），用硬件电路实现设计，用于自适应信号处理，雷达无线控制等方面。低潮期20世纪60年代末期，人们对感知机兴趣开始衰落，即线性感知机功能有限，只能进行线性分类和求解一阶谓词问题，不能进行非线性分类和解决比较复杂的高阶谓词问题（如异或（XOR）等）。典型代表人物：Minsky和Papert（美麻省理工学院著名人工智能学者）（作了大量数学研究，在当时技术条件下，他们在多层网络的有效学习方法上遇到了极大困难），由于Minsky在学术界的地位和影响其悲观论点极大地影响了当时ANN研究，为刚燃起的ANN之火，泼了一盆冷水。不久几乎所有为神经网络提供的研究基金都枯竭了。很多领域的专家纷纷放弃了这方面课题的研究，开始了神经网络发展史上长达10年的低潮期。值得庆幸，仍有不少科学家在极其困难的条件下坚持不懈研究，在２０世纪70年代，主要是提出了各种不同的网络模型，开展了人工神经网络理论研究，网络功能研究和各种学习算法研究。为后来研究神经网络理论、数学模型和体系结构打下了坚实的基础。（神经网络研究处于低潮的更主要原因，应该是70年代以来集成电路和微电子技术的迅猛发展，使传统的VonNedmann型计算机进入全盛期，基于逻辑符号处理方法的人工智能（AI）得到迅速发展并取得显著成就）。复兴时期（新高潮期）（２０世纪80年代）复兴期到来标志是美国加州工学院物理学家JohnHopfield1982和1984年在美国科学院院刊上发表两篇论文，提出了仿人脑的ANN模型，即著名的Hopfield模型，获得工程技术与学术界的重视。（２０世纪80年代后,VonNeumann计算机在处理诸如视、听、形象思维、联想记忆等方面开发受挫）。Hopfield的主要贡献是：根据网络的非线性微分方程，引用能量函数（Lyapunov函数——李雅普诺夫函数）的概念，使ANN的平衡稳定状态有了明确的判据方法；利用模拟电路的基本元件构作了ANN的硬件原理模型，为硬件实现奠定了基础。开拓了神经网络用于联想记忆和优化计算等方面的新途径。Hopfield网络求解了最著名的经典人工智能难题（约束优化问题）：TSP问题。TSP——TravellingSalesmanProblem——旅行商最优路径问题获得了令人满意的结果（近似解）。ＴＳＰ：n个城市，可能的路径总数为n!/2n，随着n的增加，路径数将按指数率急剧增长－－指数爆炸。当n较大时，用传统数字计算机也无法在有限时间内寻得答案。如n＝５０，即使用１亿次／秒的巨型计算机按穷举收索法，需５×１０年时间。48若n=20,也需３５０年。我国３１直辖市、省会和自治区首府的巡回路径约有１.３２６×１０种。我国学者对ＣＴＳＰ（中国旅行商问题）进行了大量的研究，最新成果已达１５４４９km。在Ｈopfield经典算法基础上，将城市分成３部分，求得最短路径为１５９０４km。Ｈopfield的ＣＨＮＮ网络开辟了ＴＳＰ问题求解的崭新途径，获得巨大成功。由于模拟电子线路中全部元件都是并行工作，所求解时间与n的多少无关，仅是运算放大器微秒级工作时间，显然求解速度急高。充分展示了ＡＮＮ的巨大威力。32人们重新认识到ANN的威力，大批学者和研究人员围绕Hopield方法开展进一步工作，使该学科研究升温。1985年，TerrenceSejnowski和Hinton.Ackley提出Bottzmann（玻尔兹曼）机，首次采用多层网络的学习算法，并用模拟退火过程来模拟外界环境。1986年,Rumelhart和Mc.Clelland提出多层网络的“逆推”（或称“反传”backpropation）学习算法，简称BP网络。该算法从后向前修正各层之间的连接权重，可以求解感知机所不能解决的问题，从实践上证实ANN很强的运算能力。否定了Minsky等人的错误结论。BP迄今为止，是用的比较广泛和流行的最普通的网络。相继还有许多不同功能的ANN系统被开发出来。新时期（热潮期（80年代后期到现今））1987年国际神经网络学会成立（INNS）宣告神经网络计算机学科的诞生。掀起人类向生物学习，研究和开发及应用神经网络的热潮。每年都召开神经网络和神经计算机的国际性和地区性会议，促进