神经网络控制

神经网络控制1概述1.1神经元模型1.生物神经元模型人脑大约由神经元组成1010～1012生物神经元模型通常一个单个神经元可能有103～104突触突触通常发生一个细胞的轴突与另一个细胞的树突之间,但存在另一些突触的连接形式:★轴突与轴突间★树突与树突间★轴突与细胞体间生物突触图解*突触间隙:15-50nm*乙酰胆碱*细胞内外-70mV电位差*突触后电位*去极化(产生正电位)*超极化(产生负电位)*静息电位PSP(PostSynapticPotential)兴奋性突触后电位突触后电位抑制性突触后电位EPSP（ExcitatoryPSP)IPSP（InhibitoryPSP)从信息加工的角度来看，在神经元所具有的各种机能中最重要的是，在突触处许多输入在空间和时间上进行加权的性质，以及神经元细胞的阈值作用，具体解释为：2.人工神经元模型实际上，一个神经元可能和多个神经元存在突触，这时，神经元兴奋与抑制状态由各个神经元共同决定。实践表明，这种共同作用可认为是简单的线性迭加。（1）一个神经元可以和多个神经元交互信息；（2）其它神经元对该神经元的影响有性质及强弱之分；（3）其它神经元对该神经元的影响有具有迭加性质；（4）当影响达到一定水平时，神经元才发出脉冲。不考虑时间效应时的模型—静态模型考虑时间效应时的模型—动态模型1.2神经网络模型1.生物神经网络的连接方式大脑皮质分区(勃路德曼氏分区)示意*52个功能区*1010～1012个神经元*300万个神经元群*30—1000神经元/群（1）辐射辐射连接方式（2）聚合聚合连接方式一个神经元可以通过其袖突末梢的分支与许多神经元的树突连接，形成突触联系(如右图)，这就是辐射的连接方式。许多神经元的轴突末梢与一个神经元的树突连接，共同建立突触联系（如右图），这就是聚合联系方式。大脑中的众多神经元就是通过上述连接方式互相连接成高度复杂的神经网络系统。受外界刺激顺而产生的兴奋过程和抑制过程在系统中得以传播，在时间、空间和强度等方面恰当配合和相互制约。这就使得各神经元之间、神经系统各部分之间的神经活功能够互相配合、互相协调地进行，实现各种智能行为(感觉、学习、记忆、思维、运动等等)。神经元之间的链锁状(a)和环状(b)连接2.人工神经网络模型（1）单层互连模式单层神经网络互连结构(a)(b)（2）双层互连模式双层神经网络互连结构(a)(b)(c)（3）多层互连模式多层神经网络互连结构（3层）(a)(b)(c)模块结构与层次结构相结合，可以形成多层次多模块结构，这种结构更接近人脑神经系统的结构，也是目前为人们广泛注意的一种新型互连模式。（4）模块结构模块结构的主要特点是模块内部的神经元紧密相互连接，每个模块则完成自己特定的功能，然后，模块之间互相连接，以完成整体功能。1.3生物神经网络系统与计算机处理信息比较1.处理速度★计算机处理单个信息的时间约为ns级★脑神经元对外部激励的响应时间大约在ms级★计算机处理信息的顺序是串行的★而人脑处理信息是并行的2．处理顺序虽然计算机处理单个信息的速度比人脑快很多，但对有些问题(如识别、决策等)，计算机却没有人脑快。其根本的原因在于3．处理单元的数目及复杂程度★据估计人脑大约具有1011一1014个神经元★每个神经元大约与103一104个其它神经元相连接★单个脑神经元的构造也是很复杂的4．知识存储★在计算机中，知识是静态地存储在编有地址的记忆单元中★在人脑中，知识存储在神经元之间的连接关系中5．容错能力★人脑具备较好的容错能力★通常的计算机却不具备容错能力6．运行控制在计算机中有一个中央处理单元来控制所有的活动和对所有的信息进行存取操作，它实质上产生了信息处理的一个瓶颈，同时也使得—旦控制部件产生故障而导致整个系统的失效。而在脑神经系统中，不存在这样的中央控制单元来控制每一个神经元的活动，每个神经元只受与它相连结的—部分神经元的影响，而不受其它部分神经元的控制和影响。1.4神经网络的发展概况从人脑的生理结构出发来研究人的智能行为，模拟人脑信息处理的功能，即人工神经网络的研究，始于20世纪40年代，但它的发展却经历了一条曲折的道路，至今经历了兴起、萧条和兴盛三个时期。(1)早在1943年，心理学家McCulloch和数学家Pitts在数学生物物理学会刊《BulletinofMathematicalBiophysics》上发表文章，总结了生物神经元的一些基本生理特性，提出了形式神经元的数学描述与结构方法，即M—P模型。M—P模型的提出兴起了对神经网络的研究。1．兴起阶段(2)1949年心理学家D．O．Hebb提出神经元之间突触联系强度可变的假设。他认为学习过程是在突触上发生的，突触的联系强度随其前后神经元的活动而变化。根据这一假设提出的学习率为神经网络的学习算法奠定了基础。(3)1958年，Rosenblatt提出感知机，第一次把神经网络的研究付诸工程实践。这是一种学习和自组织的心理学模型，它基本上符合神经生理学的知识，模型的学习环境是有噪声的，网络构造中存在随机连接，这符合动物学习的自然环境。这种类型的机器显然有可能应用于模式识别、联想记忆等方面。2．萧条阶段陷入低谷的原因：（1）60年代，美国著名人工智能学者Minsky和Papert对Rosenblatt的工作进行了深入的研究，写了很有影响的《感知机》一书，指出感知机的处理能力有限，甚至连XOR这样的问题也不能解决，并指出如果引入隐含神经元，增加神经网络的层次，可提高神经网络的处理能力，但是研究对应的学习方法非常困难。（2）那时人工智能的以功能模拟为目标的另一分支，出现了转机，产生了以知识信息处理为基础的知识工程，给人工智能从实验室走向实用带来了希望。（3）微电子技术的发展，使传统计算机的处理能力有很大提高，数字计算机的发展使当时科技界普遍认为它能解决一切问题，包括模式识别、机器人控制等，因而不必去寻找新的计其理论与实现方法。（4）当时的工艺水平还未能达到制作实用的具有足够规模的神经网络，用分离的电子管即使是晶体管所制作的神经网络也只能作示教性的表演。3．兴盛阶段（1）计算机不具备学习能力。在处理能明确定义的问题或运用能明确定义的概念作为知识时，计算机比较容易对它们进行处理，但是对一些知识背景不清楚、推理规则不明确、环境信息十分复杂的知识处理或是算法难以提取的信息处理任务往往感到很困难。再次兴起的原因：（2）日本第五代机计划远未达到预想水平，也倾向使人觉得有必要进一步弄清人们习以为常的认知功能是如何进行的．这些认知功能包括视、听觉感知，学习记忆，运动控制等．从而使人们认识到不能拘泥一格而必须开拓新的思路，探索新的人类智能实现途径。这时原来已出现过的，与人脑的生理组织更为接近的神经网络模型就自然成为理想的候选模型。（4）计算机科学工作者越来越清楚地意识到传统vonNeumann体系结构的局限性，转向数据流机和并行计算机体系结构的研究，VLSI技术、光电技术的发展也为神经网络的实现提供了很好的物质基础，神经网络的实现技术取得了很大发展，使得神经网络在许多实际应用领域取得了成功。（5）另外，脑科学与神经科学的研究成果迅速反映到神经网络的改进上，例如视觉研究中发现的侧抑制原理、感受野的概念，听觉通道上神经元的自组织排列等．生物神经网络的研究成果对人工神经网络的研究起了重要的推动作用。（3）而在人类智能行为的研究方面。神经生理学家、心理学家与计算机科学家相互结合．他们共问认为人脑是一功能十分强大，结构异常复杂的信息系统，但其基本仍是神经元及其相互之间的连接，因而它可能成为智能机的良好样板。学术界公认，标志神经网络研究高潮的又一次到来是美国加州理工学院生物物理学家J．Hopfield教授于1982年和1984年发表在美国科学院院刊上的两篇文章。（1）1982年他提出了Hopfield神经网络模型，这种模型具有联想记忆的能力，他在这种神经网络模型的研究中，引入了能量函数(Lyapunov函数)，闸明了神经网络与动力学的关系．并用非线性动力学的方法来研究这种神经网络的特性，建立了神经网络稳定性判据。并指出信息存储在网络中神经元之间的连接上。这—成果的取得使神经网络的研究取得了突破性进展。（2）1984年Hopfield设计与研制了他所提出的神经网络模型的电路，并指出网络中的每一神经元可以用运算放大器来实现，所有神经元的连接可以用电子线路来模拟，这—方案为神经网络的工程实现指明了方向。同时他也进行了神经网络应用研究、成功地解决了复杂度为NP的旅行商(TSP)计算难题，引起了人们的震惊。兴盛阶段的标志：（1）近些年来．许多科学家提出了许多种具备不同信息处理能力的神经网络模型，至今为止。约已开发出了三十多种。神经网络也被应用到了许多信息处理领域，如模式别、自动控制、信号处理、辅助决策、人工智能等等。（2）神经计算机的研究也为神经网络的理论研究和应用研究促供了强有力的支持，各大学、科研团体和公司开发了许多神经网络模拟软件包、各种型号的电子神经计算机以及许多神经网络芯片。（3）1987年6月在美国加州举行了第一届神经网络国际会议，并成立了国际神经网络学会，以后每年召开两次国际联合神经网络大会(IJCNN)。1990年12月在北京召开了我国首届神经网络学术大会，在南京召开的1991中国神经网络学术大会上成上了中国神经网络学会。当前发行了两种专门介绍神经网络研究的刊物，《IEEETransactiononNeuralNetwork》和《NeuralNetwork》（4）现在美国IBM公司、TI公司、AT&T、贝尔实验室、TRW公司、神经计算机公司、卡内基梅隆大学、MIT林肯实验室、霍普金斯大学和加州大学圣地亚哥分校等等，都积极开展神经网络的研究与开发．日本各计算机公司如富士通、日本电气、日立、三菱、东芝等也急起直迫。（5）各国政府和军方对神经网络和神经计算机的研究与开发给予高度重视与支持，如美国制定了“神经、信息、行为科学”(MIBS)计划、投资5.5亿美元作为开发第六代计算机的基础研究。我国的863高技术研究计划，于1990年批准了关于人工神经网络的三项课题，自然科学基金与国防科技预研基金也都把神经网络的研究列人选题指南。（6）神经网络具有潜在的市场，1989年有45家经营神经网络产品的公司，1990年达到65家．1991年又增加到135家。1990年神经网络产品总的销售额为一亿五千万美元，利润约五干万美元，神经网络工业收入为八千五百万美元，并以年61%的速度递增，1996年预计将达14亿美元。2前馈神经网络2.1感知器网络1.单层感知器网络jniijijxws10101)(jjjjsssfy神经元的模式分类（1）当输入特征为连续量时，神经元输出将整个n维空间分成两部分，即输出为1的子空间和输出为-1的子空间。（2）当输入特征为离散量时，神经元输出将2n个状态的状态空间分成两部分，即输出为1和-1的两个子空间。（3）若输入为一个样本集，则将该样本中的所有元素分成输出为1和-1的两个样本子集。举例—二维神经元两维输入的感知器02211xwxwx1x2x1x2x1x2“与”运算“或”运算“异或”运算线性可分线性不可分若输入模式是线性可分的．则可以找到无穷多条直线来对其进行正确的分类。现在的问题是，如果已知一组输入样本模式以及它们所属的特征类，如何找出其中一条分界线能够对它们进行正确的分类。学习问题：问题可具体描述为：已知输入输出样本xp和dp(p＝l，2，…，P)，这里xp和dp表示第p组输入向量和期望的输出。问题是如何设计感知器网络的连接权wi，(i＝1，2，…n)和θ，以使该网络能实现正确的分类。可以证明，该学习算法收敛的充分必要条件是输入样本是线性可分的。同时学习率α的选取也是十分关键的。α选取太小，学习太慢；α太大，学习过程可能出现修正过头的情况，从而产生振荡。学习算法：(1)随机地给定一组连接权0),0(kwi(2)任取其中的一组样本xp和dp，计算niiixws0