搜索
人工神经网络的最新发展综述摘要:人工神经网络是指模拟人脑神经系统的结构和功能,运用大量的处理部件,由人工方式建立起来的网络系统。该文首先介绍了神经网络研究动向，然后介绍了近年来几种新型神经网络的基本模型及典型应用,包括模糊神经网络、神经网络与遗传算法的结合、进化神经网络、混沌神经网络和神经网络与小波分析的结合。最后,根据这几种新型神经网络的特点,展望了它们今后的发展前景。关键词:模糊神经网络;神经网络与遗传算法的结合;进化神经网络;混沌神经网络；神经网络与小波分析。ThereviewofthelatestdevelopmentsinartificialneuralnetworksAbstract:Artificialneuralnetworkisthesystemthatsimulatesthehumanbrain’sstructureandfunction,andusesalargenumberofprocessingelements,andismanuallyestablishedbythenetworksystem.Thispaperfirstlyintroducestheresearchtrendsoftheneuralnetwork,andthenintroducesseveralnewbasicmodelsofneuralnetworksandtypicalapplicationsinrecentyears,includingoffuzzyneuralnetwork,thecombineofneuralnetworkandgeneticalgorithm,evolutionaryneuralnetworks,chaoticneuralnetworksandthecombineofneuralnetworksandwaveletanalysis.Finally,theirfutureprospectsarepredictedbasedonthecharacteristicsofthesenewneuralnetworksinthepaper.Keywords:Fuzzyneuralnetwork;Neuralnetworkandgeneticalgorithm;Evolutionaryneuralnetworks;Chaoticneuralnetworks;Neuralnetworksandwaveletanalysis1引言人工神经网络的研究始于20世纪40年代初。半个多世纪以来,经历了兴起、高潮与萧条、高潮及稳步发展的曲折道路。人工神经网络具有自组织、自学习、联想存储的功能和高速寻找优化解的能力,在模式识别、信号处理、自动控制、人工智能、自适应的人机接口、优化计算、通信等领域有广泛的应用。神经网络虽已在许多领域应用中取得了广泛的成功，但其发展还不十分成熟，还有一些问题需进一步研究。（1）神经计算的基础理论框架以及生理层面的研究仍需深入。这方面的工作虽然很困难，但为了神经计算的进一步发展却是非做不可的。（2）除了传统的多层感知机、径向基函数网络、自组织特征映射网络、自适应谐振理论网络、模糊神经网络、循环神经网络之外，一些新的模型和结构很值得关注，例如最近兴起的脉冲神经网络和支持向量机。（3）增强神经网络的可理解性是神经网络界需要解决的一个重要问题。这方面的工作在今后若干年中仍然会是神经计算和机器学习界的一个研究热点。（4）监督学习仍有很多值得研究的问题，但应该认识到非监督学习具有很大的潜力。相对于监督学习来说，由于非监督学习的研究起步较晚，其研究空间比前者更大。（5）神经计算技术与其他技术尤其是进化计算技术的结合以及由此而来的混合方法和混合系统，正成为一大研究热点。（6）神经网络用于控制时还有许多问题值得研究：现行的学习算法收敛速度低，存在局部最优问题；分布式并行处理方式的网络内部机理并不清楚，选择网络层数、每层神经元个数，还得凭经验；泛化能力不足，制约了控制系统的鲁棒性；需要创造更适合于控制的专用神经网络；网络建立模算法和控制系统的收敛性与稳定性需进一步研究。（7）神经网络的应用领域将不断扩大，在未来的几年中有望在一些领域取得更大的成功，特别是多媒体技术、医疗、金融、电力系统等领域。2几种新型的神经网络2.1模糊神经网络模糊神经网络这一新兴领域的开拓者是美国南加利福尼亚大学信号和图像处理研究所长B.kosko教授。1987年,B.kosko率先将模糊数学与神经网络相结合,提出了模糊神经网络的概念。模糊神经网络主要有三种结构(1)输入信号为普通变量,连接权为模糊变量;(2)输入信号为模糊变量,连接权为普通变量;(3)输入信号与连接权均为模糊变量。根据网型及学习算法中的点积运算是使用模糊逻辑运算还是使用模糊算术运算,而分成常规型(regular)和混合型(hybrid)模糊神经网络。近年来,模糊神经网络的研究已取得了一些成果,主要体现在以下几个方面:(1)模糊系统与神经网络系统作为一般自适应模型无关估计的研究。我们所处理的任何过程与系统均可用激励与响应的映射来表征,即任何对象都可以用一自适应模型无关函数估计器特性来概述。神经网络作为一般函数估计器,已被广泛地适用于各种应用领域。模糊系统作度逼近一个紧致域上的任意连续函数,Wang利用Stone-Weiestrass定理证明了具有积推理、中心反模糊化、高斯型隶属函数的模糊系统也能以任意的精度逼近任一闭子集上的实连续函数。(2)利用神经网络对模糊控制规则的获取、细化等方面的研究。模糊控制器设计的关键就是模糊建模然而经典方法都很难有效地辨识规则和细调隶属函数,对于专家难以表达的可采用聚类(或矢量量化)的方法从专家的行为特性中获取有用的启发知识Kosko利用矢量量化对积空间进行聚类,以获得模糊规则。在专家知识无法用语言表达时,采用无导师的规则聚类算法从经验数据中获取知识是十分必要的这就使得研究成功的规则获取算法成为目前模糊神经网络研究的重要方法之一。然后,还要利用实际目标系统对所获得的规则进行细化。(3)在神经网络学习算法中引入模糊控制技术的研究。传统的神经网络学习算法(特别是BP算法)存在学习周期长,甚至常常陷入局部极小值点的缺陷,为了加快学习速度,改善学习算法的性能,可以对网络的学习性能进行分析,利用获取适当的启发式知识来控制学习算法,在学习算法中引入模糊控制技术,就能动态地调整网络的学习过程,使传统的静态学习算法动态化。模糊神经控制包括两个方面：（1）基于神经网络的模糊控制。它将模糊系统设计方法与神经网络的连接主义结构和学习方法结合起来，把模糊系统表达成连接主义方式的网络结构，模糊控制的模糊化、模糊推理和解模糊化三个基本过程全都用神经网络来实现；（2）模糊神经网络。它在传统的神经网络中增加一些模糊部分，除了具有神经网络的功能外，还能处理模糊信息，完成模糊推理功能。模糊神经控制的未来研究应集中于以下几个方面：（1）研究模糊逻辑与神经网络的对应关系，将对模糊控制器的调整转化为等价的神经网络的学习过程，用等价的模糊逻辑来初始化神经网络；（2）完善模糊神经控制的学习算法，以提高控制算法的速度与性能，可引入遗传算法、BC算法中的模拟退火算法等，以提高控制性能；（3）模糊控制规则的在线优化，可提高控制器的实时性与动态性能；（4）需深入研究系统的稳定性、能控性、能观性以及平衡吸引子、混沌现象等非线性动力学特性。2.2神经网络与遗传算法的结合遗传算法是1962年由美国的Hollad提出的。遗传算法是基于自然选择和基因遗传学原理的全局优化搜索算法，因其简单通用，鲁棒性强，适于并行处理，已成为人们用来解决高度复杂问题的一个新思路和新方法。目前已被广泛用于许多实际问题。遗传算法与神经网络的结合主要体现在以下几个方面：网络连接权重的进化训练；网络结构的进化计算；网络结构和连接权重的同时进化；训练算法的进化设计。基于进化计算的神经网络设计和实现已在众多领域得到应用，如模式识别)%+、机器人控制、财政预测等，并取得了较传统神经网络更好的性能和结果。但从总体上看，这方面研究还处于初期阶段，理论方法有待于完善规范，应用研究有待于加强提高。神经网络与进化算法相结合的其他方式也有待于进一步研究和挖掘。2.3进化神经网络近年来,越来越多的研究人员正在从事神经网络(NN)与进化算法(EA)相结合的研究工作,从而开辟了新的进化神经网络研究领域。可以说它是神经网络与进化算法的跨学科结合的产物,尽管它们的思想都萌芽于20世纪中叶,但二者的结合却是20世纪末的事情。人们想通过研究进化神经网络更好地理解学习与进化的相互关系,并且这一主题已成为人工生命领域中十分活跃的课题。进化神经网络的主要研究内容为:如何对神经网络的结构进行编码,即网络参数编码的确定,包括选择待编码的参数、为各参数分配串长、定义串值与参数值之间的映射关系等。基于传统BP神经网络存在的问题,本文将遗传算法与BP网络有机结合起来,提出了进化神经网络学习算法。该算法主要按照传统BP学习算法的过程进行学习,当学习过程处于局部极小时,就开始使用遗传算法产生新的子代,从这些新的子代和他们的父代中选择一个具有最优适合度的染色体作为新的起点,经过交叉、变异得出新的权值,实现搜索全局最优解。由此可见,该算法的复杂度并没有太大的增加,同时又保证了学习过程的全局收敛性,大大加快了学习的收敛速度2.4混沌神经网络简单地说，混沌是一种确定的系统中出现的无规则的运动。混沌理论所讨论的是非线性动力学混沌，目的是揭示貌似随机的现象背后可能隐藏的简单规律，以求发现一大类复杂问题普遍遵循的共同规律。当神经网络实际应用中，网络输入发生较大变异时，应用网络的固有容错能力往往感到不足，经常会发生失忆现象。混沌神经网络动态记忆属于确定性动力学运动，记忆发生在混沌吸引子的轨迹上，通过不断地运动（回忆过程），一一联想到记忆模式，特别对于那些状态空间分布得较接近或者发生部分重叠的记忆模式，混沌神经网络总能通过动态联想记忆加以重现和辨识，而不发生混淆，这是混沌神经网络所特有的性能，它将大大改善神经网络的记忆能力。混沌吸引子的吸引域存在，形成了混沌神经网络固有容错功能。以上性能提高了混沌神经网络的实用性，这将对复杂的模式识别、图像处理等工程应用发挥重要作用。对于混沌神经网络的研究同其他神经网络的研究一样主要是集中在三个方面,即时理论研究、应用研究和实现研究。主要有:提出具有混沌特性的新型神经元;对现在混沌神经网络特性进行分析并加以改进;对混沌神经网络中的混沌加以控制;小尺寸混沌神经网络特性分析等。对于混沌神经网络的应用研究主要包括:混沌神经网络用于模式识别和图像处理;混沌神经网络用于优化和控制;混沌神经网络用于通信及语音处理;对于混沌神经网络的实现研究主要是研究怎样以电路的方式来实现混沌神经元和混沌神经网络。2.5神经网络与小波分析的结合小波变换是对Fourier分析方法的突破。它不但在时域和频域同时具有良好的局部化性质，而且对低频信号在频域和对高频信号在时域里都有很好的分辨率，从而可以聚集到对象的任意细节。目前可以将它与神经网络相结合实现间接辨识与建模。在结合方法上，可以将小波函数作为基函数构造神经网络形成小波网络，或者以小波变换的多分辨率特性对过程状态信号进行处理，实现信噪分离，并提取出对加工误差影响最大的状态特性，作为神经网络的输入。利用小波变换的思想初始化小波网络，并对学习参数加以有效约束，采用通常的随机梯度法分别对一维分段函数、二维分段函数和实际系统中汽轮机压缩机的数据做了仿真试验，并与神经网络、小波分解的建模做了比较，说明了小波网络在非线性系统黑箱建模中的优越性。3结束语本文重点介绍了近年来几种新型神经网络的基本模型及典型应用,包括模糊神经网络、神经网络与遗传算法的结合、进化神经网络、混沌神经网络和神经网络与小波分析的结合,同时比较了这几种新型神经网络的优势和不足。最后,根据这几种新型神经网络的特点,展望了它们今后的发展前景。参考文献:[1]孙增圻，张再兴，邓志东.智能控制理