几种神经网络模型及其应用

几种神经网络模型及其应用摘要：本文介绍了径向基网络，支撑矢量机，小波神经网络，反馈神经网络这几种神经网络结构的基本概念与特点，并对它们在科研方面的具体应用做了一些介绍。关键词：神经网络径向基网络支撑矢量机小波神经网络反馈神经网络SeveralneuralnetworkmodelsandtheirapplicationAbstract:ThispaperintroducedtheRBFnetworks,supportvectormachines,waveletneuralnetworks,feedbackneuralnetworkswiththeirconceptsandfeatures,aswellastheirapplicationsinscientificresearchfield.Keywords:neuralnetworksRBFnetworkssupportvectormachineswaveletneuralnetworksfeedbackneuralnetworks2引言随着对神经网络理论的不断深入研究，其应用目前已经渗透到各个领域。并在智能控制，模式识别，计算机视觉，自适应滤波和信号处理，非线性优化，语音识别，传感技术与机器人，生物医学工程等方面取得了令人吃惊的成绩。本文介绍几种典型的神经网络，径向基神经网络，支撑矢量机，小波神经网络和反馈神经网络的概念及它们在科研中的一些具体应用。1.径向基网络1.1径向基网络的概念径向基的理论最早由Hardy，Harder和Desmarais等人提出。径向基函数（RadialBasisFunction，RBF）神经网络，它的输出与连接权之间呈线性关系，因此可采用保证全局收敛的线性优化算法。径向基神经网络（RBFNN）是3层单元的神经网络，它是一种静态的神经网络，与函数逼近理论相吻合并且具有唯一的最佳逼近点。由于其结构简单且神经元的敏感区较小，因此可以广泛地应用于非线性函数的局部逼近中。主要影响其网络性能的参数有3个：输出层权值向量，隐层神经元的中心以及隐层神经元的宽度(方差)。一般径向基网络的学习总是从网络的权值入手，然后逐步调整网络的其它参数，由于权值与神经元中心及宽度有着直接关系，一旦权值确定，其它两个参数的调整就相对困难。其一般结构如下：如图1所示，该网络由三层构成,各层含义如下：第一层：输入层：输入层神经元只起连接作用。第二层：隐含层：隐含层神经元的变换函数为高斯核.第三层：输出层：它对输入模式的作用做出响应.图1.径向基神经网络拓扑结构其数学模型通常如下：设网络的输入为x=(x1,x2,?,xH)T，输入层神经元至隐含层第j个神经元的中心矢为vj=(v1j,v2j,?,vIj)T(1≤j≤H)，隐含层第j个神经元对应输入x的状态为：zj=φ=‖x-vj‖=expΣx1-vij)2/(2σ2j)，其中σ(1≤j≤H)为隐含层第j个神经元的控制参数。隐含层神经元至输出层第k个神经元的连接系数矢量为wK=(w1K，w2K，?，wHK(1≤k≤p)，输出为：Yi=ΣHj=0wijZj，其中wi0为节点i的阈值。事实上，RBF神经网络可看作从特征子空间到类的映射，每类对应于网络一个输出结点3的响应。一般来说，输入层的结点数与输入特征矢量的维数相等，输出层的结点数就是待分类模式类别数。径向基函数φ()r一般分为两类：局部的和整体的。如果limφ(r)为零，则称之为局部r→∞径向基函数，否则称之为整体径向基函数。局部径向基函数旨在输入数据所在区域的中心插值，而整体径向基函数可以全局插值。最常用的RBF神经网络的隐含层非线性函数是高斯函数，其详细表达式描如下：2?||PC-||?iRPi()=-exp?2?σ?i?其中Ri(P)是隐含层第i个结点的输出，P是输入模式，Ci是隐含层第i个结点基函数2的中心。σ是第i个隐含结点的归一化参数，它决定该中心对应的基函数的作用范围，σii又称之为RBF隐含结点的宽度系数。隐含结点输出在0和1之间，输入与中心的距离越近，隐含结点的响应就越大。显然该高斯函数是径向对称的，即对于与基函数中心径向距离相同的输入，隐含结点都产生相同的输出。1.2径向基神经网络的应用：通常情况下，根据科研项目具体情况的需要，通过对径向基神经网络加以改动或调整，就可以应用在各个领域中，举实例如下：目标识别是模式识别领域的一项重要研究内容，在这一领域，它能将来自某一目标的多源信息加以智能化合成，产生比单一信源更精确、更完全的估计和判别。用经典的贝叶斯统计方法或智能系统能够解决目标识别和分类问题。但当情况较为复杂，用统计方法不易解决的时候，神经网络可以成功的解决这一类问题。由于人工神经网络具有并行处理、鲁棒性和自组织等特点而被广泛应用。人工神经网络对于解决信息融合目标识别和分类问题具有较大的潜力。BP神经网络模型被广泛的应用于模式匹配、模式分类、模式识别与模式分析等方面。但BP网络模型算法收敛速度很慢，且目标函数存在局部极小点，因此BP网络的效率不高.而径向基（RBF）神经网络模型在一定程度上克服了这些缺点，其特点是将非监督学习与监督学习有效结合起来,从而得到很好的识别效果。改进的RBF网络模型的混合学习算法其步骤为:(1)给定初始权矩阵wI×H，训练样本逆相关矩阵初始值和误差迭代终止值εmin；(2)按K-均值聚类算法选取RBF的中心矢量vj(1≤j≤H);(3)按Zj=φ（‖x-vj‖）=exp（-Σ(xi-vij)2/(2σ2j)）计算径向基函数zj(1≤j≤H);(4)分别计算值K(n)与逆相关矩阵值(5)计算误差信号E(n)(7)计算累计误差J(n);(8)若J(n)≥εmin，转(5)；否则转(9)；(9)训练结束。运用上述步骤对目标进行识别：假定目标已经存在，考虑有四种类型的目标，设计三层的网络结构，各层神经元个数分别为3,3,2。神经网络的输入是由三个传感器的特征量测组成的一个三维向量，输出层的两个神经元提供了一个值Y=[Y1，Y2]用来对目标的类型进行识别，按四个输出值00,01,10,11分别来训练网络，00代表目标0，01代表目标1，10代表目标2，11代表目标3。在每种目标中选取100个样本进行训练。训练后的效果说明RBF神经网络的类中心更接近真实4类中心，这说明其选择中心矢量的方法优于传统的方法；并且RBF算法的平均识别率更高，具有更强的聚类能力，使目标识别更加准确。充分说明径向基（RBF）神经网络对目标进行识别是非常有效的，具有潜在的应用价值。2.支撑矢量机2.1支撑矢量机的概念统计推断问题又称为预知性学习问题，即根据观测数据（训练样本）推断一个未知系统的输入—输出依赖关系。这个问题有极大的理论意义和实践意义。但由于系统的未知性和观测数据的有限性，因此这是个十分困难的问题。随着近代计算机技术的发展，人们开始利用神经网络来解决以上提出的问题，并在一些实际工程项目中得到成功的应用，但是神经网络没有严格的理论依据，因此对于实际应用中提出的许多重要设计问题，无法做出准确的回答，只能依靠经验和技巧解决。20世纪60年代末，Vapnik和Cervonenkis的研究所取得的突破性进展终于导致了现代意义上的统计学习理论的建立，这就是目前国际文献上所称的VC理论。这一理论不仅圆满地回答了人工神经网络研究与应用中提出的一系列理论性问题，而且构造出一种能克服神经网络局限性的更强有力的预知性学习算法—支撑矢量机（SVM）方法，根据不同情况，其又可以分为线性支撑矢量机和非线性支撑矢量机两种。如图2所示支撑矢量机网络结构：图2.支撑矢量机（SVM）网络结构示意支撑矢量机（SVMs）基于结构风险最小化原理，该原理给出了测试误差的上界：不超过训练误差和置信范围之和，置信范围取决于VC维的大小，VC维越小则置信范围也越小。通过最小化这一上界，以得到较小的测试误差，因而SVMs具有强的泛化能力。SVMs的实现涉及求解线性约束的二次规划问题，该问题可以收敛到全局最优解。总结起来，SVM主要体现了以下思想:1)分类器容量控制的思想。也即控制分类器集合函数的VC维。该思想直接来源于统计学习理论，SVM通过同时控制经验风险和学习机的容量来提高推广能力。2)通过引入核的思想来控制分类器容量。若在原始特征空间中实现的分类器结构十分复杂(对应分类器函数集的vC维比较高)，则通过定义适当的核函数诱导出某个非线性变换，用此变换将原始特征空间映射到一个高维空间，然后在这个新的特征空间中求得最优线性分类面，以降低分类器的复杂度(即降低分类器函数集的VC维)。3)通过求解QP来实现容量控制的思想与核的思想。5现阶段SVM的主要研究方向如下：1)SVM提出之后，从理论的角度研究SVM的推广性能一直是SVM领域的研究重点，并取得了丰硕的成果，这些成果为提高SVM的推广性能提供了理论保证。2)从SVM实现算法的角度看，求解SVM可以转化成一个二次规划(QP)问题，目前，针对QP的研究已相当深入，这些研究成果从算法实现上保证了SVM的实用性。但实际上，通过求解QP来实现容量控制与核的思想，在实践中还存在众多问题。其中一个主要问题就是参数选择与优化问题，包括核函数的选择与参数优化及控制经验风险与分类器函数集VC维的参数c的优化等。核函数选择及参数优化是当今SVM领域的研究热点。3)SVM是一种两类分类器，而在实际应用中要解决多类分类问题。用SVM构造多类分类器是SVM领域的又一研究重点。用SVM构造多类分类器有众多的理论与算法问题需要解决。一方面，衡量SVM推广性能的理论成果不能直接应用于由SVM构造的多类分类器之中，因此，有必要从理论上研究由SVM构造的多类分类器的推广能力，为构造多类分类器提供理论指导。另一方面，虽然现阶段SVM的实现算法已高效，但由于多类分类问题往往较复杂，要处理的数据也比较庞大，因此，多类分类器的高效构造算法的研究就显得非常重要。2.2支撑矢量机的实际应用举例如下：支撑矢量机目前的应用研究领域主要包括图像识别(指纹、卫星图像等)与声音、压力等感知信号的识别。举一实例如下：Vapnik等人在美国AT&T实验室做的手写数字识别。他们利用美国国家邮政总局数据库提供的7300个训练样本和2000个测试数据设计了多项式、径向基函数、二层神经网络等不同形式的支撑矢量机，样本的分辨率为16×16像素，故系统维数为256。实验结果表明3种SVM求得的支撑矢量数目接近(274、291、254)，其中共同的支撑矢量约占80%，识别误差也接近(4.0%、4.1%、4.2%)，优于常规神经网络(5.1%～5.9%)。近年来有一系列SVM应用的报道，在模式识别方面的应用有3维物体识别、语音识别、脸像识别、文本分类、综合语音及图像数据核实人的身份等。3.小波神经网络3.1小波神经网络的概念小波分析方法是近年来得到迅速发展并形成研究热潮的信号分析新技术，被认为是对Fourier分析方法的突破性进展，在图像分析与处理、奇异性检测等方面已有许多成功的应用。使用小波分析方法对噪声进行处理的技术发展迅速，现有的研究多采用小波的多分辨分析或小波包技术等进行消噪处理，这些方法主要用于从含高频噪声的确定信号中去除噪声，而且消噪效果与小波函数的选取、阈值的处理方式和消噪算法等有很大关系。小波变换具有时频局部特性和军焦特性，而神经网络具有自学习、自适应、鲁棒性、容错性和推广能力。如何把两者的优势结合起来，一直是人们关注的问题。一种方法是用小波分析对信号进行预处理，即以小波空间作为模式识别的特征空间，通过小波分析来实现信号的特征提取，然后将提取的特征向量送入神经网络处理；另一种即所谓的小波神经网络(WaveletNeuralNetwork,WNN)或小波网络(WaveletNetworkWN)。小波神经网络最早是由法国著名的信息科学研究机构IRLSA的ZhangQinghu等人1992年提出来的。小波神经网络是基于小波变换而构成的神经网络模型，即用非线性小波基取代通常的神经元非线性激励函数(如Sigmoid函数)，把小波