搜索
基于径向基函数神经网络的手写体数字识别摘要：人工神经网络作为生物控制论的一个成果，其触角几乎已经延生到各个工程领域，吸引着不同专业领域的专家从事这方面的研究和开发，并且在这些领域中形成了新的生长点。作为众多神经结构中的一种，径向基函数神经网络（简称RBF）他是一种三层前向网络,它由输入层，隐含层和输出层组成。用RBF神经网络在一些方面的优点例如：信息处理、模式识别等，这是我写这篇文章的主要目的。要用RBF网络来对不同的手写体数字进行识别，第一我要寻找合适的方案来确定RBF神经网络的几个最最重要的参数，即函数的输入层、隐含层和输出层之间参数问题，接着将网络不断的训练来找出合适的匹配参数，从而使识别率更高。关键词：径向基函数神经网络数字识别BasedontheradialbasisfunctionneuralnetworkhandwrittendigitrecognitionArtificialneuralnetworkasaresultofbiocybernetics,itstentaclesalmosthavebirthtovariousengineeringfields,appealtodifferentexpertsinthefieldofprofessionalengagedintheresearchanddevelopment,andformedanewgrowingpointintheseareas.Asoneofthemanyneuralstructures,theradialbasisfunction(RBF)neuralnetworkisakindofthreelayerforwardnetwork,itiscomposedofinputlayer,hiddenlayerandoutputlayer.TheadvantagesofusingRBFneuralnetworkinsomeaspectssuchas:informationprocessing,patternrecognition,etc.,thisisIthemainpurposeofwritingthisarticle.RBFnetworkistobeusedforhandwrittenNumbersofdifferentrecognition,firstIwanttofindtherightsolutiontodeterminetheRBFneuralnetworktoafewofthemostimportantparameters,namelythefunctionoftheinputlayer,hiddenlayerandoutputlayerparameterbetweenproblems,thenwillnetworktotrainingandtofindoutsuitablematchingparameters,sothattherecognitionrateishigher.Keywords:radialbasisfunction(RBF)neuralnetworkdigitrecognition1.绪论1.1研究背景手写体数字的识别的识别率高低是解决目前大量数据录入工作的关键点，是我们当前急需解决的难点问题。它在经济贸易、人工智能、医学工程、数据分析、目标识别等领域发挥了重要的作用，在国家经济国防以及社会和谐发展方面发挥了很大作用。手写数字手写数字识别是利用计算机的智能化，基于一定的网络来实现对纸张上面数字的识别。目前经济发展迅速，经济发展迅速的同时不断要求我们对数据处理速度加快从而来适应这样的发展。因此，我们就要开发出识别率更加高效的技术来处理股票数目、票据数量。在这种发展之下，手写体数字识别应用领域更加广泛，比如支票发票进货单，入账单等等。这些在平时需要花费大量人力物力的工作在高效的数字识别技术下都可以轻松的被解决。（1）原本工作量极大的工作例如：财会、税务、报表等，在应用数字识别系统之后工作效率得到很大的提高（2）阿拉伯数字识别世界通用，任何国家的研究工作这都可以分享别人各自成果，并且都是可利用的。（3）由于数字只有10个，不像英文字母有26个。因而数据的特征提取工作相比较其它识别简单很多。（4）由手写体数字识别进而我们可以研究人脸、指纹、零件的识别。我们只需要转换数据库重新提取特征就能很快的应用在上面的例子。1.2国内外研究现状如何提高手写体数字的识别率是根本问题。想要解决这样的问题，就要对识别过程的每一步进行改进。目前国内外学者针对此问题在数字图像处理、特征提取、训练以及创建新的网络结构上都有了一定的突破。有以下两点问题：（1）数字的笔画很少区别不是很大，不同的人写出的相同的数字数字差别可能非常大，这就给识别出了个难题。（2）虽然数字全球通用但是不同国家经过历史的不断发展，形成了自有的数字写法，根深蒂固，这就需要强大的数据库来收集整合。1.3本文研究方法本文采用RBF神经网络来对mnistall数据库中的数据进行识别。识别过程可以分为数字的预处理、特征提取、建立网络分类器、训练和检测，以及对结果的分析。2.神经网络多少年以来，人们从医学、生物学、生理学、哲学、信息学、计算机科学、认知学、组织协同学等各个角度企图认识并解答上述问题。在寻找上述问题答案的研究过程中，逐渐形成了一个新兴的多学科交叉技术领域，称之为“神经网络”。神经网络的研究涉及众多学科领域，这些领域互相结合、相互渗透并相互推动。不同领域的科学家又从各自学科的兴趣与特色出发，提出不同的问题，从不同的角度进行研究。人工神经网络首先要以一定的学习准则进行学习，然后才能工作。现以人工神经网络对手写“A”、“B”两个字母的识别为例进行说明，规定当“A”输入网络时，应该输出“1”，而当输入为“B”时，输出为“0”。所以网络学习的准则应该是：如果网络作出错误的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。首先，给网络的各连接权值赋予(0，1)区间内的随机值，将“A”所对应的图象模式输入给网络，网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。在此情况下，网络输出为“1”和“0”的概率各为50%，也就是说是完全随机的。这时如果输出为“1”(结果正确)，则使连接权值增大，以便使网络再次遇到“A”模式输入时，仍然能作出正确的判断。普通计算机的功能取决于程序中给出的知识和能力。显然，对于智能活动要通过总结编制程序将十分困难。人工神经网络也具有初步的自适应与自组织能力。在学习或训练过程中改变突触权重值，以适应周围环境的要求。同一网络因学习方式及内容不同可具有不同的功能。人工神经网络是一个具有学习能力的系统，可以发展知识，以致超过设计者原有的知识水平。通常，它的学习训练方式可分为两种，一种是有监督或称有导师的学习，这时利用给定的样本标准进行分类或模仿；另一种是无监督学习或称无为导师学习，这时，只规定学习方式或某些规则，则具体的学习内容随系统所处环境（即输入信号情况）而异，系统可以自动发现环境特征和规律性，具有更近似人脑的功能。神经网络就像是一个爱学习的孩子，您教她的知识她是不会忘记而且会学以致用的。我们把学习集（LearningSet）中的每个输入加到神经网络中，并告诉神经网络输出应该是什么分类。在全部学习集都运行完成之后，神经网络就根据这些例子总结出她自己的想法，到底她是怎么归纳的就是一个黑盒了。之后我们就可以把测试集（TestingSet）中的测试例子用神经网络来分别作测试，如果测试通过（比如80%或90%的正确率），那么神经网络就构建成功了。我们之后就可以用这个神经网络来判断事务的分类了。神经网络是通过对人脑的基本单元——神经元的建模和联接，探索模拟人脑神经系统功能的模型，并研制一种具有学习、联想、记忆和模式识别等智能信息处理功能的人工系统。神经网络的一个重要特性是它能够从环境中学习，并把学习的结果分布存储于网络的突触连接中。神经网络的学习是一个过程，在其所处环境的激励下，相继给网络输入一些样本模式，并按照一定的规则（学习算法）调整网络各层的权值矩阵，待网络各层权值都收敛到一定值，学习过程结束。然后我们就可以用生成的神经网络来对真实数据做分类。3.RBF神经网络模型径向基神经网络的神经元结构如图所示。径向基神经网络的激活函数采用径向基函数，同城定义为空间任一点待某一中心之间的欧式距离的单调函数。由图中神经网络的神经元结构可以看出，径向基神经网络的激活函数是输入向量和权值相量之间的距离作为自变量的。distw2hwih···bnyx1w1hxmx2径向基神经网络的激活函数一般表达式：随着权值和输入向量之间距离的减少，网络输出是递增的，当输入向量和权值向量一致时，神经元输出1.图中b为域值，用于调整神经元的灵敏度。利用径向基神经元和线性神经元可以建立广义回归神经网络，该中神经网络适用于函数逼近方面的应用；径向基神经元和竞争神经元可以组建概率神经网络，此种神经网络适用于解决分类问题。由输入层、隐含层和输出层构成一般径向基神经网络结构如下图所示。在RBF网络中，输入层仅仅起到传输信号的作用与前面做讲诉的神经网络相比较，输入层和隐含层之间可以看做连接权值为1的连接。输出层和隐含层所完成的任务是不同的，因而它们的学习策略也是不同的。输出层是对闲心权进行调整，采用的是线性优化策略。因而学习效率比较快。而隐含层是对激活函数的参数进行调整，采用的是非线性优化策略，因而学习速度较慢。尽管RBF网络的输出是隐单元输出的线性加权和，学习速度加快，但病不等于径向基神经网络就可以取代其它前馈网络。这是应为进行基神经网络很可能需要比BP网络多的多的隐含层神经元来完成工作。BP网络使用sigmoid（）函数，这样的神经元有很大的输入课件区域，而径向基神经网络使用的径向基函数，输入空间区域很小。这就不可避免第导致了在输入空间较大时，需要更多的径向基神经元。2-distR(dist)=e......w11whnR21y2yny...4。RBF神经网络的思想方法RBF神经网络学习算法需要求解的参数有3个：基函数的中心、方差以及隐含层到输出层的权值。根据径向基函数中心选取方法的不同，RBF网络有多种学习方法，如随机选取中心法、自组织选取中心法、有监督选取中心法和正交最小二乘法等。径向基神经网络中常用的径向基函数是高斯函数，使用高斯函数作为隐层的激活函数，具备以下优点：1，径向对称性好2，由于该基函数表示简单且解析性好，因而便于进行理论分析。3，表示形式简单，即使对于多变量输入也不增加太多的复杂性；4，光滑性好，任意阶倒数存在；4.1隐含层的学习RBF神经网络中隐含层的学习过程是无监督的。在数据的训练过程中是针对数据库的因而只有输入而没有输出。数据训练是RBF神经网络会本能的将数据库中所有数据的特征提取出来并且逐一分类。分类完成之后该网络就能识别不同的输入数据。但是解决这一过程并不容易，关键在于如何选好隐含层节点的个数，降低网络的复杂层度。4.2输出层的学习相比于隐含层，输出层的学习则是有监督的。在输出成的学习过程中，等待分类样本的属性是知道的，因此对于每一个输入样本都有一个输出和它相匹配，基于网络输出端监督信号与实际输出的各种目标函数准则，网络据此调整权重，直至精度达到最佳要求。径向基神经网络的输出层学习，目的是为了找到合适的由隐含层至输出层的权值。5.针对本课题的RBF神经网络设计5.1网络的设计matlab实现设计主要包含隐含层和输出层，其中隐含层的传递函数为radbas()，输出层的传递函数为纯线性函数purelin()。设隐含层神经元数目为S1个，输出层有S2个神经元。神经网络工具箱中用于创建RBF网络的函数为newrbe(),在设计过程中，最重要的参数是径向基函数的分布常数。5.1.1神经网络创建函数1）newrb（）设计一个径向基网络。newrb（）创建网络的过程是一个不断尝试隐藏层神经元个数的过程，在创建过程中，会根据误差不断向隐藏层添加神经元，直到误差