神经网络论文

神经网络原理及应用论文神经网络在模式识别领域的应用院系：专业：姓名：学号：指导教师：手机号：2013年5月摘要：神经网络已经广泛地应用于图像分割和对象的识别、分类问题中。随着人工神经网络技术的发展，神经网络模式识别在模式识别领域中起着越来越重要的作用，神经网络模式识别已成为模式识别的一种主要方法。由D．E．Rumelhart和J．L．Mcclelland于1986年提出的多层人工神经网络及误差逆传播学习算法，即BP网络算法是至今影响最大的一种网络学习算法，据统计有90％的实际网络使用了这一算法。在处理环境信息十分复杂、背景知识不十分清楚、推理规则不明确、样本有较大的缺损、畸变的R&D项目中止决策分析等方面，可以认为BP算法会有更好的结果。关键词：神经网络模式识别BP网络算法目录一：神经网络在模式识别领域的研究现状...........................................11、神经网络简述..................................................................................................11.1神经网络定义.............................................................................................................12.2神经网络发展史........................................................................................................12、神经网络在模式识别领域的研究..................................错误!未定义书签。2.1神经网络模式识别法优点.........................................................................................32.2神经网络模式识别原理.............................................................................................3二：神经网络在模式识别领域的应用实例...........................................51、BP网络学习算法及改进..................................................................................51.1BP网络学习算法........................................................................................................51.2将附加动量反向传播训练法用于BP算法...............................错误!未定义书签。1.3将自适应学习速率反向传播训练法用于BP算法..................................................72、R&D项目终止决策的人工神经网络模式识别...............................................82.1传统模式识别技术用于R&D项目中止决策分析的局限性....................................82.2建立R&D项目中止决策的人工神经网络模式识别模型........错误!未定义书签。2.3R&D项目中止决策的人工神经网络识别应用示例................................................16三：神经网络在模式识别领域的未来展望............错误!未定义书签。参考文献...............................................................................................19第1页一神经网络在模式识别领域的研究现状1神经网络简述1.1神经网络定义Hecht-Nielsen在1988年给出了人工神经网络(artificialneuralnetworks，ANN)的定义，即人工神经网络是一个并行、分布处理结构，它由处理单元及其称为联接的无向讯号通道互连而成。这些处理单元(PE—ProcessingElement)具有局部内存，并可以完成局部操作。每个处理单元有一个单一的输出联接，这个输出可以根据需要被分支成希望个数的许多并行联接，且这些并行联接都输出相同的信号，即相应处理单元的信号，信号的大小不因分支的多少而变化。处理单元的输出信号可以是任何需要的数学模型，每个处理单元中进行的操作必须是完全局部的。也就是说，它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。1.2神经网络发展史神经网络的研究与计算机研究几乎是同步的，其发展历程可分为四个阶段。第一阶段是启蒙期，始于1943年。1943年心理学家第2页M．McCulloch和数学家W．H．Pitts合作提出了形式神经元的数学模型，成为神经网络研尧的开端。第二阶段是低潮期，始于1969年。1969年人工智能创始人之一的M．Minsky和S．Papert出版《感知器(Perceptrons)书，指出了感知器的局限性，加之当时串行计算机正处于全盛发展时期，早期的人工智能研究也取得了很大成就，使有关神经网络的研究热潮低落下来。第三阶段是复兴期，从1982年到1986年。1982年和1984年，美国加州工学院物理学家Hopfield教授相继发表了两篇重要论文，提出了一种新的神经网络模型，引入能量函数的概念，并用简单的模拟电路实现，同时开拓了神经网络用于联想记忆和优化计算的新途径，点燃了神经网络复兴的火炬。1986年D．E．Rumelhart和J．L．McClelland领导的研究小组出版《并行分布处理》(ParallelDistributedProcessing)一书，提出多层感知器的反向传播算法，清除了当初阻碍感知器模型继续发展的重要障碍，使复兴的火炬迸发出更加耀眼的光芒。另一方面，20世纪80年代以后传统的基于符号处理的人工智能在解决工程问题时遇到许多困难，现代的串行机尽管有很好的性能，但在解决像模式识别、学习等对人来说轻而易举的问题上显得非常困难。这就使人们怀疑当前的冯·诺依曼机是否能解决智能问题，也促使人们探索更接近人脑的计算模型，于是又形成了对神经网络的研究热潮。第四阶段是1987年至今，其标志是J．D．Cowan与D．H．Sharp发表的回顾性综述文章“神经网络与人工智能”。1987年以后，神经网络应用领域的研究相当活跃，神经网络已不再仅仅停留在研究阶段，人们开始动手实践，第3页设计并实现一定规模的神经元芯片、神经计算机装置；在现有计算机上建立神经网络软件开发工具；应用神经网络理论和方法解决各种应用问题等。这一阶段的理论进展较少，神经网络的研究逐渐趋于平稳。2神经网络在模式识别领域的研究2.1神经网络模式识别法优点神经网络在模式识别、智能控制、信号处理、计算机视觉、优化计算、知识处理、生物医学工程等领域已有广泛的应用，模式识别是神经网络的主要应用领域之一。神经网络模式识别法与传统方法相比具有下面几个明显的优点：(1)具有较强的容错性，能够识别带有噪声或畸变的输入模式。(2)具有很强的自适应学习能力。(3)能够把识别和若干预处理融为一体进行。(4)采用并行工作方式。(5)对信息采用分布式记忆，信息不易丢失，具有鲁棒性。2.2神经网络模式识别原理神经网络（ANN）由许多具有非线性映射能力的神经元组成。神经元之间通过权系数相连接．它的信息分布式存储于连接权系数中，第4页使网络具有很高的容错性和鲁棒性，而在模式识别中往往存在噪声干扰或输入模式的部分损失，网络的这一特点是成功解决模式识别问题的原因之一。另外，ANN的自组织、自适应学习的功能，大大放松了传统识别方法所需的约束条件，使其对某些识别问题显示出极大的优越性。对于一个典型的神经网络模式识别系统(图6．3．1)。总的来说，采集系统将采集到的原始数据输入模式识别系统，这些原始数据集合形成一个激励向量。寻找存在于激励向量内部特征的相关属性，是这种系统的一个最基本要求。这些能够更真实、更清晰地表达模式基本结构相关属性的一个有序集合构成一个特征向量。如何寻找该特征向量是问题的关键。这就要涉及模式特征提取与选择的问题，最后要求建立一个能够识别不同模式的网络。本节先利用自组织特征映射算法和K均值聚类算法进行运动区域特征的选择，然后利用BP算法训练运动区域特征向量，获得稳定的网络，最后根据运动区域的特征向量通过该网络的输出值，识别出运动区域的类别。第5页二神经网络在模式识别领域的应用实例1BP网络学习算法及改进1.1BP网络学习算法由D．E．Rumelhart和J．L．Mcclelland于1986年提出的多层人工神经网络及误差逆传播学习算法是至今影响最大的一种网络学习算法，据统计有90％的实际网络使用了这一算法。由于这一网络采用了误差逆传播(ErrorBackPropagation)学习算法，所以人们简称之为误差逆传播人工神经网络或BP网络。该算法实质是把一组样本输入、输出问题转化为一个非线性优化问题，并通过梯度算法进行迭代运算求解权值问题。神经网络通常有一个或多个隐含层。BP网络的结构及误差反向传播如图9-4·3所示。图9．4．4所示的含有一级隐含层的基于BP算法的神经网络中，P代表输入层，有7个分量所描绘的输入向量，根据Kolmogorov定理，隐含层取7×2+1—15个神经元。wl和w2分别为输入层和隐含层的第6页权向量，b1和b2分别为输入层和隐含层的偏差向量，a1和a2分别为隐含层和输出层的输出向量，s1和s2分别为隐含层和输出层的神经元数，n1和n2分别为隐含层和输出层的加权和向量。输入层与隐含层之间采用双曲正切s型传递函数；隐含层与输出层之间采用线型传递函数。应用BP神经网络分类的关键问题涉及网络结构设计、网络学习等。在BP神经网络结构确定后，就可利用输入输出样本对网络进行训练，即对网络的权值和阈值进行学习和调整，使网络实现给定的输入输出映射关系。其学习过程包括正向传播和反向传播两个过程。在正向传播过程中，输入信息从输入层经隐含层逐层处理，并传向输出层。每一层神经元的状态只影响下一层神经元的状态。如果输出层不能得到期望的输出，则转人反向传播，将误差信号沿原来的路径返回。通过修改各层神经元的权值，使误差最小。在向前传播阶段，通过从样本集中取一个样本(Xp，Yp)，将Xp输人网络，并计算相应的实际输出Op。在此过程中，网络执行下列运算：Op=Fn(…（F2(F1(XpW(1))W(2))…）W(n))(9.4.2)其中，设网络有咒层，第h(1≤h≤n)层神经元的个数用Lh表示，该层神经元的激活函数用Fh表示，该层的连接矩阵用W(h)表示。第7页在向后传播阶段，计算实际输出Op。与相应的理想输出Yp。的差，按极小化误差的方式调整权矩阵。网络关于整个样本集的误差测度为E=ΣEp(9.4.3)其中，为网络关于第P个样本的误差测度。为避免标准BP网络学习算法收敛速度慢、可能收敛到局部极小点的问题，可采用改进的算法，即将附加动量和自适应学习速率的反向传播训练法用于BP算法，其相应连接权的校正如下。1.2将附加动量反向传播训练法用于BP算法修正W(k)时，按如下的改进算法：其中，W(k)既可表示单个的连接权系数，也可表示连接权向量；为k时刻的负梯度；a为学习速率，aO；为动量因子，o≤1