人工神经网络及其工程应用

人工神经网络及其工程应用目录第一章人工神经网络…………………………………………………3§1.1人工神经网络简介…………………………………………………………31．1人工神经网络的起源……………………………………………………31．2人工神经网络的特点及应用……………………………………………3§1.2人工神经网络的结构…………………………………………………42．1神经元及其特性…………………………………………………………52．2神经网络的基本类型………………………………………………62.2.1人工神经网络的基本特性……………………………………62.2.2人工神经网络的基本结构……………………………………62.2.3人工神经网络的主要学习算法………………………………7§1.3人工神经网络的典型模型………………………………………………73．1Hopfield网络…………………………………………………………73．2反向传播(BP)网络……………………………………………………83．3Kohonen网络…………………………………………………………83．4自适应共振理论(ART)……………………………………………………93．5学习矢量量化（LVQ）网络…………………………………………11§1.4多层前馈神经网络（ＢＰ）模型…………………………………………124．1BP网络模型特点……………………………………………………124．2BP网络学习算法………………………………………………………134.2.1信息的正向传递………………………………………………134.2.2利用梯度下降法求权值变化及误差的反向传播………………144．3网络的训练过程………………………………………………………154．4BP算法的改进………………………………………………………154.4.1附加动量法………………………………………………………154.4.2自适应学习速率…………………………………………………164.4.3动量-自适应学习速率调整算法………………………………174．5网络的设计………………………………………………………………174.5.1网络的层数…………………………………………………174.5.2隐含层的神经元数……………………………………………174.5.3初始权值的选取………………………………………………174.5.4学习速率…………………………………………………………17§1.5软件的实现………………………………………………………………18第二章遗传算法………………………………………………………19§2.1遗传算法简介………………………………………………………………19§2.2遗传算法的特点…………………………………………………………19§2.3遗传算法的操作程序………………………………………………………20§2.4遗传算法的设计……………………………………………………………20第三章基于神经网络的水布垭面板堆石坝变形控制与预测§3.1概述…………………………………………………………………………23§3.2样本的选取………………………………………………………………24§3.3神经网络结构的确定………………………………………………………25§3.4样本的预处理与网络的训练……………………………………………254．1样本的预处理………………………………………………………254．2网络的训练……………………………………………………26§3.5水布垭面板堆石坝垂直压缩模量的控制与变形的预测…………………305．1面板堆石坝堆石体垂直压缩模量的控制……………………………305．2水布垭面板堆石坝变形的预测……………………………………355．3BP网络与COPEL公司及国内的经验公式的预测结果比较…35§3.6结论与建议………………………………………………………………38第四章BP网络与遗传算法在面板堆石坝设计参数控制中的应用§4.1概述………………………………………………………………………39§4.2遗传算法的程序设计与计算………………………………………………39§4.3结论与建议…………………………………………………………………40参考文献…………………………………………………………………………41第一章人工神经网络§1.1人工神经网络简介1．1人工神经网络的起源人工神经网络（ArtificialNeuralNetwork,简称ANN）研究的先锋，美国心理学家WarrenSMcCulloch和数学家WalterHPitts曾于1943年提出一种叫做“似脑机器”（mindlikemachine）的思想，这种机器可由基于生物神经元特性的互连模型来制造,这就是神经学网络的概念。他们构造了一个表示大脑基本组成部分的神经元模型，对逻辑操作系统表现出通用性。随着大脑和计算机研究的进展，研究目标已从“似脑机器”变为“学习机器”，为此一直关心神经系统适应律的心理学家D.O.Hebb于1949年提出了学习模型。1957年Rosenblatt首次提出感知器，并设计一个引人注目的结构。到60年代初期，关于学习系统的专用设计指南有Widrow等提出的Adaline(adaptivelinearelement,即自适应线性元)以及Steinbuch等提出的学习矩阵。由于感知器的概念简单，因而在开始介绍时对它寄托很大希望。然而，不久之后Minsky和Papert从数学上证明了感知器不能实现复杂逻辑功能[1]。到了70年代，Grossberg和Kohonen对神经网络研究作出重要贡献。以生物学和心理学证据为基础，Grossberg提出几种具有新颖特性的非线性动态系统结构。该系统的网络动力学由一阶微分方程建模，而网络结构为模式聚集算法的自组织神经实现。基于神经元组织自己来调整各种各样的模式的思想，Kohonen发展了他在自组织映像方面的研究工作。Werbos在70年代开发一种反向传播算法。Hopfield在神经元交互作用的基础上引入一种递归型神经网络，这种网络就是有名的Hopfield网络。在80年代中叶，作为一种前馈神经网络的学习算法，Parker和Rumelhart等重新发现了反回传播算法。如今，神经网络的应用越来越广泛了[1]。1．2人工神经网络的特点及应用人工神经网络是由许多神经元互连在一起所组成的复杂网络系统。它是在现代神经学研究成果基础上提出的，能模拟人的若干基本功能。它具有并行分布的信息处理结构，是通过“学习”或“训练”的方式完成某一特定的工作。其最显著的特点是具有自学习能力，并在数据含有噪音、缺项或缺乏认知时能获得令人满意的结论，特别是它可以从积累的工作实例中学习知识，尽可能多地把各种定性定量的影响因素作为变量加以输入，建立各影响因素与结论之间的高非线性映像，采用自适应模式识别方法完成此工作。它对处理内部规律不甚了解、不能用一组规则或方程进行描述的较复杂问题或开放的系统显得较为优。按照神经元的连接方式，人工神经网络可分为两种：没有反馈的前向网络和相互结合型网络。前向网络是多层映像网络，每一层中神经元只接受来自前一层神经元的信号，因此信息的传播是单方向的。BP网络是这类网络最典型的例子。在相互结合型的网络中，任意神经元之间都可能有连结，因此，输入信号要在网络中往返传播，从某一初态开始，经过若干变化，渐渐趋于某一稳定状态或进入周期震荡等其它状态，这方面的网络有Hopfield网络、SOM网络等。网络的学习能力体现在网络参数的调整上。参数调整方法为有教师学习和无教师学习两种基本方式。有教师学习方式是网络根据教师给出的正确输入模式，校正网络的参数，使其输出接近于正确模式。这类方式常采用梯度下降的学习方法，如BP算法。而无教师学习是网络在没有教师直接指点下通过竞争等方式自动调整网络参数的学习方法，如自适应共振网络。神经网络就是由许多神经元互连在一起所组成的神经结构。把神经元之间相互作用的关系进行数学模型化就可以得到神经网络模型。目前已有几十种不同的神经网络模型。代表的网络模型有感知器、反向传播BP网络、GMDH网络、RBF网络、双向联想记忆（BAM）、Hopfield网络、Boltsmann机、自适应共振网络（ART）、自组织特征映像（SOM）网络等。运用这些网络模型可实现函数近似（数字逼近映像）、数据聚类、模式识别、优化计算等功能，因此，人工神经网络广泛用于人工智能、自动控制、机器人、统计学、工程学等领域的信息处理中。§1.2人工神经网络的结构神经网络的结构是由基本处理单元及其互连方法决定的。2．1神经元及其特性人工神经网络的基本处理单元在神经网络中的作用与神经生理学中神经元的作用相似，因此，人工神经网络的基本处理单元往往被称为神经元。人工神经网络结构中的神经元模型模拟一个生物神经元，如图1.2.1所示。该神经元单元由多个输入ix，i=1,2,...,n和一个输出jy组成。中间状态由输入信号的加权和与修正值表示，而输出为:)()(1nijijijxwftY（1.2.1）图1.2.1神经元模型式(1.2.1)中,j为神经元单元的偏置（阈值），wji为连接权系数（对于激发状态，wji取正值，对于抑制状态，wji取负值），n为输入信号数目，yj为神经元输出，t为时间，f()为输出变换函数，有时叫做激发或激励函数，往往采用0和1二值函数或Ｓ形函数，见图1.2.2，这三种函数都是连续和非线性的。一种二值函数如图1.2.2（a）所示,可由下式表示：00,0,1)(xxxxxf(1.2.2)一种常规的Ｓ形函数如图1.2.2（b）所示，可由下式表示：axexf11)(,1)(0xf(1.2.3)常用双曲正切函数（如图1.2.2（c））来取代常规Ｓ形函数，因为Ｓ形函数的输出均为正值，而双曲正切函数的输出值可为正或负。双曲正切函数如下式所示：axaxeexf11)(，1)(1xf(1.2.4)图1.2.2神经元中的某些变换（激发）函数2．2神经网络的基本类型2.2.1人工神经网络的基本特性人工神经网络由神经元模型构成；这种由许多神经元组成的信息处理网络具有并行分布结构。每个神经元具有单一输出，并且能够与其它神经元连接；存在许多（多重）输出连接方法，每种连接方法对应一个连接权系数。严格地说，人工神经网络是一种具有下列特性的有向图：（１）对于每个节点存在一个状态变量xi；（２）从节点i至节点j，存在一个连接权系数wji；（３）对于每个节点，存在一个阈值j；（４）对于每个节点，定义一个变换函数fj(xi,wji,j),ij；对于最一般的情况，此函数取)(ijijijxwf形式。2.2.2人工神经网络的基本结构(1)递归网络在递归网络中，多个神经元互连以组织一个互连神经网络，如图1.2.3所示。有些神经元的输出被反馈至同层或前层神经元。因此，信号能够从正向和反向流通。Hopfield网络，Elmman网络和Jordan网络是递归网络有代表性的例子。递归网络又叫做反馈网络。图1.2.3中，vi表示节点的状态，xi为节点的输入(初始)值，xi为收敛后的输出值，i=1,2,...,n。(2)前馈网络前馈网络具有递阶分层结构，由一些同层神经元间不存在互连的层级组成。从输入层至输出层的信号通过单向连接流通；神经元从一层连接至下一层，不存在同层神经元间的连接，如图1.2.4所示。图中，实线指明实际信号流通而虚线表示反向传播。前馈网络的例子有多层感知器(MLP)、学习矢量量化(LVQ)网络、小脑模型联接控制(CMAC)网络和数据处理方法(GMDH)网络等。图1.2.3递归（反馈）网络图1.2.4前馈（多层）网络2.2.3人工神经网络的主要学习算法神经网络主要通过两种学习算法进行训练，即指导式（有师）学习算法和非指导式（无师）学习算法。此外，还存在第三种学习算法，即强化学习算法；可把它看做有师学习的一种特例。（１）有师学习有师学习算法能够根据期望的和实