工程应用数学

智能算法（IntelligentAlgorithm）2主要内容人工神经网络（ArtificialNeuralNetwork，ANN）模拟退火（SimulatedAnnealing，SA）遗传算法（GeneticAlgorithm，GA）3人工神经网络参考文献陈念贻，钦佩，陈瑞亮，陆文聪，模式识别方法在化学化工中的应用，科学出版社，北京，2000。从爽，面向MATLAB工具箱的神经网络理论与应用，中国科学技术出版社，合肥，1998。焦李成，神经网络计算，西安电子科技大学出版社，西安，1993。王永骥，涂健，神经元网络控制，机械工业出版社，北京，1998。Bishop,C.(1995).NeuralNetworksforPatternRecognition.Oxford:UniversityPress.Carling,A.(1992).IntroducingNeuralNetworks.Wilmslow,UK:SigmaPress.Fausett,L.(1994).FundamentalsofNeuralNetworks.NewYork:PrenticeHallHaykin,S.(1994).NeuralNetworks:AComprehensiveFoundation.NewYork:MacmillanPublishing.Patterson,D.(1996).ArtificialNeuralNetworks.Singapore:PrenticeHall.4生物神经元及神经网络神经元对信息的接受和传递都是通过突触来进行的。单个神经元可以从别的细胞接受多个输入。由于输入分布于不同的部位，对神经元影响的比例(权重)是不相同的。另外，各突触输入抵达神经元的先后时间也不一祥。因此，一个神经元接受的信息，在时间和空间上常呈现出一种复杂多变的形式，需要神经元对它们进行积累和整合加工，从而决定其输出的时机和强度。正是神经元这种整合作用，才使得亿万个神经元在神经系统中有条不紊、夜以继日地处理各种复杂的信息，执行着生物中枢神经系统的各种信息处理功能。多个神经元以突触联接形成了一个神经网络。5一、人工神经网络什么是人工神经网络？它就是在对大脑的生理研究的基础上，用模拟生物神经元的某些基本功能元件（即人工神经元），按各种不同的联结方式组织起来的一个网络。其目的在于模拟大脑的某些机理与机制，实现某个方面的功能，可以用在模仿视觉、模式识别、函数逼近、模式识别、分类和数据压缩等领域，是近年来人工智能计算的一个重要学科分支。人工神经网络有多种形式，其中反向传播人工神经网络(Back-PropagationArtificialNetwork,简称BP网络)是一种广泛使用的神经网络模型，它充分体现了人工神经网络的特点。BP网络是一种对非线性可微分函数进行权值训练的多层网络，在人工神经网络的实际应用中，80％～90％的人工神经网络模型是采用BP网络或它的变化形式。61.1BP神经网络神经元的结构神经元是人工神经网络的基本处理单元，它一般为多输入/单输出的非线性元件。神经元输出除受输入信号的影响外，还受神经元内部其它因素的制约，因此在人工神经元的建模中，常常加一额外输入信号，称为偏差(bais)，并取值为1。输入分量权值分量神经元的输出偏差权值激活函数输入分量通过与它相乘的权值分量相连，求和后与偏差权值共同构成激活函数的输入。)(1bpwfajrjj7偏差神经元的输出为：)(1bpwfajrjj偏差b被简单地加在jrjjwp1上，作为激活函数的一个输入分量。偏差的重要作用，它使得激活函数的图形可以左右移动，这样可增加网络解决问题的能力。8激活函数激活函数具有模拟生物神经元的非线性特性。Sigmoid函数：双曲正切tanh函数：xexf11)(xxxxeeeexf)(Sigmoid函数和双曲正切tanh函数都是单调上升函数，其极值分别为0、1和－1、＋1，且都是可微的。9激活函数的一阶导数在BP神经网络训练算法中，要用到激活函数的一阶导数。Sigmoid函数的导数：双曲正切tanh函数的导数：)(1)(11111)(xfxfeexfxx)(11)(22xfeeeexfxxxx由此可以看出，由于激活函数的特点，用神经网络计算时，需对输入和输出的值进行调整。激活函数是采用Sigmoid函数时，输入和输出的值应在{0,1}之间；激活函数是双曲正切tanh函数时，输入和输出的值范围则在{－1,1}之间。101.2BP网络的模型结构BP网络是一种在输入层和输出层之间具有一层或多层隐层的网络模型，而其典型的结构为有一隐层、包含输入层和输出层的三层网络模型。典型BP网络的结构示意图如下：网络的输入模式向量为P，有r个输入神经元，对应输入模式向量的每个元素。隐层内有s1个神经元，对应隐层输出是a1。网络的输出为a2，有s2个神经元，而目标输出为T。三层BP神经网络不同层神经元之间实现权重连接，而每层内各个神经元之间不连接。11BP网络的四个计算过程输入模式由输入层经隐含层向输出层的“模式正向传播”过程；（神经元的激活值从输入层经隐含层向输出层传播，在输出层各神经元获得网络响应。）网络实际输出与希望输出的误差信号由输出层经隐含层向输入层逐层修正连接权和阂值的“误差反向传播”过程；由“模式正向传播”过程与“误差反向传播”过程的反复交替进行的网络学习训练过程；网络全局误差趋向极小的学习收敛过程。（网络对输入模式响应的正确率也不断增加。）12BP网络的计算过程的简单描述（1）rijbijijbwpwfa1)11(111,,2,1sj11)212(22sjkbjkjkbwawfa2,,2,1sk模式正向传播过程隐含层中第j个神经元的输出为：输出层中第k个神经元的输出为：误差反向传播过程定义误差函数为：212)2(21skkkatE神经网络学习的过程就是通过调整权值，使误差E最小，此时可利用最速下降法求权值及误差的反向传播。13BP网络的计算过程的简单描述（2）隐含层中第j个神经元的输出的权值变化为：jkkkjkkkjkjafatwaaEwEw12)2(222222)2(222fatwaaEwEwkkkbkkkbkb对第i个输入到隐含层中第j个神经元输出的权值变化为：ikjskkkjijjkkjijipfwfatwaaaaEwEw122)2(111221121122)2(112221fwfatwaaaaEwEwkjskkkjbjjkkjbjb修正后的新权重调整为：pnpnp1η称为学习系数，值在{0,1}之间。14加快BP网络训练速度的方法BP网络得到了广泛的应用，但也存在自身的不足与限制，主要表现在网络训练需较长时间和网络有可能达到局部最小。据此，BP网络有各种改进方法，以加快训练速度，避免陷入局部极小。主要的改进方法有：增加动量项，以平滑权的变化，一种常用形式是：)(11npnppnpnpα为动量因子，值在{0,1}之间，n为迭代次数。采用二阶学习算法。前面的基于函数梯度的算法属于一阶算法，缺点就是在极值点附近收敛速度慢。采用二阶算法，如牛顿法、共轭梯度法等，将有较快的收敛速度。模拟退火法。151.4BP神经网络计算（1）网络的层数：在运用BP神经网络时，最多采用的是具有一层或两层隐层的网络。具有偏差和至少一个S型隐层的网络，可以近似任何函数，这已成为设计BP神经网络的原则。网络计算精度的提高，可以通过采用一个隐层，而增加隐层神经元数的方法来获得，这也就是通常用一隐层、包含输入层和输出层的三层BP网络模型的原因。神经元数：输入和输出的神经元数可以根据需要求解的问题和数据所表示的方式来确定。问题确定后，输入层与输出层的神经元数也就随之定了。隐层神经元数的选择有较广的范围：当隐层神经元数较少时，误差下降到一定程度后会变化很小；当隐层神经元数过多时，不仅网络训练时间长，还会出现过拟合问题，降低神经网络的预测功能。通常隐层神经元数的选择原则是：在能解决问题的前提下，再加上1到2个神经元以加快误差的下降速度即可。16BP神经网络计算（2）初始权值的选取权重初始值的选取，对网络训练学习是否达到局部最小，是否能够收敛以及训练时间的长短有很大的关系。如果初始权值太大，使得加和后的值落在激活函数的饱和区，从而导致激活函数的导数非常小，在计算权值修正时，调整值接近零，网络的学习训练几乎处在停止状态。所以一般总是希望经过初始权值计算后每个神经元的输出值都接近零，这样可以保证每个神经元的权值都能在激活函数变化最大之处进行调节。一般来说，初始权值取{-1,1}之间的随机数是较好的选择。17BP神经网络计算（3）学习速率学习速率决定每一次循环训练中所产生的权值变化量。大的学习速率可能导致系统的不稳定；但小的学习速率导致较长的训练时间，可能收敛很慢，不过能保证网络的误差值不跳出误差表面的低谷而最终趋于最小误差值。所以在一般情况下，倾向于选取较小的学习速率以保证系统的稳定性。学习速率的选取范围在0.01~0.8之间。在一个神经网络的计算过程中，使网络经过几个不同的学习速率的训练，通过观察每一次训练后的误差平方和的下降速率来判断所选定的学习速率是否合适。如果误差平方和下降很快，则说明学习速率合适若误差平方和出现振荡现象，则说明学习速率过大。对于每一个具体网络都存在一个合适的学习速率。但对于较复杂网络，在误差曲面的不同部位可能需要不同的学习速率。为了减少寻找学习速率的训练次数以及训练时间，比较合适的方法是采用变化的学习速率，使网络的训练在不同的阶段自动设置不同学习速率的大小。18BP神经网络计算程序BATCHNET简介BATCHNET是一个BP神经网络计算的DOS程序，程序由batchnet.exe和weights.exe两个可执行文件构成。batchnet为网络训练和预测程序，激活函数为Sigmoid函数，输入输出样本值范围为{0,1}。weights程序产生初始权值。批处理程序demo.batbatchnet-e10–d1.0e-5demo.run说明：-e10—表示网络每迭代10步后显示误差；–d1.0e-5—表示网络训练误差；demo.run—求解问题的网络参数文件，由batchnet调用，文件名可改，但扩展名run不能变。19BP神经网络计算程序BATCHNET简介网络参数文件demo.run的格式4train.outtrain.errtrain.patweights.wtstrain.wts10010009420.150.075test.outtest.errtest.pattrain.wtstest.wts16619420.150.075train.outtrain.errtrain.pattrain.wtstrain.wts10010009420.150.075test.outtest.errtest.pattrain.wtstest.wts16619420.150.075NumfOutfErrfPatfWtsfWtsonPatsnIternInpnHidnOutetaalphaNum—运行次数，本例为4；fOut—网络计算结果输出文件，输出；fErr—网络计算误差文件，输出；fPat—训练学习样本文件，输入；fWts—问题的初始权值文件，输入，由程序weights产生；fWtso—训练后的权值文件，输出；nPats—训练样本数，本例为100；nIter—训练迭代次数，本例为1000；nInp—输入层神