第34章_BP神经网络模型

BP神经网络模型第1节基本原理简介近年来全球性的神经网络研究热潮的再度兴起，不仅仅是因为神经科学本身取得了巨大的进展．更主要的原因在于发展新型计算机和人工智能新途径的迫切需要．迄今为止在需要人工智能解决的许多问题中，人脑远比计算机聪明的多，要开创具有智能的新一代计算机，就必须了解人脑，研究人脑神经网络系统信息处理的机制．另一方面，基于神经科学研究成果基础上发展出来的人工神经网络模型，反映了人脑功能的若干基本特性，开拓了神经网络用于计算机的新途径．它对传统的计算机结构和人工智能是一个有力的挑战，引起了各方面专家的极大关注．目前，已发展了几十种神经网络，例如Hopficld模型，Feldmann等的连接型网络模型，Hinton等的玻尔茨曼机模型，以及Rumelhart等的多层感知机模型和Kohonen的自组织网络模型等等。在这众多神经网络模型中，应用最广泛的是多层感知机神经网络。多层感知机神经网络的研究始于50年代，但一直进展不大。直到1985年，Rumelhart等人提出了误差反向传递学习算法（即BP算），实现了Minsky的多层网络设想，如图34-1所示。BP算法不仅有输入层节点、输出层节点，还可有1个或多个隐含层节点。对于输入信号，要先向前传播到隐含层节点，经作用函数后，再把隐节点的输出信号传播到输出节点，最后给出输出结果。节点的作用的激励函数通常选取S型函数，如Qxexf/11)(式中Q为调整激励函数形式的Sigmoid参数。该算法的学习过程由正向传播和反向传播组成。在正向传播过程中，输入信息从输入层经隐含层逐层处理，并传向输出层。每一层神经元的状态只影响下一层神经元的状态。如果输出层得不到期望的输出，则转入反向传播，将误差信号沿原来的连接通道返回，通过修改各层神经元的权值，使得误差信号最小。社含有n个节点的任意网络，各节点之特性为Sigmoid型。为简便起见，指定网络只有一个输出y,任一节点i的输出为Oi,并设有N个样本(xk,yk)(k=1,2,3,…,N),对某一输入xk，网络输出为yk节点i的输出为Oik,节点j的输入为netjk=iikijOW并将误差函数定义为NkkkyyE12)(21输入层中间层输出层图34-1BP神经网络模型其中ky为网络实际输出，定义Ek=(yk-ŷk)2,jkkjkEnet,且Ojk=f(netjk),于是ikjkkijjkjkkijkOEWEWEnetnetnet=δjkOik当j为输出节点时，Ojk=ŷk)net()(netjkkkjkkkkjkfyyyyE(34.1)若j不是输出节点，则有mimmjmkmjmkkmiikmijkmkkmjkmkmkkjkkjkjkkjkjkjkkjkkjkWWEOWOEOEOEfOEOOEEnetnetnetnet)net(netnet因此ikmkijkmmjmkjkjkOWEWf)net((34.2)如果有M层，而第M层仅含输出节点，第一层为输入节点，则BP算法为：第一步，选取初始权值W。第二步，重复下述过程直至收敛：a.a.对于k=1到Na).计算Oik,netjk和ŷk的值(正向过程)；b).对各层从M到2反向计算(反向过程)；b.b.对同一节点j∈M,由式(34.1)和(34.2)计算δjk;第三步，修正权值，Wij=Wij-μijWE,μ0,其中NkijkijWEWE。从上述BP算法可以看出，BP模型把一组样本的I/O问题变为一个非线性优化问题，它使用的是优化中最普通的梯度下降法。如果把神经网络的看成输入到输出的映射，则这个映射是一个高度非线性映射。设计一个神经网络专家系统重点在于模型的构成和学习算法的选择。一般来说，结构是根据所研究领域及要解决的问题确定的。通过对所研究问题的大量历史资料数据的分析及目前的神经网络理论发展水平，建立合适的模型，并针对所选的模型采用相应的学习算法，在网络学习过程中，不断地调整网络参数，直到输出结果满足要求。第2节DPS数据处理系统操作步骤在DPS数据处理系统中，数据的输入格式是一行为一个样本，一列为一个变量，输入节点(变量)放在数据块左边，输出节点(因变量)放在数据块右边，输完一个样本后再输下一个样本。对于待识别(预测)的样本，不需要输入输出变量(因变量)。数据输入完毕后，定义数据块。如有待识别(预测)的样本，可在按下Ctrl键时再按下并拖动鼠标，将待预测的样本定义成第二个数据块。在进行神经网络学习之前，系统出现如图34-2所示界面，这时需要你提供若干参数，各个参数取值的基本原则是：图34-2神经网络参数设置对话框网络参数确定原则：①、网络节点网络输入层神经元节点数就是系统的特征因子(自变量)个数，输出层神经元节点数就是系统目标个数。隐层节点选按经验选取，一般设为输入层节点数的75%。如果输入层有7个节点，输出层1个节点，那么隐含层可暂设为5个节点，即构成一个7-5-1BP神经网络模型。在系统训练时，实际还要对不同的隐层节点数4、5、6个分别进行比较，最后确定出最合理的网络结构。②、初始权值的确定初始权值是不应完全相等的一组值。已经证明，即便确定存在一组互不相等的使系统误差更小的权值，如果所设Wji的的初始值彼此相等，它们将在学习过程中始终保持相等。故而，在程序中，我们设计了一个随机发生器程序，产生一组一0.5~+0.5的随机数，作为网络的初始权值。③、最小训练速率在经典的BP算法中，训练速率是由经验确定，训练速率越大，权重变化越大，收敛越快；但训练速率过大，会引起系统的振荡，因此，训练速率在不导致振荡前提下，越大越好。因此，在DPS中，训练速率会自动调整，并尽可能取大一些的值，但用户可规定一个最小训练速率。该值一般取0.9。④、动态参数动态系数的选择也是经验性的，一般取0.6~0.8。⑤、允许误差一般取0.001~0.00001，当2次迭代结果的误差小于该值时，系统结束迭代计算，给出结果。⑥、迭代次数一般取1000次。由于神经网络计算并不能保证在各种参数配置下迭代结果收敛，当迭代结果不收敛时，允许最大的迭代次数。⑦、Sigmoid参数该参数调整神经元激励函数形式，一般取0.9~1.0之间。⑧、数据转换。在DPS系统中，允许对输入层各个节点的数据进行转换，提供转换的方法有取对数、平方根转换和数据标准化转换。第3节应用实例原始数据整理：本例令影响棉铃虫发生程度的因素指标集序列由麦田1代幼虫量、6月降水天数、5月积温、6月积温、5月相对湿度、5月降水天数和6月相对湿度等7个生态和生物因子构成，2代发生程度按照全国植保站颁发的标准分级，并规定发生程度重、偏重、中、偏轻和轻分别赋值为0.9、0.7、0.5、0.3和0.1。在建立BP神经网络模型时，取1982~1991年的数据作为学习、训练样本，1992和1993年为试报样本。在数据分析前将数据定义成数据块(图34-3).图34-3BP神经网络数据编辑定义示意图进入BP神经网络训练时,系统会显示如图34-3所示界面。这时我们可按网络的结构确定网络的参数，这里输入层节点数为7，隐含层1层，最小训练速率取0.1，动态参数0.7，Sigmoid参数为0.9,允许误差0.00001，最大迭代次数1000。并对输入节点的数值进行标准化转换。点击“确定”按钮后，设置隐层的神经元个数(这里取5)，运行1000次后，样本误差等于0.0001427。输出各个神经元(节点)的权值如下：第1隐含层各个结点的权重矩阵1.6327102.4498203.0897100.2127105.3923701.6274202.6001101.9875505.2404103.1461801.7438302.0563005.2384800.5505900.3804701.6308303.1634002.5134803.6583000.9650401.6292901.0916000.6772300.7448802.0914901.5456001.6525400.8966701.1618102.2703201.6110404.5644601.9452300.7099802.607020输出层各个结点的权重矩阵-1.488610-4.286470-5.2012205.4920004.719190学习样本的拟合值和实际观察值,以及根据BP神经网络对1992、1993年2代棉铃虫发生程度进行预测的结果与实际值的比较列于表34-1。结果表明，应用BP神经网络进行二代棉铃虫发生程度预测,不仅历史资料的拟合率高,而且2年的试报结果与实际完全符合。表34-1神经元网络训练结果及试报结果年份198219831984198519861987训练输出值0.69970.89520.50040.30000.89000.1014实际值0.70000.90000.50000.30000.90000.1000年份198819891990199119921993训练输出值0.88620.50110.70260.87330.8955*0.8985*实际值0.90000.50000.70000.90000.90000.9000*1992~1993年为试报结果