神经网络第五章BP网络

2006-12-6北京科技大学自动化系付冬梅1第五章BP网络北京科技大学信息工程学院付冬梅[e-mail]623349672006-12-6北京科技大学自动化系付冬梅2本章的基本内容•BP网络结构与模型•BP网络的学习算法•BP神经网络的重要函数和基本功能•一个简单的例子•BP网络的几个问题•改进的BP网络的学习算法•BP网络的应用示例2006-12-6北京科技大学自动化系付冬梅3Rumelhart，McClelland于1985年提出了BP网络的误差反向后传BP(BackPropagation)学习算法BP算法基本原理利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。J.McClellandDavidRumelhart概述2006-12-6北京科技大学自动化系付冬梅4BP网络是一种前向映射网络。网络的结构见下一页的图形。其中：u是网络的输入向量，y是网络的输出向量。神经元用节点表示，网络由输入层、隐层和输出层节点组成，隐层可一层，也可多层(图中是单隐层)。前层节点至后层节点通过权联接。由于这种网络常常用BP学习算法后的网络权值，所以常称BP人工神经网络。5-1网络结构和模型2006-12-6北京科技大学自动化系付冬梅55-1网络结构和模型uy2006-12-6北京科技大学自动化系付冬梅6uy5-1网络结构与模型2006-12-6北京科技大学自动化系付冬梅7njuuu1yxnw1w)(xf5-1网络结构和模型BP网络的神经元模型是改进了感知器神经元模型得到的。输入层：隐层：输出层：fxex()=+-11fxeexx()=-+--11fxeexx()=-+--11fxex()=+-11()fxkx=1,()ijwfxx=2006-12-6北京科技大学自动化系付冬梅85-2BP网络的学习算法多层前馈网络的反向传播（BP）学习算法，简称BP学习算法，这是一种有导师的学习算法，是梯度下降法在多层前馈网中的应用。BP学习算法可以看成是线性自适应神经元学习算法的进一步推广。BP学习算法=前向计算过程+误差反向传播过程前向计算过程：也是网络应用时的实现过程。误差反向传播过程：是BP网络权值的学习和训练过程。5-2-1BP学习算法概述2006-12-6北京科技大学自动化系付冬梅9学习的类型：有导师学习核心思想：将输出误差以某种形式通过隐层向输入层逐层反传学习的过程：信号的正向传播误差的反向传播将误差分摊给各层的所有单元－－－各层单元的误差信号修正各单元权值5-2BP网络的学习算法5-2-1BP学习算法概述2006-12-6北京科技大学自动化系付冬梅10正向传播：输入样本－－－输入层－－－各隐层－－－输出层判断是否转入反向传播阶段：若输出层的实际输出与期望的输出（教师信号）不符误差反传误差以某种形式在各层表示－－－－修正各层单元的权值网络输出的误差减少到可接受的程度或者进行到预先设定的学习次数为止5-2BP网络的学习算法5-2-1BP学习算法概述2006-12-6北京科技大学自动化系付冬梅11网络结构输入层有n个神经元，隐含层有p个神经元，输出层有q个神经元。变量定义输入向量;隐含层输入向量；隐含层输出向量;输出层输入向量;输出层输出向量;期望输出向量;12,,,nxxx=Lx12,,,phihihi=hi12,,,phohoho=ho12,,,qyiyiyi=yi12,,,qyoyoyo=yo12,,,qddd=odL5-2BP网络的学习算法5-2-2BP学习算法的描述2006-12-6北京科技大学自动化系付冬梅12输入层与中间层的连接权值:隐含层与输出层的连接权值:隐含层各神经元的阈值:输出层各神经元的阈值:样本数据个数:激活函数:误差函数：ihwf()howhb1,2,km=ob211(()())2qoooedkyok==-5-2BP网络的学习算法5-2-2BP学习算法的描述2006-12-6北京科技大学自动化系付冬梅13第一步，网络初始化给各连接权值分别赋一个区间（-1，1）内的随机数，设定误差函数e，给定计算精度值和最大学习次数M。第二步,随机选取第个输入样本及对应期望输出k12()(),(),,()nkxkxkxk=x12()(),(),,()qkdkdkdk=od5-2BP网络的学习算法5-2-2BP学习算法的描述2006-12-6北京科技大学自动化系付冬梅14第三步，计算隐含层各神经元的输入和输出1()()1,2,,nhihihihikwxkbhp==-=()f(())1,2,,hhhokhikhp==1()()1,2,pohohohyikwhokboq==-=()f(())1,2,ooyokyikoq==5-2BP网络的学习算法5-2-2BP学习算法的描述2006-12-6北京科技大学自动化系付冬梅15第四步，利用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏导数。ohoohoyieewyiw=(())()()phohoohhhohowhokbyikhokww-==211((()()))2(()())()(()())f(())()qoooooooooooodkyokedkyokyokyiyidkyokyikk=-==--=---()ok5-2BP网络的学习算法5-2-2BP学习算法的描述2006-12-6北京科技大学自动化系付冬梅16第五步，利用隐含层到输出层的连接权值、输出层的和隐含层的输出计算误差函数对隐含层各神经元的偏导数。()()oohhoohoyieekhokwyiw==-1()()(())()()hihhihnihihhiiihihhikeewhikwwxkbhikxkww==-==()hk()ok5-2BP网络的学习算法5-2-2BP学习算法的描述2006-12-6北京科技大学自动化系付冬梅1721212111((()()))()2()()()1((()f(())))()2()()1(((()f(())))()2()()qooohhhhqooohhhqpohohoohhhhdkyokhokehikhokhikdkyikhokhokhikdkwhokbhokhokhik====-=-=--=11()(()())f(())()(())f(())()qhooohoohqohohhohokdkyokyikwhikkwhikk===--=--5-2BP网络的学习算法5-2-2BP学习算法的描述2006-12-6北京科技大学自动化系付冬梅18第六步，利用输出层各神经元的和隐含层各神经元的输出来修正连接权值。第七步，利用隐含层各神经元的和输入层各神经元的输入修正连接权。1()()()()()hoohhoNNhohoohewkkhok+=-==+()ok()howk()hk1()()()()()()()hihhiihhihNNihihhihikeewkkxkwhik+=-=-==+5-2BP网络的学习算法5-2-2BP学习算法的描述2006-12-6北京科技大学自动化系付冬梅19第八步，计算全局误差第九步，判断网络误差是否满足要求。当误差达到预设精度或学习次数大于设定的最大次数，则结束算法。否则，选取下一个学习样本及对应的期望输出，返回到第三步，进入下一轮学习。2111(()())2qmookoEdkykm===-5-2BP网络的学习算法5-2-2BP学习算法的描述2006-12-6北京科技大学自动化系付冬梅20情况一的直观表达当误差对权值的偏导数大于零时，权值调整量为负，实际输出大于期望输出，权值向减少方向调整，使得实际输出与期望输出的差减少。whohoewe0，此时Δwho05-2BP网络的学习算法5-2-3BP学习算法的直观解释2006-12-6北京科技大学自动化系付冬梅21情况二的直观表达当误差对权值的偏导数小于零时，权值调整量为正，实际输出少于期望输出，权值向增大方向调整，使得实际输出与期望输出的差减少。hoewe0,此时Δwho0who5-2BP网络的学习算法5-2-3BP学习算法的直观解释2006-12-6北京科技大学自动化系付冬梅22BP算法手控演示2006-12-6北京科技大学自动化系付冬梅23函数名功能newff()生成一个前馈BP网络tansig()双曲正切S型(Tan-Sigmoid)传输函数logsig()对数S型(Log-Sigmoid)传输函数traingd()梯度下降BP训练函数5-3-1BP神经网络的重要函数5-3BP神经网络的重要函数和基本功能2006-12-6北京科技大学自动化系付冬梅24newff()功能建立一个前向BP网络格式net=newff(PR，[S1S2...SN1]，{TF1TF2...TFN1}，BTF，BLF，PF)说明net为创建的新BP神经网络；PR为网络输入取向量取值范围的矩阵；[S1S2…SNl]表示网络隐含层和输出层神经元的个数；{TFlTF2…TFN1}表示网络隐含层和输出层的传输函数，默认为‘tansig’；BTF表示网络的训练函数，默认为‘trainlm’；BLF表示网络的权值学习函数，默认为‘learngdm’；PF表示性能数，默认为‘mse’。5-3BP神经网络的重要函数和基本功能5-3-2BP神经网络中函数的基本功能2006-12-6北京科技大学自动化系付冬梅25tansig()功能正切sigmoid激活函数格式a=tansig(n)说明双曲正切Sigmoid函数把神经元的输入范围从(-∞，+∞)映射到(-1，1)。它是可导函数，适用于BP训练的神经元。logsig()功能对数Sigmoid激活函数格式a=logsig(N)说明对数Sigmoid函数把神经元的输入范围从(-∞，+∞)映射到(0，1)。它是可导函数，适用于BP训练的神经元。5-3BP神经网络的重要函数和基本功能5-3-2BP神经网络中函数的基本功能2006-12-6北京科技大学自动化系付冬梅26下表为某药品的销售情况，现构建一个如下的三层BP神经网络对药品的销售进行预测：输入层有三个结点，隐含层结点数为5，隐含层的激活函数为tansig；输出层结点数为1个，输出层的激活函数为logsig，并利用此网络对药品的销售量进行预测，预测方法采用滚动预测方式，即用前三个月的销售量来预测第四个月的销售量，如用1、2、3月的销售量为输入预测第4个月的销售量，用2、3、4月的销售量为输入预测第5个月的销售量.如此反复直至满足预测精度要求为止。月份123456销量205623952600229816341600月份789101112销量1873147819001500204615565-4一个简单的例子2006-12-6北京科技大学自动化系付冬梅27%以每三个月的销售量经归一化处理后作为输入P=[0.51520.81731.0000;0.81731.00000.7308;1.00000.73080.1390;0.73080.13900.1087;0.13900.10870.3520;0.10870.35200.0000;]';%以第四个月的销售量归一化处理后作为目标向量T=[0.73080.13900.10870.35200.00000.3761];%创建一个BP神经网络，每个输入向量的取值范围为[0,1]，5个隐层神经元，一个输出层神经元，隐层的激活函数tansig，输出层激活函数logsig，训练函数为梯度下降函数。net=newff([01;01;01],[5,1],{'tansig','