第4讲神经网络融合

信息融合技术基于神经网络的数据融合方法及应用本节内容人工神经网络技术基础1典型的神经网络类型介绍2基于神经网络的传感器检测数据融合3人工神经网络技术基础什么是神经网络技术？神经网络是由数个至数十亿个被称为神经元的细胞（组成我们大脑的微小细胞）所组成，它们以不同方式连接而型成网络。人工神经网络就是尝试模拟这种生物学上的体系结构及其操作用于信息处理技术。人工神经网络是利用多个简单计算模型有机构成一个计算网络用以实现一个复杂的规则。人工神经网络技术基础神经网络技术的主要用途？利用一定数据在一定误差下逼近一个解析式未知的函数。利用人工神经网络实现空间的线性或非线性划分，以此实现目标分类。神经网络的实现是基于数据的，最终的规则对用户是透明的。人工神经网络技术基础人工神经网络技术基础由上图可得：NkkkbWXFY1人工神经网络技术基础阶跃函数0001xxxf对称型阶跃函数01-01xxxf人工神经网络技术基础阶跃函数xexf11对称型阶跃函数xxeexf11人工神经网络技术基础人工神经网络技术基础人工神经网络技术基础人工神经网络技术基础决定神经网络性能的几个因素：神经网络的网络结构：包括神经网络的层数、每层神经元数量；每层神经元的作用函数；神经网络训练的目标函数和学习算法；神经网络权值和阈值的初始值；神经网络的训练数据。人工神经网络技术基础神经网络的应用步骤：神经网络的设计，包括确定网络结构、作用函数和学习算法；神经网络初始化；利用实验方法获得神经网络的训练数据和测试数据；利用实验数据对网络进行训练和测试；利用训练后的网络处理相关的输入信息。典型的神经网络类型介绍感知器神经网络特点：网络结构上可以为单层或多层的前向网络结构；作用函数为阶跃函数，因此输出为二值变量；利用输入和误差简单计算权值和阈值调整量，学习算法很简单；一般用于解决较为简单的线性分类问题。典型的神经网络类型介绍典型的神经网络类型介绍典型的神经网络类型介绍感知器神经网络的学习算法：权值调整：权值增量：阈值调整：阈值增量：在Matlab中训练网络：[net,y,e]=adapt(net,p,t)在Matlab中仿真网络：A=sim(net,p)1TTeppatWbbbii1eatb1典型的神经网络类型介绍感知器神经网络的局限性：网络结构很简单，用于解决线性问题；作用函数为阶跃函数，主要用于解决分类问题；典型的神经网络类型介绍线性神经网络特点：网络结构上可以为单层或多层的前向网络结构；作用函数为线性函数，因此输出为连续变化的任意值；利用基于最速梯度和最小二乘原理的学习算法，具有较好的学习性能；一般用于解决较为简单的线性逼近问题。典型的神经网络类型介绍典型的神经网络类型介绍典型的神经网络类型介绍线性神经网络的学习算法：权值调整：权值增量：阈值调整：阈值增量：在Matlab中训练网络：[net,tr]=train(net,p,t)在Matlab中仿真网络：A=sim(net,p)iWiWiW1ipieiWTibibib1ieib典型的神经网络类型介绍线性神经网络的局限性：采用线性作用函数，只能反映线性映射关系；训练不一定能达到零误差；网络的训练和性能受学习速率的影响。典型的神经网络类型介绍误差反向传播（BP）神经网络的网络结构：典型的神经网络类型介绍BP神经网络的作用函数：常采用可微的单调递增函数输出层可采用线性函数典型的神经网络类型介绍BP神经网络的学习算法：网络学习中的正向传播和反向传播正向计算用于网络输出计算。jkikjpkijkkipkkipnbynWfnetfy1U123456典型的神经网络类型介绍BP神经网络的反向误差传播算法：确定网络学习的目标函数：目标函数是网络学习和调整的准则，一般为反映误差大小等网络性能的函数。如取误差的L2范数作为目标函数，以Ep表示第p组样本训练第n步时的目标函数。mmpmkmpmpkpppnenydnyTnE2222212121其中：ympk(n)为在第p组样本输入时网络经n次权值调整后第k层第m个神经元的输出。典型的神经网络类型介绍BP神经网络的反向误差传播算法：网络学习的目标即通过对个神经元权值和阈值的调整使网络目标函数达到最优。对表示误差大小的目标函数可以应用梯度下降法对网络进行调整使目标函数达到最小。梯度下降法：设▽J(ak)是J(a)在ak点的梯度，则▽J(ak)的负方向为函数J(a)减小最快的方向，沿该方向调整ak寻找J(a)最小值的方法称为梯度下降法。典型的神经网络类型介绍其中η为调整步长。用sk表示在ak点目标函数的负梯度方向，即：kkaJsSk的单位向量为：kkkaJaJsˆ按梯度下降法应沿该方向调整ak，用表示调整后的变量，即：kkkkkkaJaJasaaˆ1典型的神经网络类型介绍也可写为：将梯度定义代入得:按照上述方法，可得神经网络中权值和阈值的调整公式：kkkkaJaa1kkkkkaaJaa1nWnEnWnWnWnWkijpkkijkijkijkij1nnEnnnnkipkkikikiki1典型的神经网络类型介绍网络初始化输入训练样本计算隐层和输出层输出计算输出层误差误差满足完成所有训练样本计算总体误差总体误差满足达到最大迭代次数结束结束调整权值、阈值是否是否是否是否输入下一个样本典型的神经网络类型介绍网络初始化输入训练样本计算隐层和输出层输出计算输出层误差误差满足完成所有训练样本计算总体误差总体误差满足达到最大迭代次数结束结束调整权值、阈值是否是否是否是否输入下一个样本典型的神经网络类型介绍网络初始化输入训练样本计算隐层和输出层输出计算输出层误差误差满足完成所有训练样本计算总体误差总体误差满足达到最大迭代次数结束结束调整权值、阈值是否是否是否是否输入下一个样本典型的神经网络类型介绍在Matlab中仿真神经网络。对象命令方式：•生成网络：net=newff(PR，[S1S2…Sn]，{TF1TF2…TFn}，BTF)；如：net=newff([0,10;-1,2]，[51]，{‘tansig’,’purelin’}，’trainlm’)；•网络训练：[net,tr]=train(net,P,T)•网络仿真：Output=sim(net,p)典型的神经网络类型介绍在Matlab中仿真神经网络。基于GUI（GraphicalUserInterfaces）方式：利用nntool命令进入。典型的神经网络类型介绍典型的神经网络类型介绍创建新网络典型的神经网络类型介绍创建新网络典型的神经网络类型介绍网络初始化典型的神经网络类型介绍建立数据典型的神经网络类型介绍建立数据典型的神经网络类型介绍训练网络典型的神经网络类型介绍训练网络典型的神经网络类型介绍训练网络典型的神经网络类型介绍网络仿真典型的神经网络类型介绍在Matlab中仿真神经网络。基于Simulink方式：neural命令基于神经网络的传感器检测数据融合举例：由于红外光在介质中的传播速度受到温度等环境因素影响，为获得较准确的测量结果需要对红外测距系统的测量数据进行处理。为确定某一红外测距传感器系统的数据处理算法，利用该测距系统进行如下实验：在不同温度下将目标放置不同的距离分别进行测距，每一温度下对同一目标连续测量5次，测量的实验数据见附表所示。请利用BP神经网络完成该系统的数据处理。基于神经网络的传感器检测数据融合注：为说明问题上述数据扩大了温度对结果的影响。理论值750环境温度2045测量值756.575770.997765.326762.908762.734778.058768.418767.072753.322754.777理论值850环境温度2045测量值869.189837.808846.641850.121871.750886.931896.766855.983844.269878.671理论值950环境温度2045测量值975.678936.677953.530936.952972.731969.696966.840967.399991.950960.165基于神经网络的传感器检测数据融合网络结构设计：由于输入向量有2个元素、输出向量有1个元素，所以网络输入层的神经元有2个，输出层神经元数目为1。神经网络是误差后身传播神经网络，其隐含层结构的层数与各层的节点数直接影响网络性能的优劣。若隐层数较多，网络所表达的映射就越复杂，不仅增大计算量，而且易导致数据失真；若各隐含层的节点数较多，会使其学习时间过长，误差也不一定最小，若节点数较少，会导致网络容错性较差，局部极小就多。因此，隐含层是网络结构设计的重要问题。基于神经网络的传感器检测数据融合网络结构设计：隐含层数设计：隐含层的层数应大于1层，可由下式试算：其中，N为隐层层数；J为输出层神经元个数；I为输入层神经元个数；K为标准样本个数。本例取1层隐层。隐含层神经元个数设计：隐含层节点个数设计相对于隐含层数的设计比较复杂，一般有基于最小二乘设计法、基于黄金分割设计法等。本例取：M=2n+1，其中n为输入层神经元的个数。211IKJceilN基于神经网络的传感器检测数据融合网络结构设计：作用函数设计：隐层作用函数取正切S型传递函数tansig函数，即：输出层作用函数取对数S型传递函数logsig函数，即：xeexfxx,1122xexfx,11基于神经网络的传感器检测数据融合网络结构设计：学习算法设计：traingdm是带动量的梯度下降法、trainlm是指L-M优化算法、trainscg是指量化共轭梯度法等，本例选择trainlm学习算法。输入/输出向量设计：根据已知条件，可将目标距离的理论值作为对测量温度和测量值的一个映射（二元函数）。由此，可以确定网络的输入为2维向量，且该网络为单输出神经网络。基于神经网络的传感器检测数据融合网络结构设计：训练样本和测试样本设计：题给数据共30组，可在同类（共六类）数据组中各挑选一个样本，从而得到六个测试样本，构成测试样本集。剩余24组数据可作为训练样本集。基于神经网络的传感器检测数据融合基于神经网络的传感器检测数据融合TIWnet1.3919-6.1602-2.0847-5.8201-0.064564-6.731611.1545-35.951940.11880.43261-1,1.Tbnet7.7457.0659-3.8506-36.3567-13.67661.0.75872-12.910513.610112.967510.81151,2.LWnet2.21522.bnet输入层到隐含层的连接权值：隐含层的神经元阈值：隐含层到输出层的连接权值：输出层的神经元阈值：基于神经网络的传感器检测数据融合测试样本样本1样本2样本3样本4样本5样本6测量温度204520452045测量距离770.9971767.0724846.6408855.9834975.6780960.1649实际距离750750850850950950预测距离750.0001750.0000850.0000850.0000950.0000949.9994误差-0.00010.00000.00000.00000.00000.0006