智能传感器系统-刘君华第9章

第9章人工神经网络在智能传感器中的应用第9章人工神经网络在智能传感器中的应用9.1神经网络基本知识9.2前向网络9.3反馈网络9.4神经网络在智能传感器中的应用第9章人工神经网络在智能传感器中的应用9.1神经网络基本知识9.1.1人工神经网络模型图9-1基本神经元模型第9章人工神经网络在智能传感器中的应用神经元的输出可描述为injjjiiiiQxWAAfy1)(式中：f(Ai)表示神经元输入—输出关系的函数，称为作用函数或传递函数，常用的作用函数有如图9-2所示的三种：阈值型、S型和分段线性型(伪线性型)。这样，就有三类神经元模型。第9章人工神经网络在智能传感器中的应用图9-2(a)阈值型；(b)S型；(c)伪线性型第9章人工神经网络在智能传感器中的应用一、阈值型神经元阈值型神经元是一种最简单的神经元，Mc.Culloch和数学家Pitls共同提出，因此，通常称为M-P模型。M-P模型神经元是二值型神经元，其输出状态取值为1或0，分别代表神经元的兴奋状态和抑制状态。其数学表达式为0001)(iiiiAAAfy对于M-P模型神经元，权值Wji可在(-1,1)区间连续取值。取负值表示抑制两神经元间的连接强度，取正值表示加强。第9章人工神经网络在智能传感器中的应用二、S型神经元模型这是常用的一种连续型神经元模型，输出值是在某一范围内连续取值的。输入—输出特性多采用指数函数表示，用数学公式表示如下：iAiieAfy11)(S型作用函数反映了神经元的非线性输入—输出特性。第9章人工神经网络在智能传感器中的应用三、神经元的输入—输出特性满足一定的区间线性关系，其输出可表示为iCiiiiAAACAAy1000式中,C、AC表示常量。第9章人工神经网络在智能传感器中的应用9.1.2神经网络结构一、分层网络图9-3分层网络功能层次第9章人工神经网络在智能传感器中的应用二、相互连接型结构图9-4相互连接型网络第9章人工神经网络在智能传感器中的应用9.1.3学习与记忆一、神经网络的学习Hebb学习规则可以描述为：如果神经网络中某一神经元与另一直接与其相连的神经元同时处于兴奋状态，那么这两个神经元间的连接强度应该加强。Wji(t+1)=Wji(t)+η［xi(t),xj(t)］式中：Wji(t+1)——η——常量，决定每次权值修正量，xi(t)、xj(t)——t时刻第i个、第j个神经元的状态。第9章人工神经网络在智能传感器中的应用误差修正算法是神经网络学习中另一个更重要的方法。像感知机、BP网络学习均属此类。最基本的误差修正学习方法，即通常说的δ学习规则，(1)任选一组初始权值Wji(0)。(2)计算某一输入模式对应的实际输出与期望输出的误差。(3)更新权值Wji(t+1)=Wji(t)+η［dj-yj(t)］xi(t)式中：η——dj、yj——第jxj——第j个神经元的输入。(4)返回步骤(2)，直到对所有训练模式、网络输出均满足误第9章人工神经网络在智能传感器中的应用二、神经网络记忆包含两层含义：信息的存储与回忆。网络通过学习将所获取的知识信息分布式存储在连接权的变化上，并具有相对稳定性。一般来讲，存储记忆需花较长时间，因此这种记忆称为长期记忆，而学习期间的记忆保持时间很短，称为短期记忆。9.1.4神经网络可以完成大量的信息处理任务，正因为这样，其应用涉及相当广泛的领域。归纳起来，神经网络的信息处理任务主要包括：第9章人工神经网络在智能传感器中的应用一、通过一组映射样本(x1,y1),(x2,y2),…,(xn,yn)，网络以自组织方式寻找输入、输出之间的映射关系：yi=f(xi)。二、联想记忆联想记忆是指实现模式完善、恢复相关模式的相互回忆等，典型的有如Hopfield网络等。第9章人工神经网络在智能传感器中的应用9.2前向网络9.2.1感知机图9-5基本感知机结构第9章人工神经网络在智能传感器中的应用感知机的学习算法为)()]([)()1(kxkydkWkWijjjijii=1,2,…,nnijijiixkWfky1)()(式中：η为学习因子，在(0,1］区间取值。期望输出与实际输出之差为1)(,01)(011)(kydkyddkydjjjjjjjj输入状态xi(k)=1或0第9章人工神经网络在智能传感器中的应用9.2.2BP一、BP网络模型图9-6一个三层BP网络结构第9章人工神经网络在智能传感器中的应用一般选用下列S形作用函数：xexf11)(且处理单元的输入、输出值可连续变化。BP网络模型实现了多层网络学习的设想。当给定网络的一个输入模式时，它由输入层单元传到隐层单元，经隐层单元逐层处理后再送到输出层单元，由输出层单元处理后产生一个输出模式，故称为前向传播。如果输出响应与期望输出模式有误差，且不满足要求，那么就转入误差后向传播，即将误差值沿连接通路逐层向后传送，并修正各层连接权值。(9-10)第9章人工神经网络在智能传感器中的应用二、学习算法假设BP网络每层有N个处理单元，作用函数如(9-10)式所示，训练集包含M个样本模式对(xk,yk)。对第p个训练样本(p=1,2,…,M)单元j的输入总和(即激活函数)记为apj，输出记为Opj,它的第i个输入(也即第i个神经元的输出)为Opi,则pjapjpiNipijipjeafOOWa11)(0第9章人工神经网络在智能传感器中的应用如果任意设置网络初始权值，那么对每个输入模式p,网络输出与期望输出一般总有误差。定义网络误差为jpjpjpppOdEEE2)(21式中，dpj表示对第p个输入模式输出单元j的期望输出。δ学习规则的实质是利用梯度最速下降法，使权值沿误差函数的负梯度方向改变。若权值Wji的变化量记为ΔWji,则jipjiWEW第9章人工神经网络在智能传感器中的应用而pjpjpjpjpjipjpjpjipOOaEWaaEWE这里，令pjppjaE于是0,pjpjjiOW这就是通常所说的δ学习规则。第9章人工神经网络在智能传感器中的应用当Opj表示输出层单元的输出时，其误差pjpjpjppjppjaOOEaE)('pjpjpjafaO)(pjpjpjpOdOE))(('pjpjpjpjOdaf第9章人工神经网络在智能传感器中的应用当Opj表示隐单元输出时，其误差pjpkpkppjppjpjppjpjpjppjppjOaaEOEafOEaOOEaE)('kjpjpkWOapkpkpaE第9章人工神经网络在智能传感器中的应用kjpkpjpWOE故kjpkpjpjWaf)('至此，BP算法权值修正公式可统一表示为pjpjjijiOtWtW)()1(kjpkpjpjpjpjpjWafOdaf)('))(('对于输出单元对于隐单元(9-29)第9章人工神经网络在智能传感器中的应用在实际应用中，考虑到学习过程的收敛性，通常为了使学习因子η取值足够大，又不致于产生振荡，在权值修正公式(9-29)中再加一个势态项，得)]1()([)()1(tWtWOtWtWjijipjpjjiji式中，α是常数，称势态因子，它决定上一次学习权值对本次权值更新的影响程度。一般地，BP(1)初始化网络及学习参数，如设置网络初始矩阵、学习因子η、参数α(2)提供训练样本，训练网络，(3)前向传播过程：对给定训练模式输入，计算网络的输出模式，并与期望模式输出比较，若有误差，则执行(4)，否则，返回(2)；第9章人工神经网络在智能传感器中的应用(4)①计算同一层单元的误差δpj。②修正权值和阈值)]1()([)()1(tWtWOtWtWjijipjpjjiji阈值即为i=0时的连接权值。③返回(2)。用网络的均方根值(RMS)误差来定量反映学习性能。其定义为mnydEmpnjpjpjRMS112)(第9章人工神经网络在智能传感器中的应用三、竞争网络1.竞争学习网络结构图9-7两层竞争网络第9章人工神经网络在智能传感器中的应用2.竞争学习机理竞争单元的处理分为两步：首先计算每个单元输入的加权和；然后进行竞争，产生输出。对于第j个竞争单元，其输入总和为iijijxWS当竞争层所有单元的输入总和计算完毕，便开始竞争。竞争层中具有最高输入总和的单元被定为胜者，其输出状态为1，其它各单元输出状态为0。对于某一输入模式，当获胜单元确定后，便更新权值。也只有获胜单元权值才增加一个量，使得再次遇到该输入模式时，该单元有更大的输入总和。权值更新规则表示为jiijiWmxW第9章人工神经网络在智能传感器中的应用9.3反馈网络9.3.1Hopfield网络结构图9-8HNN网络结构第9章人工神经网络在智能传感器中的应用9.3.2Hopfield神经网络A/D变换器图9-9对称式4位A/D转换网络第9章人工神经网络在智能传感器中的应用图9-10迟滞现象第9章人工神经网络在智能传感器中的应用图9-11非对称HNN网A/D变换器第9章人工神经网络在智能传感器中的应用图9-12采用非对称结构的A/D转换关系第9章人工神经网络在智能传感器中的应用9.4神经网络在智能传感器中的应用9.4.1实际上，传感器在整个测量范围的非线性特性可用一幂级数多项式来描述：332210xWxWxWWy式中：y——x——Wi(i=0,1,…,n)——传感器的特性参数。(9-35)第9章人工神经网络在智能传感器中的应用二、神经网络算法对应每一个实际输入xi,可得到一个非线性数据集｛1,x,x2,x3,…，xn｝这些可作为神经网络的输入模式，niinniiinnniixkekWkWkykdkekWxky)()()1()()()()()(第9章人工神经网络在智能传感器中的应用图9-13权值训练原理示意图第9章人工神经网络在智能传感器中的应用三、浓度传感器非线性估计及动态标定浓度传感器的本质是非线性的。可将(9-35)式写成下列近似形式：3max32max2max10)/()/()/(ffWffWffWWy式中：y——f——fmax——因此可用f/fmax表示传感器的输出特征。第9章人工神经网络在智能传感器中的应用四、实例分析及结论3max2maxmax33max2maxmax23max2maxmax1)/(14.0)/(62.5)/(73.1060.6)/(12.1)/(14.6)/(93.886.5)/(37.1)/(01.7)/(98.912.6ffffffyffffffyffffffy传感器1：传感器2：传感器3：第9章人工神经网络在智能传感器中的应用图9-14拟合曲线第9章人工神经网络在智能传感器中的应用表9-1传感器输出及对应浓度估计值第9章人工神经网络在智能传感器中的应用9.4.2一、具有传感、执行、信号处理、通信与控制等功能的结构称之为智能结构。这种结构不仅具有承受载荷的能力，还具有感知和响应内外环境的变化，实现自检测、自监控、自校正、自适应、自修复等功能。下面介绍利用人工神经网络和埋入偏振型光纤传感器阵列，实时适应监测复合材料损伤，并指示损伤位置的智能结构系统模型。第9章人工神经网络在智能传感器中的应用二、智能结构系统简介图9-15智能结构系统图第9章人工神经网络在智能传感器中的应用三、前向BP网络处理器图9-16三层BP网络第9章人工神经网络在智能传感器中的应用图9-17BP算法流程第9章人工神经网络在智能传感器中的应用四、实验结果表9-2BP第9章人工神经网络在智能传感器中的应用表9-3在线仿真实验数及结果第9章人工神经网络在智能传感器中的应