人工神经网络第二章-NN理论基础

第二章NN理论基础2.1生物神经系统的模型化2.2M-P神经元模型与人工神经网络的构成2.3人工神经网络的学习机理与Hebb学习规则2.4教师示教学习与无教师示教学习2.5模式识别的基本定义与方法2.6生物NN与人工NN的比较2.7线性分类器2.1生物神经系统的模型化神经元特点1）神经元是一个多输入、单输出元件。2）神经元是一个具有非线性输入/输出特性的元件。3）神经元具有可逆性，传递强度可变。4）神经元的输出是各个输入综合的结果。2.1生物神经系统的模型化(1)(1)+(2)(1)+(2)+(3)(1)+(2)+(3)+(4)2.1生物神经系统的模型化生物神经元模型数学表达式把阈值θ看成神经元的第0个输入，x0为常数-1，神经元的响应函数根据要求和特点的不同，分为以下几种：a)阶跃函数1()niiiYfXXwx0niiiXwx0001)(xxxfy2.1生物神经系统的模型化b)S型函数c）比例函数xexfy11)(()yfxkx2.1生物神经系统的模型化d）符号函数e)饱和函数0101)(xxxfy1111()11xkyfxkxxkkxk2.1生物神经系统的模型化f）双曲函数uxuxeexfy11)(2.2M-P神经元模型与人工神经网络的构成一．M-P模型：1943年，McCulloch（生理学家）和Pitts（数学家）定义了神经元模型M-P模型。f：阶跃函数输入向量：权值向量：阈值：输出：其中：响应函数也可采用符号函数：)(21nxxxX，，，)(21n，，，niiixwfy1)(0001)(xxxf0011)(Sgnxxx2.2M-P神经元模型与人工神经网络的构成二、神经网络的连接形成：1）单层网络：左边只起分配信号的作用输入向量：输出向量：神经元的输入向量：加权阵：),,,(21nxxxX),,,(21myyyY),,,(21msssSnmnnmmnmnnmmn),,,(misfyii,...,1)(2.2M-P神经元模型与人工神经网络的构成2）多层网络：中间层神经元的输出：),,,(21kzzzZ11iisxw11()iizfski,,2,122jjszw2()jjyfzmj,,2,12.2M-P神经元模型与人工神经网络的构成3）反馈型网络：4）全互连接型一层的输出通过连接权回送到同一层或前一层。2.3人工神经网络的学习机理与Hebb学习规则NN仅有拓扑结构还不能具有任何智能特性，必须有一套完整的学习、工作规则与之配合。人工神经网络的学习规则，说到底就是网络连接权的调整规则。40年代，Hebb根据心理学中条件反射机理提出了神经细胞间连接强度变化的规则，即所谓的Hebb学习规则。内容为：如果两个神经元同时兴奋（同时为1），则它们之间的突触联系得以增强。以表示神经元i,j的激活值表示i,j之间的连接权jiaa,ij2.3人工神经网络的学习机理与Hebb学习规则则Hebb学习规则为：学习过程：jiijijjiijaattaa)(1开始设定连接权初值评价连接权调整输入数据评价标准2.4教师示教学习与无教师示教学习一、教师学习：在网络的学习过程中，对于网络输出的正确性必须有一个评价标准，网络根据实际输出与评价标准的比较，决定连接权值的调整、合成。评价标准是人为由外界提示给网络的，即相当于一个知晓正确结果的教师示教给网络——称为教师示教学习。神经网络比较学习系统输入教师示教(希望输出)实际输出2.4教师示教学习与无教师示教学习二、无教师示教学习方式无外部教师，网络能够根据其特有的网络结构和学习规则，对属于同一类的模式进行自动分类。神经网络自我比较学习系统输入实际输出2.5模式识别的基本定义与方法一、基本定义模式：面临的一类对象或事物。模式识别：对模式进行正确的分类。模式的特征：一个模式区别另一模式的主要差别。模式识别函数：用数学形式表达分类边界。模式识别函数可以是曲线、平面、超曲线、超平面等。对于复杂的模式需要几个特征来区分，构成n维特征向量。根据得到的数据处于分类边界线的左边或右边来判断模式类别。2.5模式识别的基本定义与方法例：根据体重和高度来区别体操、篮球运动员二、方法K-最邻近分类方法判别上图中a1属于哪一类，可看a1最邻近哪一类f(x)=d1-d2d1:与第一类模式最短距离；d2:与第二类模式最短距离；f(x)0则a1属于第一类f(x)0则a1属于第二类用一点来计算距离受到限制，往往利用平均距离来分类2.5模式识别的基本定义与方法三、计算模式距离的方法①汉明距离设有两个模式向量②欧化距离③矩形距离),,,(21nxxxX),,,(21nyyyY2.7线性分类器设A1、A2两组模式，现需要进行分类。求分类边界ai为输入模式A中的第i个元素wi取向量w的第i个元素n为向量的维数当f(x)0A属于A1当f(x)0A属于A2能否找到一个合适的权向量w，使得分别属于A1，A2中所有的输入模式都可以用f(A)来分类。若能，则线性可分；否则为非线性可分。0()niiifAwa