神经网络第三章感知器

北京科技大学信息工程学院付冬梅[e-mail]62334967第三章：感知器网络单个感知器模型与解决问题的能力单层感知器模型与解决问题的能力单层感知器的学习算法单层感知器的局限性问题多层感知器的设计方法有关的几个问题的讨论单层感知器的MATLAB设计与实现第三章：感知器网络•概述–由美国学者Rosenblatt在1957年首次提出–学习算法是Rosenblatt在1958年提出的–包含一个突触权值可调的神经元–属于前向神经网络类型–只能区分线性可分的模式–IEEE设立以其名字命名的奖项第三章：感知器人的视觉是重要的感觉器官，人通过视觉接受的信息占全部信息量的80~85%。感知器是模拟人的视觉，接受环境信息，并由神经冲动进行信息传递的神经网络。感知器分单层与多层，是具有学习能力的神经网络。•本章的重点：感知器的结构、表达能力、学习算法。•本章的难点：感知器的表达能力。第三章：感知器3.1单个感知器模型与解决问题的能力是具有单层处理单元的神经网络，非线性作用函数f()是对称型阶跃函数，见图。感知器输出：　yfwufwujjjnjjjn()()10uj：感知器的第j个输入；w0（阈值）；u01。与MP模型不同之处：权值由有导师的学习算法进行调整。图2-3-1单层感知器njuuu1yxnw1w)(xf)(xf布尔函数的M-P神经元表示:利用带阈值的M-P人工神经元可以很方便地实现布尔代数中的许多功能。在布尔代数中，and、or、Not、xoR关系如下表1所示：第三章：感知器3.1单个感知器模型与解决问题的能力1x2xandor))xoR00001100101101100101111110002x1xNot(Not(第三章：感知器3.1单个感知器模型与解决问题的能力1x]0,1[2x]0,1[Y且、，模型来建立，PMY1x2x可以将图用与、之间的关系：上面几个人工神经元都满足M-P模型。第三章：感知器3.1单个感知器模型与解决问题的能力根据各个图及M-P模型，我们有)}0,1(),1,0(),0,0{(),(0)}1,1{(),(1020021)2(2121212121{{xxxxxxxxxxfy（1）（2）1212121212110(1){0101(,){(1,1),(1,0),(0,1)}{0(,){(0,0)}xxyfxxxxxxxx第三章：感知器3.1单个感知器模型与解决问题的能力}1{0}0{10001)({{xxxxxfy（3）显然是符合逻辑运算要求。第三章：感知器3.1单个感知器模型与解决问题的能力权系数和阈值不是0、1的M-P模型Rw,w}1,1{x}1,1{y若，则M-P模型比只允许取{-1，1}要灵活（或{1，0}），（或{1，0}），则对于这个M-P人工神经元来说：的多，但此时仍限制111110101)(niiiniiiiniixwxwwxfyRw,Zw,但与相比并无多大改进。第三章：感知器3.1单个感知器模型与解决问题的能力例：试说明下列两个M-P人工神经元是等价的。分析：对于（a）06324106324106.02.03.04.0106.02.03.04.01)6.02.03.04.0(321321231231231xxxxxxxxxxxxxxxfy第三章：感知器3.1单个感知器模型与解决问题的能力对与（b）063241063241)6234(321321231xxxxxxxxxfy第三章：感知器3.1单个感知器模型与解决问题的能力此时感知器人工神经元结构及其数学描述如下：0101)()(11iinjijijiizzxwfzfy当M-P人工神经元的输入X可以在R上取值时——离散感知器(简称感知器)nnRxxX},,{11,1y0,1若M-P人工神经元的输入，而其输出值为或模型就改进为离散感知器（因为其输出还是离散的），简称为感知器。。则此时的M-P第三章：感知器3.1单个感知器模型与解决问题的能力(a)分类器结构2w1w0wy10u21uu1u2u(b)平面上两类模式分界线图2-3-2平面上两类模式分类用图所示二输入/单输出单层感知器，输入输出描述：0,00,1)()(2211fuwuwfy即22112211,0,1uwuwuwuwy可见：输入输出为线性可分集合，一定可找到一条直线，将输入模式分为两类，此直线方程：ywuwu11220则u见图，此直线与权值及阈值有关。第三章：感知器3.1单个感知器模型与解决问题的能力2u1u0w10uy1w3w2w321uuu图2-3-3三维空间上的两类模式分类用图所示三输入/单输出的单层感知器，输入输出：0,00,1)()(332211fuwuwuwfy即332211332211,0,1uwuwuwuwuwuwy可见，输入输出为线性可分集合，一定可找到一个平面，将输入模式分为两类，平面方程：0332211uwuwuwy则23213133uwwu此平面与权值及阈值有关,见图。第三章：感知器3.1单个感知器模型与解决问题的能力感知器的分类定义作为数学模型，我们对感知器作出如下归纳：1.感知器是一个多输入、单输出的运算系统，表示一个神经元的运算特性，它的输入状态向量记为：)(21nnxxxx)(21nn权向量:2.感知器的状态值可以为感知器的输出值);(nnxwfy连续感知器第三章：感知器3.1单个感知器模型与解决问题的能力bxwkxwfyniiiniii1111)(连续感知器人工神经元结构及其数学描述如下：若取0,1bk，则其成为一类最简单的连续人工感知神经元。()yfokob激活函数：第三章：感知器3.1单个感知器模型与解决问题的能力nxix是不连续的:或0101)(xxxf0001)(xxxf都在{0，1}或{-1，1}上取值，的每个向量定义：)sgn()(xxfa)如果且激活函数那么这个感知神经元被成为M-P模型。是离散的，那么这个nnRx)(xfb)如果，但激励函数感知神经元被称为离散感知器——常简称为感知器。是连续函数，那么这个感知nnRx)(xf且C)如果神经元称为连续感知器。由相应的感知神经元组成的网络就称为相应神经网络，如M-P神经网络、感知器神经网络、连续感知器神经网络。例线性不可分集合。二维平面上的两类模式——异或（XOR）问题，见表。二维平面中不存在一条直线，将输入模式分为两类，此输入模式称线性不可分集合，见图。可见：单层感知器不能解决异或问题。表2-3-3uu12y000011101110图2-3-4异或问题2u1u第三章：感知器3.1单个感知器模型与解决问题的能力结论：单个感知器不能对线性不可分问题实现两类分类。•单层感知器工作原理对于只有两个输入的判别边界是直线（如下式所示）,选择合适的学习算法可训练出满意的和，当它用于两类模式的分类时，相当于在高维样本空间中，用一个超平面将两类样本分开。第三章：感知器3.1单个感知器模型与解决问题的能力第三章：感知器3.2单层感知器模型与解决问题的能力在上一节中指出了线性单个感知神经网络只能实现两类分类，如果要进行多于两类的分类将怎么办？生物医学已经证明：生物神经系统是由一些相互联系的，并能互相传递信息的神经细胞互连构成。因此这就使我们自然地想到是否可将单个的感知神经元连成网络形成一个单层的网络？结构第三章：感知器3.2单层感知器模型与解决问题的能力例线性不可分集合。二维平面上的两类模式——异或（XOR）问题，见表。二维平面中不存在一条直线，将输入模式分为两类，此输入模式称线性不可分集合，见图。可见：单层感知器不能解决异或问题。表2-3-3uu12y000011101110图2-3-4异或问题2u1u结论：单层感知器不能对线性不可分问题实现两类分类。感知器的学习目标感知机的基本功能是对外部信号进行“感知”与识别，这就是当外部n个刺激信号或来自其它n个神经元（的信号）处于一定的状态时，感知器就处于“兴奋”状态，而当外部n个信号或n个神经元的输出处于另一些状态时，感知器就呈现“抑制”状态。(;)nnyfwx若用表示感知器的运算函数关系，那么它们的运算目标就是：BxAxxwfynnnn如果如果11);(即一个感知神经元只能实现两类的划分，且其中A，B是nR中互不相交的集合。第三章：感知器3.3单层感知器的学习算法定义：感知器的学习目标：我们称（A，B）为感知器的学习目标，如果A、B是nR感知器的学习目标中两个互不相交的集合，且下面方程成立。即一个感知神经元只能实现两类的划分，且其中A，B是nR中互不相交的集合。等价于如下描述：BxAxxwfynnniii如果如果01)(1BxxwAxxwnniiinniii如果如果0011第三章：感知器3.3单层感知器的学习算法第三章：感知器3.3单层感知器的学习算法离散单个感知器的学习算法}1,1{)(21nnxxxx0101)(uuufy11nTnTxwxwuWX}|),{(对应的输出为为输入向量，XYXYX设M-P模型的几何图形如右图：设为网络的广义权向量，为输入向量且是二值的，网络的训练样本集为M-P神经元的权（广义的）的学习的基本方式和原则如下：若M-P神经元的权值为0wn，则M-P神经元的输出为：01011111110niiijiniiijiniiijixwxwxwfnO）（）（的值与此时对应的不一样，即jy0Onjy如果的值与此时对应的一样，则说明此时权值将jxjy0On{}jjxyW和正确分类；如果表示将此时的错误分类，则此时需要调整值。。01On1jy110njiiixw11njiiiuxw001()jWnWnX当时，说明此时实际值，即，说明计算得到的的值大小小于零，而实际上应该是大于零，对此修正权值为第三章：感知器3.3单层感知器的学习算法如此调整后)()())((00011nWXXXnWXXnWXWxwuTTTTTTniiii使被减小了，故算法如下：增加了。否则u01On1jyjXnWnW)(100）（u，则表示实际，此时则取，调整后第三章：感知器3.3单层感知器的学习算法2.重复下列过程，直到训练完成：2.1对样本集中的每一个样本与实际样本中所有都一样，则2.1.1输入WnZW),(YXX),(WXFOOy11OWWXOWWX当时取当时取1.初始化权向量（一般在一定范围内取）；,重复如下过程：2.1.2计算2.1.3如果计算得的退出；否则一样时才可退出循环。Oy这里需要注意的是：只有当所有样本计算得到的与所有实际第三章：感知器3.3单层感知器的学习算法一样时才可退出循环。iOiy这里需要注意的是：只有当所有样本计算得到的与所有实际2.1.1.3如果计算得的与实际样本中所有都一样，则2.1.1.1输入iX),(WXFOjOiyiiiiiiii11OWWXOWWX当时取当时取2.重复下列过程，直到训练完成：2.1对样本集中的每一个样本离散单层感知器的训练算法：WnZW),(YX1.初始化权向量（一般在一定范围内取）；，重复如下过程：2.1.1.2计算退出；否则