神经网络_第三章感知器

第三章：感知器网络145014208王菁第三章：感知器人的视觉是重要的感觉器官，人通过视觉接受的信息占全部信息量的80~85%。感知器是模拟人的视觉，接受环境信息，并由神经冲动进行信息传递的神经网络。感知器分单层与多层，是具有学习能力的神经网络。第三章：感知器3.1单个感知器模型与解决问题的能力是具有单层处理单元的神经网络，非线性作用函数f()是对称型阶跃函数，见图。感知器输出：　yfwufwujjjnjjjn()()10uj：感知器的第j个输入；w0（阈值）；u01。与MP模型不同之处：权值由有导师的学习算法进行调整。图2-3-1单层感知器njuuu1yxnw1w)(xf)(xf布尔函数的M-P神经元表示:利用带阈值的M-P人工神经元可以很方便地实现布尔代数中的许多功能。在布尔代数中，and、or、Not、xoR关系如下表1所示：第三章：感知器3.1单个感知器模型与解决问题的能力1x2xandor))xoR00001100101101100101111110002x1xNot(Not(第三章：感知器3.1单个感知器模型与解决问题的能力1x]0,1[2x]0,1[Y且、，模型来建立，PMY1x2x可以将图用与、之间的关系：上面几个人工神经元都满足M-P模型。第三章：感知器3.1单个感知器模型与解决问题的能力根据各个图及M-P模型，我们有)}0,1(),1,0(),0,0{(),(0)}1,1{(),(1020021)2(2121212121{{xxxxxxxxxxfy（1）（2）1212121212110(1){0101(,){(1,1),(1,0),(0,1)}{0(,){(0,0)}xxyfxxxxxxxx第三章：感知器3.1单个感知器模型与解决问题的能力}1{0}0{10001)({{xxxxxfy（3）显然是符合逻辑运算要求。第三章：感知器3.1单个感知器模型与解决问题的能力权系数和阈值不是0、1的M-P模型Rw,w}1,1{x}1,1{y若，则M-P模型比只允许取{-1，1}要灵活（或{1，0}），（或{1，0}），则对于这个M-P人工神经元来说：的多，但此时仍限制111110101)(niiiniiiiniixwxwwxfyRw,Zw,但与相比并无多大改进。第三章：感知器3.1单个感知器模型与解决问题的能力例：试说明下列两个M-P人工神经元是等价的。分析：对于（a）06324106324106.02.03.04.0106.02.03.04.01)6.02.03.04.0(321321231231231xxxxxxxxxxxxxxxfy第三章：感知器3.1单个感知器模型与解决问题的能力对与（b）063241063241)6234(321321231xxxxxxxxxfy第三章：感知器3.1单个感知器模型与解决问题的能力此时感知器人工神经元结构及其数学描述如下：0101)()(11iinjijijiizzxwfzfy当M-P人工神经元的输入X可以在R上取值时——离散感知器(简称感知器)nnRxxX},,{11,1y0,1若M-P人工神经元的输入，而其输出值为或模型就改进为离散感知器（因为其输出还是离散的），简称为感知器。。则此时的M-P第三章：感知器3.1单个感知器模型与解决问题的能力(a)分类器结构2w1w0wy10u21uu1u2u(b)平面上两类模式分界线图2-3-2平面上两类模式分类用图所示二输入/单输出单层感知器，输入输出描述：0,00,1)()(2211fuwuwfy即22112211,0,1uwuwuwuwy可见：输入输出为线性可分集合，一定可找到一条直线，将输入模式分为两类，此直线方程：ywuwu11220则u见图，此直线与权值及阈值有关。第三章：感知器3.1单个感知器模型与解决问题的能力2u1u0w10uy1w3w2w321uuu图2-3-3三维空间上的两类模式分类用图所示三输入/单输出的单层感知器，输入输出：0,00,1)()(332211fuwuwuwfy即332211332211,0,1uwuwuwuwuwuwy可见，输入输出为线性可分集合，一定可找到一个平面，将输入模式分为两类，平面方程：0332211uwuwuwy则23213133uwwu此平面与权值及阈值有关,见图。第三章：感知器3.1单个感知器模型与解决问题的能力感知器的分类定义作为数学模型，我们对感知器作出如下归纳：1.感知器是一个多输入、单输出的运算系统，表示一个神经元的运算特性，它的输入状态向量记为：)(21nnxxxx)(21nn权向量:2.感知器的状态值可以为感知器的输出值);(nnxwfy连续感知器第三章：感知器3.1单个感知器模型与解决问题的能力bxwkxwfyniiiniii1111)(连续感知器人工神经元结构及其数学描述如下：若取0,1bk，则其成为一类最简单的连续人工感知神经元。()yfokob激活函数：第三章：感知器3.1单个感知器模型与解决问题的能力nxix是不连续的:或0101)(xxxf0001)(xxxf都在{0，1}或{-1，1}上取值，的每个向量定义：)sgn()(xxfa)如果且激活函数那么这个感知神经元被成为M-P模型。是离散的，那么这个nnRx)(xfb)如果，但激励函数感知神经元被称为离散感知器——常简称为感知器。是连续函数，那么这个感知nnRx)(xf且C)如果神经元称为连续感知器。由相应的感知神经元组成的网络就称为相应神经网络，如M-P神经网络、感知器神经网络、连续感知器神经网络。例线性不可分集合。二维平面上的两类模式——异或（XOR）问题，见表。二维平面中不存在一条直线，将输入模式分为两类，此输入模式称线性不可分集合，见图。可见：单层感知器不能解决异或问题。表2-3-3uu12y000011101110图2-3-4异或问题2u1u第三章：感知器3.1单个感知器模型与解决问题的能力结论：单个感知器不能对线性不可分问题实现两类分类。•单层感知器工作原理对于只有两个输入的判别边界是直线（如下式所示）,选择合适的学习算法可训练出满意的和，当它用于两类模式的分类时，相当于在高维样本空间中，用一个超平面将两类样本分开。第三章：感知器3.1单个感知器模型与解决问题的能力第三章：感知器3.2单层感知器模型与解决问题的能力在上一节中指出了线性单个感知神经网络只能实现两类分类，如果要进行多于两类的分类将怎么办？生物医学已经证明：生物神经系统是由一些相互联系的，并能互相传递信息的神经细胞互连构成。因此这就使我们自然地想到是否可将单个的感知神经元连成网络形成一个单层的网络？结构第三章：感知器3.2单层感知器模型与解决问题的能力例线性不可分集合。二维平面上的两类模式——异或（XOR）问题，见表。二维平面中不存在一条直线，将输入模式分为两类，此输入模式称线性不可分集合，见图。可见：单层感知器不能解决异或问题。表2-3-3uu12y000011101110图2-3-4异或问题2u1u结论：单层感知器不能对线性不可分问题实现两类分类。第三章：感知器3.6有关的几个问题M-P模型在人工神经网络中的地位首先M-P模型是所有人工神经元中第一个被建立起来的，它在多个方面都显示出生物神经元所具有的基本特性。其次，目前其它形式的人工神经元已有很多，但大多数都是在M-P模型的基础上经过不同的修正，改进变换而发展起来。因此M-P人工神经元是整个人工神经网的基础。1、神经元的内部改造：对不同的人工神经元取不同的非线性函数F（·）；对人工神经元的输入和输出做不同的限制：离散的（某些离散点）和连续的（整个实数域）。2、人工神经元之间的联接形式上进行改造——神经网络的结构上的改造。3、在人工神经网络权值和阈值取求的方法上改造——算法的改进。4、其它形式的改造，譬如（1）与（2）结合起来改进；（2）与（3）结合起来改进等等。第三章：感知器3.6有关的几个问题对M-P人工神经元进行改进的主要方式1、单神经元（M-P模型、单感知器、单连续感知机）；2、单层前向连接的神经网络；3、多层前向连接的神经网络（BP、RBF）；4、单层带有反馈连接的神经网络（Hopfield网）；5、多层回归（递归）神经网络；6、局部连接的人工神经网络（细胞神经网、小脑模型等）。第三章：感知器3.6有关的几个问题人工神经网络常见的连接形式有：方式