感知器

2020/4/51第三章感知器3.1感知器的目的3.2理论和实例介绍3.3感知器的学习规则3.4感知器的局限性3.5单层感知器神经网络的MATLAB仿真程序设计3.6多层感知器神经网络及其MATLAB仿真3.7小节与例题2020/4/523.1感知器的目的读者可以将这一章看作是后面各章的一个前奏。这里将给出一个模式识别的简单问题，并说明如何用三种不同结构的神经网络来求解这个问题。这将提供一个了解如何利用上一章所给出的网络结构解决实际问题的机会。2020/4/533.2理论和实例介绍3.2.1问题描述某商贩有一个存储各种水果和蔬菜的货仓。当将水果放进货仓时，不同类型的水果可能会混淆在一起，所以商贩非常希望能够有一台能够帮他将水果自动分类摆放的机器。假设从水果卸车的地方到货仓之间有一条传送带。传送带要通过一组特定的传感器，这组传感器可以分别测量水果的三个特征：外形、质地和重量（如下图）。2020/4/543.2理论和实例介绍2020/4/553.2理论和实例介绍对这些传感器：如果水果基本上是圆形的，外型传感器的输出就为1;如果水果更接近于椭圆，那么外型传感器的输出就为-1。如果水果表面光滑，质地传感器的输出就是1;如果水果表面比较粗糙那么质地传感器的输出就为-1。当水果重量超过1磅时，重量传感器的输出为1;水果重量轻于1磅时，重量传感器的输出为-1。2020/4/563.2理论和实例介绍然后，这三个传感器的输出将会输入到神经网络。网络的功能就是要确定传送带上是什么类型的水果，这样才能把不同类型的水果分别送到相应的储存仓内。为了使问题更加简单，现假设传送带上只有两种类型的水果：苹果和橘子。当每个水果通过这些传感器后，它就可以用一个如式（3.1）所示的三维向量来表示。该向量的第一个元素表示外形，第二个元素表示质地，第三个元素表示重量：(3.1)p外形质地重量2020/4/57所以，一个标准橘子可表示为：一个标准苹果可表示为：11P=1(3.2)121P=1(3.3)12020/4/583.2理论和实例介绍对传送带上的每个水果而言，神经网络都可接收到一个三维输入向量，并且必须判断是一个橘子（）还是一个苹果（）。下面首先讨论求解该问题要用到的三种不同类型的神经网络。对问题的简化有助于理解这些网络的工作原理。1p2p2020/4/593.2理论和实例介绍3.2.2感知机这里要讨论的第一个网络是感知机。图3-1给出了采用对称硬极限传输函数hardlims的单层感知机。图3-1单层感知机hardlims()baWp2020/4/5103.2理论和实例介绍1.两个输入的情况在用感知机求解橘子/苹果问题之前（它需要一个三输入感知机，也即R=3）。这里有必要先研究一下两输入单神经元感知机（R=2）的能力。很容易用图示的法对其进行分析。两输入感知机如图3-2所示。2020/4/511lim()ahardsbWP图3－2两输入的单神经元感知机2020/4/512单神经元感知机可将输入向量分成两类。例如，对一个两输入感知机而言，如果任意选择,那么:1,11,21,1wwlim()=lim()(3.4)lim11ahardsnhardsbhardsbWpp2020/4/5133.2理论和实例介绍如果权值矩阵（这里是一个只有一行的向量）与输入向量的内积大于等于-b，则感知机的输出为1;如果权值向量和输入的内积小于-b，那么感知机的输出为-1。这就将输入空间划分为两个部分.图3-3表明了当b＝-1的情况下，该感知机对输入空间的这种划分情况。图中的斜线表示净输入n等于O的各点：211,11,21110(3.5)limlimnbahardsnphardswwbpWPp2020/4/5143.2理论和实例介绍图3-3感知机判定边界2020/4/5153.2理论和实例介绍请注意该判定边界总是和权值矩阵正交（即，在本平面上，判断边界的直线方向与权值矩阵的指向是相互垂直的,在此，权值向量矩阵），且边界的位置随的改变而上下移动。阴影区包含的是所有网络输出为1的输入向量，而对其他输入向量而言，该感知机的输出都为-1。12pp[11]Wb2020/4/5163.2理论和实例介绍一般来说，是由多个行向量组成的矩阵，每一行向量的使用方法都如式（3.5）所示。的每一行都会形成一个判断边界。所以，单神经元感知机的关键性质是它能够将输入向量分为两类。类与类之间的判定边界由下式给定因为边界必须是线性的，所以单层感知机只能用于识别一些线性可分（能够用一个线边界区分）的模式.0(3.6)bWpWW2020/4/5173.2理论和实例介绍2．模式识别现在回到前面所给出的橘子/苹果模式识别问题。因为仅仅只有两个类别，所以可采单神经元感知机。向量输入是三维的（R=3)，该感知机的输入/输出关系由下式描述：•11,11,21,323lim(3.7)pahards2020/4/5183.2理论和实例介绍现在希望选择适当的偏置值和权值矩阵元素，使得该感知机能够将苹果和橘子区分开来。比如说，如果输入是苹果时，希望该感知机的输出为1;如果输入是橘子时，希望感知机的输出为-1。下面将讨论如何应用图3-3所给出的概念，找到一个线性边界将橘子和苹果区分开来。两个标准向量(请参考式（3.2）和式（3.3))的空间表示如图3-4所示。从图中可以看出对称区分这两个向量的线性边界是和两个轴所定义的平面。b1p3p2020/4/5193.2理论和实例介绍一个标准橘子可表示为：一个标准苹果可表示为：11P=1(3.2)121P= 1(3.3)12020/4/5203.2理论和实例介绍图3-4标准向量2020/4/5213.2理论和实例介绍和两个轴所定义的平面就是所求的判定边界，可以将其分别表示为：或由此可知，权值矩阵可偏置值分别是：3p1p2=0(3.8) p12301000(3.9)ppp=[010],=0(3.10)bW2020/4/5223.2理论和实例介绍权值矩阵和判定边界正交，且指向含有标准模式（苹果）的空间区域，在该区域中感知机的输出为l。由于判定边界通过坐标轴原点，所以偏置值为0。下面将对该感知机模式分类器进行测试。2p2020/4/5233.2理论和实例介绍当输入是橘子时，有当输入是苹果时，有1lim010101((3.11)1ahards橘子）1lim010101((3.12)1ahards苹果）2020/4/5243.2理论和实例介绍由此可看出，该感知机能够正确区分苹果和橘子。但是，当对一个并不是十分标准的水果进行识别时，感知机的输出又将会是什么呢？如果一个椭圆形的橘子通过传感器，那么感知机的输入向量为网络的响应将是11(3.13)1p1lim010101()(3.14)1ahards橘子2020/4/5253.2理论和实例介绍实际上，如果任何输入向量相对于苹果的标准向量而言，更加接近于橘子的标准向量（按欧基里德距离），那么该输入向量都将被划为橘子一类（反之亦然）。要试验感知机网络和苹果、橘子分类问题，可使用NeuralNetworkDesignDemonstrationPerceptronClassification(nnd3pc)。2020/4/5263.3感知器的学习规则前面曾提出了一个问题：“当多输入神经元网络的判定边界无法用图形方式表示的情况下，如何确定权值矩阵和偏置值？”本节将介绍一种用于训练感知机网络的算法;使感知机能够学习求解分类问题。2020/4/5273.3感知器的学习规则3.3.1感知器学习介绍1943年，沃伦和沃尔特最早提出了一种人工神经元模型。该模型的主要特点是把神经元输入信号的加权和与其阈值相比较以确定神经元的输出。如果加权和小于阈值，则该神经元的输出值为零;如果加权和大于阈值，则该神经元的输出值为1。2020/4/5283.3感知器的学习规则沃伦和沃尔特进一步证明了这些神经元网络原则上可以完成任何数学和逻辑函数的计算。与生物神经网络不同的是，由于没有找到训练这些网络的方法，所以必须设计出这些神经元网络的参数以实现特定的功能。但是，由于该模型使人们看到了生物学与数字计算机之间的某些联系，从而引起了人们的极大兴趣.2020/4/5293.3感知器的学习规则20世纪50年代末，弗兰克和其他几位研究人员提出了一种称为感知机的神经网络。这些网络中的神经元与沃伦和沃尔特提出的神经元模型十分相似。弗兰克的主要贡献在于引人了用于训练神经网络解决模式识别问题的学习规则。他证明了只要求解问题的权值存在，那么其学习规则通常会收敛到正确的网络权值上。只要把反应网络行为的实例提交给网络，网络就能够根据实例从随机初始化的权值和偏置值开始自动的学习。2020/4/5303.3感知器的学习规则然而，感知机网络本身却具有其内在的局限性。在马文和西摩所著的《感知机》（PercePtrons）一书中，对这些局限性进行了全面深人的分析，指出感知机网络不能实现某些基本的功能（如异或等）。该书的结论曾一度导致神经网络研究陷入低潮。2020/4/5313.3感知器的学习规则直到80年代，改进的（多层）感知机网络和相应学习规则的提出才为克服这些局限十开辟了新的途径，并重新唤起人们对神经网络研究的兴趣。目前，人们仍认为感知机网络是一种重要的神经网络。对于某些应用问题而言，这种神经网络仍不失为一种快速可靠的求解方法。另外，对感知机网络行为的理解将会为理解更加复杂的神经网络奠定良好基础。因此，这里讨论感知机网络及其联想学习规则是十分必要的。2020/4/5323.3感知器的学习规则3.3.2学习规则在开始讨论感知机的学习规则之前，首先来讨论一般的学习规则。所谓学习规则就是修改神经网络的权值和偏置值的方法和过程（也称这种过程是训练算法）。学习规则的目的是为了训练网络来完成某些工作。现在有很多类型的神经网络学习规则。大致可将其分为三大类：有监督学习、无监督学习和增强（或分级）学习。2020/4/5333.3感知器的学习规则概念：有监督的学习、训练集、目标在有监督学习当中，学习规则由一组描述网络行为的实例集合（训练集）给出：……其中，为网络的输入，为相应的正确输出（目标）。当输入作用到网络时，网络的实际输出与目标相比较，然后学习规则调整网络的权值和偏置值，从而使网络的实际输出越来越接近于目标输出。感知机的学习规则就属于这一类有监督学习。11{,}pt22{,}pt{,}QQptQpQt2020/4/5343.3感知器的学习规则概念：无监督的学习在无监督的学习中，仅仅根据网络的输入调整网络的权值和偏置值，它没有目标输出。乍一看这种学习似乎并不可行：不知道网络的目的是什么，还能够训练网络吗？实际上，大多数这种类型的算法都是要完成某种聚类操作，学会将输入模式分为有限的几种类型。这种功能特别适合于诸如向量量化等应用问题。2020/4/535概念：增强学习增强学习与有监督的学习类似，只是它并不像有监督的学习一样为每一个输入提供相应的目标输出，而是仅仅给出一个级别。这个级别（或评分）是对网络在某些输入序列上的性能测度。当前这种类型的学习要比有监督的学习少见。有起来它最为适合控制系统应用领域。3.3感知器的学习规则2020/4/5363.3感知器的学习规则3.3.3感知机的结构在介绍感知机的学习规则之前，首先对在前面介绍的感知机网络进一步进行研究。感知机网络的一般结构如图3-5所示。a=hardlim(Wp+b)图3-5感知机网络2020/