第04章 感知机的学习规则09.10.2

4第4章感知机的学习规则---4.1目的本章目的：本章将介绍一种用于训练感知机网络的算法，使感知机能够学习求解分类问题。将从介绍什么是学习规则开始，然后讨论如何设计感知机网络的学习规则。本章最后将对单层感知机网络的优点和局限性进行讨论。4学习规则(1)所谓学习规则就是修改神经网络的权值和偏置值的方法和过程(也称这种过程是训练算法)。(2)学习规则的目的是为了训练网络来完成某些工作。(3)学习规则大致可以分为三大类：有监督学习、无监督学习和增强〔或分级)学习。4.2理论和实例→4.2.1学习规则有监督的学习训练集目标在有监督的学习当中，学习规则由一组描述网络行为的实例（训练集）给出pq为网络的输入，tq为相应的正确(目标)输出。(1)网络的实际输出与目标相比较，然后学习规则调整网络的权值和偏置值，使网络的实际输出越来越接近于目标输出。感知机的学习规则就属于这一类有监督学习。4增强学习增强学习与有监督的学习类似，只是为每一个输入仅仅给出一个级别，这个级别(或评分)是对网络在某些输入序列上的性能测度。最为适合控制系统应用领域4.2理论和实例→4.2.1学习规则无监督的学习在无监督的学习中，仅仅根据网络的输入调整网络的权值和偏置值，它没有目标输出。大多数要完成某种聚类操作都要采用这种类型的算法学会将输入模式分为有限的几种类型。本书将在第13章到第16章讨论更多的无监督学习算法。4感知机网络的一般结构如图4-1所示,该网络的输出由(4.2)式给出：4.2理论和实例→4.2.2感知机的结构首先考虑如下权值矩阵：Ｗ的第i个行向量定义为式(4.4)，并将权值矩阵改写为式(4.5)的形式。44.2理论和实例→4.2.2感知机的结构接下来，将从有两个输入的单神经元感知机开始，对此进行讨论。44.2理论和实例→4.2.2感知机的结构1、单神经元感知机考虑如图4-3所示的两个输入的单神经元感知机。该网络的输出由下式所决定判定边界由下式确定：例如：例如：44.2理论和实例→4.2.2感知机的结构下面将运用上述一些概念设计出能够实现“与”逻辑功能的感知机网络。与的输入/目标对为：如图4-6所示，黑点表示目标1，白点表示目标0选择一下与判定边界将它们划分开。可选择倾角-135度。如图4-6再选择一条与之垂直的方向即可。如45度方向的向量即可，长度不即，在边界上任取一点代入边界方程，则可以求出偏置值。比如：44.2理论和实例→4.2.2感知机的结构2.多神经元感知机每一个神经元都有一个判定边界。第i个神经元的判定边界定义为：分析方法同单感知机类似，单神经元感知机只能区别两类模式，而多神经元感知机可以区分多个模式。4测试问题：在测试问题中，先不考虑偏置值。设输入/目标对为：4.2.3感知机学习规则如图4-8，则有图4-10无数条边界和4-11中无数权值向量接下来讨论根据输入/目标对，由网络自动调整权值。4以随机数作为权值向量（矩阵）的初值：4.2.3感知机学习规则将训练集中的各部分依次输入网络，如p1,则输出为：44.2.3感知机学习规则现将训练集中的p2,输入，则输出为：现将训练集中的p3,输入，则输出为：然后，再次将训练集中的各向量输入，则均能得到与目标相同的输出，所求为：4三条学习规则：4.2.3感知机学习规则统一形式的学习规则：感知机规则推广到多神经元，则学习规则可以用矩阵符号表示为：4训练集：4.2.3感知机学习规则→→举例(橘子/苹果问题)初始化：p1,输入44.2.3感知机学习规则→→举例(橘子/苹果问题)p2,输入p1再次输入如果继续迭代下去，则两个输入向量都能被正确分类。44.2.4收敛性证明此部分内容（略）4.2.4收敛性证明（略）4学习规则(1)学习规则就是修改神经网络的权值和偏置值的方法和过程(3)三大类：有监督学习、无监督学习和增强〔或分级)学习。4.3小结有监督的学习训练集目标在有监督的学习当中，学习规则由一组描述网络行为的实例（训练集）给出pq为网络的输入，tq为相应的正确(目标)输出。(1)网络的实际输出与目标相比较，然后学习规则调整网络的权值和偏置值，使网络的实际输出越来越接近于目标输出。44.3小结感知机网络的输出：每一个神经元都有一个判定边界。第i个神经元的判定边界定义为：44.3小结本章最重要点感知机规则则学习规则可以用矩阵符号表示为：本章最重要点44.4例题与练习P4.1请画出图4-19中三个简单分类问题的判定边界。求相应于判定边界的权值和偏置值：解:首先在黑色数据点集和空心数据点集之间画一条直线将它们分开.下一步求解相应的权值和偏置值。权值向量必须与判定边界垂直，并指向类1(黑色点)方，而权值向量的长度则可任意选择44.4例题与练习44.4例题与练习44.4例题与练习44.4例题与练习1pP4.2请画出如下分类问题的判定边界。求相应于判定边界的权值和偏置值：解:画出示意图？2p3p4p0bWp1.5[11]00bb1.5hardlim([11]1.5)ap[11]W44.4例题与练习P4.3考虑具有如下四类输入向量的分类问题。这四类输入向量分别是解:为方便设计目标值如下：画出示意图？44.4例题与练习111001001W1[41]002b2W[12]1b[41]2200[12]0b2b0W4112b20412hardlim120ap+44.4例题与练习P4.4请用感知机学习规则，求解如下分类问题。按顺序重复使用各个输人向量，直至最终求得问题的解，并在求出一个解后画出问题的图形。解:44.4例题与练习44.4例题与练习[01]W1.5b41、绘制Page35的图4-1的感知机图，并写出各判定边界方程，写出感知机的学习规则，说明各符号的含义。2、Page57E4.1，并给出权值向量和偏置值和E4.。3、pageE4.2（i）（ii）4、提交实验三的实验报告。（见实验指导）作业