搜索
神经网络人工神经网络人工神经网络是集脑科学、神经心理学和信息科学等多学科的交叉研究领域，是近年来高科技领域的一个研究热点。它的研究目标是通过研究人脑的组成机理和思维方式，探索人类智能的奥秘，进而通过模拟人脑的结构和工作模式，使机器具有类似人类的智能。它已在模式识别、机器学习、专家系统等多个方面得到应用，成为人工智能研究中的活跃领域。本章将简要介绍神经网络基本的概念、模型以及学习算法。神经网络的基本概念及组成特性9.1.1生物神经元的结构与功能特性1.生物神经元的结构神经细胞是构成神经系统的基本单元，称之为生物神经元，简称神经元。神经元主要由三部分构成：（1）细胞体;（2）轴突;（3）树突;(如图)生物神经元结构神经网络的基本概念及组成特性突触是神经元之间相互连接的接口部分，即一个神经元的神经末梢与另一个神经元的树突相接触的交界面，位于神经元的神经末梢尾端。突触是轴突的终端。2.神经元的功能特性（1）时空整合功能。（2）神经元的动态极化性。（3）兴奋与抑制状态。（4）结构的可塑性。（5）脉冲与电位信号的转换。（6）突触延期和不应期。（7）学习、遗忘和疲劳。9.1.2人工神经网络的组成与结构1.人工神经网络的组成人工神经网络（简称ANN）是由大量处理单元经广泛互连而组成的人工网络，用来模拟脑神经系统的结构和功能。而这些处理单元我们把它称作人工神经元。人工神经网络（ANN）可看成是以人工神经元为节点，用有向加权弧连接起来的有向图。在此有向图中，人工神经元就是对生物神经元的模拟，而有向弧则是轴突—突触—树突对的模拟。有向弧的权值表示相互连接的两个人工神经元间相互作用的强弱。9.1神经网络的基本概念及组成特性图9.2人工神经网络的组成图9.3M－P神经元模型9.1神经网络的基本概念及组成特性2.人工神经元的工作过程对于某个处理单元（神经元）来说，假设来自其他处理单元（神经元）i的信息为Xi，它们与本处理单元的互相作用强度即连接权值为Wi,i=0,1,…,n-1,处理单元的内部阈值为θ。那么本处理单元（神经元）的输入为10niiixw而处理单元的输出为（9.1.1）)xw(fy1n0iii（9.1.2）式中，xi为第i个元素的输入，wi为第i个处理单元与本处理单元的互联权重。f称为激发函数或作用函数，它决定节点（神经元）的输出。9.1神经网络的基本概念及组成特性(a)阈值型(b)分段线性型(c)Sigmoid函数型(d)双曲正切型图常用的激发函数1n0iiixw＝这里，激发函数一般具有非线性特性,常用的非线性激发函数如图所示称为激活值9.1神经网络的基本概念及组成特性•阈值型函数又称阶跃函数，它表示激活值σ和其输出f(σ)之间的关系。阈值型函数为激发函数的神经元是一种最简单的人工神经元，也就是我们前面提到的M-P模型。•线性分段函数可以看作是一种最简单的非线性函数，它的特点是将函数的值域限制在一定的范围内，其输入、输出之间在一定范围内满足线性关系，一直延续到输出为最大域值为止。但当达到最大值后，输出就不再增大。•S型函数是一个有最大输出值的非线性函数，其输出值是在某个范围内连续取值的。以它为激发函数的神经元也具有饱和特性。•双曲正切型函数实际只是一种特殊的S型函数，其饱和值是－1和1。9.1神经网络的基本概念及组成特性3.人工神经网络的结构人工神经网络中，各神经元的不同连接方式就构成了网络的不同连接模型。常见的连接模型有:前向网络。从输入层到输出层有反馈的网络。层内有互联的网络。互联网络。9.1神经网络的基本概念及组成特性4.人工神经网络的分类及其主要特征•分类按性能分：连续型和离散型网络，或确定型和随机型网络。按拓扑结构分：有反馈网络和无反馈网络。按学习方法分：有教师的学习网络和无教师的学习网络。按连接突触性质分：一阶线性关联网络和高阶非线性关联网络。9.1神经网络的基本概念及组成特性•人工神经网络具有以下主要特征：（1）能较好的模拟人的形象思维。（2）具有大规模并行协同处理能力。（3）具有较强的学习能力。（4）具有较强的容错能力和联想能力。（5）是一个大规模自组织、自适应的非线性动力系统。9.1神经网络的基本概念及组成特性•9.1.3人工神经网络研究的兴起与发展•人工神经网络的研究经历了不少的曲折，大体上可分为四个阶段:产生时期(20世纪50年代中期之前)高潮时期(20世纪50年代中期到20世纪60年代末期)低潮时期(20世纪60年代末到20世纪80年代初期)蓬勃发展时期(20世纪80年代以后)9.1神经网络的基本概念及组成特性•9.2.1感知器模型•感知器模型是美国学者罗森勃拉特（Rosenblatt）为研究大脑的存储、学习和认知过程而提出的一类具有自学习能力的神经网络模型，它把神经网络的研究从纯理论探讨引向了从工程上的实现。•Rosenblatt提出的感知器模型是一个只有单层计算单元的前向神经网络，称为单层感知器。9.2感知器模型及其学习算法•9.2.2单层感知器模型的学习算法•算法思想：首先把连接权和阈值初始化为较小的非零随机数，然后把有n个连接权值的输入送入网络，经加权运算处理，得到的输出如果与所期望的输出有较大的差别，就对连接权值参数按照某种算法进行自动调整，经过多次反复，直到所得到的输出与所期望的输出间的差别满足要求为止。•为简单起见，仅考虑只有一个输出的简单情况。设xi(t)是时刻t感知器的输入（i=1,2,......,n），ωi(t)是相应的连接权值，y(t)是实际的输出，d(t)是所期望的输出，且感知器的输出或者为1，或者为0，则单层感知器的学习算法9.2感知器模型及其学习算法感知器模型学习算法•9.2.3线性不可分问题•单层感知器不能表达的问题被称为线性不可分问题。1969年，明斯基证明了“异或”问题是线性不可分问题：“异或”（XOR）运算的定义如下：其相应的逻辑运算真值表1,xxif0,)x,y(x2121其他9.2感知器模型及其学习算法由于单层感知器的输出为y(x1,x2)=f(ω1×x1+ω2×x2-θ)所以，用感知器实现简单逻辑运算的情况如下：（1）“与”运算（x1∧x2）令ω1=ω2=1，θ=2，则y=f(1×x1+1×x2-2)显然，当x1和x2均为1时，y的值1；而当x1和x2有一个为0时，y的值就为0。（2）“或”运算（x1∨x2）令ω1=ω2=1,θ=0.5y=f(1×x1+1×x2-0.5)显然，只要x1和x2中有一个为1，则y的值就为1；只有当x1和x2都为0时，y的值才为0。9.2感知器模型及其学习算法（3）“非”运算（～X1）令ω1=-1，ω2=O，θ=-0.5，则y=f((-1)×x1+1×x2+0.5))显然，无论x2为何值，x1为1时，y的值都为0；x1为O时，y的值为1。即y总等于～x1。（4）“异或”运算（x1XORx2）如果“异或”（XOR）问题能用单层感知器解决，则由XOR的真值表9-1可知，ω1、ω2和θ必须满足如下方程组：ω1+ω2-θ＜0ω1+0-θ≥00+0-θ＜00+ω2-θ≥0显然，该方程组是无解，这就说明单层感知器是无法解决异或问题的。9.2感知器模型及其学习算法异或问题是一个只有两个输入和一个输出，且输入输出都只取1和0两个值的问题，分析起来比较简单。对于比较复杂的多输入变量函数来说，到底有多少是线性可分的？多少是线性不可分的呢？相关研究表明，线性不可分函数的数量随着输入变量个数的增加而快速增加，甚至远远超过了线性可分函数的个数。也就是说，单层感知器不能表达的问题的数量远远超过了它所能表达的问题的数量。这也难怪当Minsky给出单层感知器的这一致命缺陷时，会使人工神经网络的研究跌入漫长的黑暗期。9.2感知器模型及其学习算法•9.2.4多层感知器•在单层感知器的输入部分和输出层之间加入一层或多层处理单元，就构成了二层或多层感知器。•在多层感知器模型中，只允许某一层的连接权值可调，这是因为无法知道网络隐层的神经元的理想输出，因而难以给出一个有效的多层感知器学习算法。•多层感知器克服了单层感知器的许多缺点，原来一些单层感知器无法解决的问题，在多层感知器中就可以解决。例如，应用二层感知器就可以解决异或逻辑运算问题9.2感知器模型及其学习算法9.3.1反向传播模型及其网络结构•反向传播模型也称B-P模型，是一种用于前向多层的反向传播学习算法。之所以称它是一种学习方法，是因为用它可以对组成前向多层网络的各人工神经元之间的连接权值进行不断的修改，从而使该前向多层网络能够将输入它的信息变换成所期望的输出信息。之所以将其称作为反向学习算法，是因为在修改各人工神经元的连接权值时，所依据的是该网络的实际输出与其期望的输出之差，将这一差值反向一层一层的向回传播，来决定连接权值的修改。9.3反向传播模型及其学习算法•B-P算法的网络结构是一个前向多层网络，如图所示。9.3反向传播模型及其学习算法9.3.2反向传播网络的学习算法B-P算法的学习目的是对网络的连接权值进行调整，使得调整后的网络对任一输入都能得到所期望的输出。•学习过程由正向传播和反向传播组成。•正向传播用于对前向网络进行计算，即对某一输入信息，经过网络计算后求出它的输出结果。•反向传播用于逐层传递误差，修改神经元间的连接权值，以使网络对输入信息经过计算后所得到的输出能达到期望的误差要求。9.3反向传播模型及其学习算法B-P算法的学习过程如下：（1）选择一组训练样例，每一个样例由输入信息和期望的输出结果两部分组成。（2）从训练样例集中取一样例，把输入信息输入到网络中。（3）分别计算经神经元处理后的各层节点的输出。（4）计算网络的实际输出和期望输出的误差。（5）从输出层反向计算到第一个隐层，并按照某种能使误差向减小方向发展的原则，调整网络中各神经元的连接权值。（6）对训练样例集中的每一个样例重复（3）—（5）的步骤，直到对整个训练样例集的误差达到要求时为止。9.3反向传播模型及其学习算法在以上的学习过程中，第（5）步是最重要的，如何确定一种调整连接权值的原则，使误差沿着减小的方向发展，是B-P学习算法必须解决的问题。9.3反向传播模型及其学习算法图9.11B-P学习算法的流程图B-P算法的优缺点：优点：理论基础牢固，推导过程严谨，物理概念清晰，通用性好等。所以，它是目前用来训练前向多层网络较好的算法。缺点：（1）该学习算法的收敛速度慢；（2）网络中隐节点个数的选取尚无理论上的指导；（3）从数学角度看，B-P算法是一种梯度最速下降法，这就可能出现局部极小的问题。当出现局部极小时，从表面上看，误差符合要求，但这时所得到的解并不一定是问题的真正解。所以B-P算法是不完备的。9.3反向传播模型及其学习算法9.3.3反向传播计算的举例设图9.12是一个简单的前向传播网络，用B-P算法确定其中的各连接权值时，的计算方法如下：9.3反向传播模型及其学习算法9.3反向传播模型及其学习算法9.3反向传播模型及其学习算法9.3反向传播模型及其学习算法9.4.1Hopfield模型Hopfield模型是霍普菲尔德分别于1982年及1984提出的两个神经网络模型。1982年提出的是离散型，1984年提出的是连续型，但它们都是反馈网络结构。图9.13给出了一个简单的反馈神经网络图。9.4Hopfield模型及其学习算法由于在反馈网络中，网络的输出要反复地作为输入再送入网络中，这就使得网络具有了动态性，网络的状态在不断的改变之中，因而就提出了网络的稳定性问题。所谓一个网络是稳定的是指从某一时刻开始，网络的状态不再改变。设用X(t)表示网络在时刻t的状态，如果从t=０的任一初态X(0)开始，存在一个有限的时刻t，使得从此时刻开始神经网络的状态不再发生变化，即(9.4.1)就称此网络是稳定的。)t(X)tt(X0t9.4Hopfield模型及其学习算法离散网络模型是一个离散时间系统，每个神经元只有两个状态，可以用1和0来表示，由连接权值Ｗij所构成的矩