第4章 人工神经网络基础

版权所有复制必究20091第四章人工神经网络基础引言1生物神经元2人工神经元3人工神经网络的模型分类4版权所有复制必究20092第4.1节引言4.1.1人工神经网络发展简史4.1.2人工神经网络的特性4.1.3人工神经网络研究的基本内容版权所有复制必究20093第4.1节引言4.1.1人工神经网络发展简史4.1.2人工神经网络的特性4.1.3人工神经网络研究的基本内容版权所有复制必究200944.1人工神经网络发展简史1943年1943-1969初创期•心理学家McCulloch和数学家Pitts提出形式神经元数学模型（MP模型），揭开神经科学理论的新时代。•Hebb提出改变神经元连接强度的Hebb规则。•Rosenblatt提出感知器概念，由阈值型神经元组成，试图模拟人的感知、学习能力。•Minsky与Papert发表《Perceptrons》。1944年1957年1969年版权所有复制必究200954.1.1人工神经网络发展简史1982年1970-1986过渡期Hopfield提出了HNN模型，引入“计算能量函数”概念，给出网络稳定性判据。•Boltzmann机提出，设计、研制电子电路，为工程实现指明方向。•Rumelhart等PDP（并行分布式处理）研究小组提出了多层前向传播网络的BP算法，开辟了NN的应用新途径。1985年1986年版权所有复制必究200964.1.1人工神经网络发展简史1987年1987-现在发展期美国圣地亚哥第一届世界神经网络会议。美国国防部高等研究工程局:发展NN及应用研究的8年计划。•NN的国际会议增多。IEEETrans.onNN创刊。•NN的模型有几百个。基础理论、模型与算法的研究。•1989年，广东第一届神经网络-信号处理会议。•1990年开始，神经网络学术会议，年会。90年代后国内情况版权所有复制必究20097第4.1节引言4.1.1人工神经网络发展简史4.1.2人工神经网络的特性4.1.3人工神经网络研究的基本内容版权所有复制必究200984.1.2人工神经网络的特性非线性映射•近似任意非线性映射，适用于非线性辨识与控制。•通过训练具有归纳数据的能力，更适用于非模型描述的控制。•可在线运行和信息融合，适用于复杂、大规模和多变量系统的控制。•硬件实现，神经网络成为具有快速和大规模处理能力的实现网络。可学习适应与集成硬件实现•具有高度的并行结构和并行实现能力，适用于在线控制。并行性版权所有复制必究20099第4.1节引言4.1.1人工神经网络发展简史4.1.2人工神经网络的特性4.1.3人工神经网络研究的基本内容版权所有复制必究2009104.1.3人工神经网络研究的基本内容理论研究应用研究实现研究单神经元数学模型神经网络拓扑结构神经网络学习算法神经网络泛化能力神经网络动力学图像处理与识别语音信号处理与识别数据的存储与记忆组合优化复杂系统控制硬件实现电路NN模型的通用硬件系统（神经网络计算机）Matlab神经网络工具箱版权所有复制必究2009114.2.1生物神经元的结构4.2.2生物神经元的信息处理机制第4.2节生物神经元版权所有复制必究200912来自其它细胞轴突的神经末稍轴突树突细胞膜神经末稍来自其它细胞轴突的神经末稍轴突树突突触细胞膜神经末稍细胞体细胞核细胞体细胞核细胞质细胞膜树突：胞体上短而多分支的突起，相当于神经元的输入端，接收传入的神经冲动。轴突（神经纤维）：胞体上最长枝的突起，端部有很多神经末梢，传出神经冲动。细胞膜电位：神经细胞在受到电的、化学的、机械的刺激后能产生兴奋，此时细胞膜内外有电位差，称为膜电位，其电位膜内为正，膜外为负。4.2.1生物神经元的结构版权所有复制必究200913来自其它细胞轴突的神经末稍轴突树突细胞膜神经末稍来自其它细胞轴突的神经末稍轴突树突突触细胞膜神经末稍细胞体细胞核突触：是神经元之间的连接接口。一个神经元，通过其轴突的神经末梢，经突触与另一个神经元的树突连接，以实现信息的传递。由于突触的信息传递特性是可变的，随着神经冲动传递方式的变化，传递作用强弱不同，形成了神经元之间连接的柔性，称为结构的可塑性。4.2.1生物神经元的结构版权所有复制必究200914来自其它细胞轴突的神经末稍轴突树突细胞膜神经末稍来自其它细胞轴突的神经末稍轴突树突突触细胞膜神经末稍细胞体细胞核兴奋与抑制：若传入神经元的冲动经整合后使细胞膜电位升高，超过动作电位的阈值时即为兴奋状态，产生神经冲动，由轴突经神经末梢传出；若传入神经元的冲动经整合后使细胞膜电位降低，低于阈值时即为抑制状态，不产生神经冲动。学习与遗忘：由于神经元结构的可塑性，突触的传递作用可增强与减弱，因此神经元具有学习与遗忘的功能。4.2.1生物神经元的结构版权所有复制必究2009154.2.2生物神经元的信息处理机制神经元形式化结构y1x2xnx1w2wnwu神经元具有的特征1.时空整合空间整合时间整合时空整合1niiiuwx'''1()()tniiiuwttxtdt输入信号的影响会短时间地持续，和后到达的输入信号的影响同时起作用，也就是说，神经元对于不同时间通过同一突触的输入信号具有时间整合的功能。版权所有复制必究200916神经元具有的特征2.阈值特性0yuyu当当神经元输入和输出是非线性的关系3.不应期无输出信号。上升为无穷大。4.疲劳阈值慢慢增加时，神经元很难兴奋5.突触的可塑性突触的结合强度会随着输入信号和输出信号发生变化，使得神经细胞具有学习和记忆的能力6.输出信号的种类离散的（脉冲信号）；连续信号4.2.2生物神经元的信息处理机制版权所有复制必究200917第4.3节人工神经元4.3.1人工神经元的数学模型4.3.2人工神经元的激励函数版权所有复制必究200918出发点：模拟生物神经元的结构和功能，从数学角度抽象出来一个基本单元。神经元模型：是生物神经元的抽象和模拟；是人工神经网络的最基本组成部分；是一多输入单输出的非线性处理单元。神经网络直观理解：神经网络是一个并行和分布式的信息处理网络结构，它一般由许多个神经元组成，每个神经元只有一个输出，它可以连接到很多其它的神经元，每个神经元输入有多个连接通道，每个连接通道对应于一个连接权系数。引言版权所有复制必究200919iy1x2xnx1iw2iwinwisiiu结构数学描述iinjjijisxwNet1输入：iiNetfu状态：iiiNethugy输出：通常有：iiuug则：iiNetfy:阈值；i:输入信号，可理解为其它神经元的输出；jxijw:从ui到xj的连接权值（注意其下标与方向）；is:外部输入信号；iy:神经元的输出4.3.1人工神经元的数学模型版权所有复制必究2009200001iiiNetNetNetf０１f阈值型iNet1max100000iiiiiiiiiiNetNetfNetNetNetNetNetkNetNetNetf分段线性型0iNet1iNetiNetfmaxfk4.3.2人工神经元的激励函数版权所有复制必究200921Tan函数型iNetf01TNetiieNetf11Tfff1)1('T：比例因子，调整函数的上升坡度。T越大，f上升越慢；T越小，f上升越快，很快饱和。TNetTNetTNetTNetiiiiieeeeNetfTff1)1(2'Sigmoid函数型iNetf010.5T1T2T1T24.3.2人工神经元的激励函数版权所有复制必究200922控制输入对输出的激活作用；对输入、输出进行函数转换；将可能无限域的输入变换成指定的有限范围内的输出。激励函数的作用：4.3.2人工神经元的激励函数版权所有复制必究200923第4.4节人工神经元网络的模型分类4.4.1根据组织和抽象层次分类4.4.2根据连接方式和信息流向分类版权所有复制必究200924神经元层次模型：仅研究单一神经元的动态和自适应特性，探索神经元对输入信息的处理和存储能力。组合式模型：由多个不同神经元组成，功能比单一神经元强大。网络层次模型：由多个相同神经元组成的网络结构，网络的整体性能为研究重点。神经系统层次模型（多种网络）：由多个不同性质的神经网络构成，以模拟生物神经系统更复杂，更抽象的特性。4.4.1根据组织和抽象层次分类版权所有复制必究2009251y2yny...1x2xnx....前向网络特点•神经元分层排列，组成输入层、隐含层（可以有若干层）和输出层；•每一层的神经元只接收前一层神经元的输入；•各神经元之间不存在反馈，信号在各层中顺序传播。典型网络BP网络，感知器4.4.2根据连接方式和信息流向分类版权所有复制必究200926特点仅在输出层到输入层存在反馈，即每一个输入节点都有可能接受来自外部的输入和来自输出神经元的反馈，故可用来存储某种模式序列。应用神经认知机，动态时间序列过程的神经网络建模1y2yny...1x2xnx....反馈网络4.4.2根据连接方式和信息流向分类版权所有复制必究200927特点网状结构；任两个神经元之间都有可能存在连接（反馈）。典型网络Hopfield网络，Boltzmann机网络注：在无反馈的前向网络中，信号一旦通过某个神经元，过程就结束了。而在相互结合网络中，信号在神经元之间反复往返传递，网络处在一种不断改变状态的动态之中。相互结合型网络（全互连）4.4.2根据连接方式和信息流向分类版权所有复制必究2009281y2yny...1x2xnx....特点•前两者的混合；•同层内神经元相互连接；•可以实现同一层内神经元之间的横向抑制或兴奋机制。这样可以限制每层内能同时动作的神经元数，或者把每层内的神经元分为若干组，让每组作为一个整体来动作。典型网络回归神经网络（RNN）混合型网络（层内互连）4.4.2根据连接方式和信息流向分类版权所有复制必究200929连接权的确定方法：（1）根据具体要求，直接计算出来，如Hopfield网络作优化计算时就属于这种情况。（2）通过学习得到的，大多数人工神经网络都用这种方法。学习实质：针对一组给定输入Xp(p=1,2,…,N)，通过学习使网络动态改变权值，从而使其产生相应的期望输出Yd的过程。学习算法分类：有导师学习、无导师学习、强化学习第4.5节人工神经网络的学习版权所有复制必究200930神经网络W距离计算期望输出dYpY网络输出pX输入信号dpYYe偏差e注：在训练过程中，存在一个期望的网络输出。它是基于误差来调整网络权值的。应用：感知器网络;多层前向传播网络;Ｂoltzmann机网络。有导师学习学习算法版权所有复制必究200931神经网络WpY网络输出pX输入信号注：网络不存在一个期望的输出，通过建立一个间接评价函数，对网络的某种行为趋向作出评价，改变神经网络数值。应用：ART网络；Kohonen自组织网络。无导师学习学习算法版权所有复制必究200932学习机环境输出—动作输入状态er强化学习把学习看做试探性评价（奖或惩）过程。学习机选择一种动作作用于环境之后，使环境的状态改变，并产生强化信号（奖或惩）反馈至学习机。学习机依据强化信号与环境当前的状态，再选择下一动作作用于环境，选择的原则是使受到奖励的可能性最大。可见，强化信号是环境对学习机学习结果的一个评价。再励学习学习算法版权所有复制必究200933相关学习：仅根据连接间的激活水平改变权系数。jiijvvwHebb学习规则：纠错学习：根据输出节点的外部反馈改变权系数。学习规则：ijijvW)(,jjjyyF无导师学习：学习表现为自动实现输入空间的检测和分类。关键不在于实际节点的输出怎样与外部的期望输出相一致，而在于调整参数以反映所观察事件的分布。学习规则版权所有复制必究200934NeuralNetworks（国际神经网络协会会刊）IEEETransactionsonNeuralNetwor