第六章人工神经网络

2019/12/18•人工神经网络（ArtificialNeuralNetwork，简称ANN）是指由简单计算单元组成的广泛并行互联的网络，能够模拟生物神经系统的结构和功能。•组成神经网络的单个神经元的结构简单，功能有限，但是，由大量神经元构成的网络系统可以实现强大的功能。•人工神经网络在模式识别、计算机视觉、智能控制、信号处理、语音识别、知识处理、机器学习、数据挖掘等领域有着广泛的应用前景。第六章人工神经网络2019/12/18最早的形式化神经元数学模型是M-P模型，由美国心理学家McCulloch和数理逻辑学家Pitts合作于1943年提出1949年，心理学家Hebb提出Hebb学习规则。1958年，计算机科学家Rosenblatt提出感知器(Perception)的概念，掀起人工神经网络研究的第一次高潮。1982年，美国加州工学院的生物物理学家Hopfield提出Hopfield网络模型，这标志着神经网络研究高潮的再次兴起。2019/12/18神经网络由许多基本单元构成，这些基本单元模仿了人脑的神经元。如果将多个基本单元以适当的方式连接起来，就构成了神经网络。基本单元之间的连接相当于人脑中神经元的连接。基本单元之间的连接方式有多种，从而形成了多种神经网络。神经网络可以模仿人的头脑，通过向一个训练数据集学习和应用所学知识来生成分类和预测的模式。在数据没有任何明显模式的情况下，这种方法很有效。1.神经网络2019/12/18使用神经网络模型近似多变量函数，如此处，函数f(…)是未知的。Xi代表输入变量，wi代表系数。2019/12/18如果至少有两个变量输入为1，那么输出y的结果就是1。2019/12/18人工神经元是对生物神经元的抽象与模拟。1943年，心理学家麦克洛奇（W．McMulloch）和数理逻辑学家皮茨（W．Pitts）根据生物神经元的功能和结构，提出了一个将神经元看作二进制阈值元件的简单模型，即M-P模型，如图所示。图M-P神经元模型θx1x2xnyω1ω2ωn2.人工神经元网络模型∑2019/12/18在图中，x1，x2，…，xn表示某一神经元的n个输入；ωi表示第i个输入的连接强度，称为连接权值，正数权值表示兴奋性输入，负数权值表示抑制性输入；θ为神经元兴奋时的阈值，当神经元输入的加权和大于θ时，神经元处于兴奋状态；y为神经元的输出。可以看出，人工神经元是一个具有多输入，单输出的非线性器件。M-P神经元模型的输入是∑ωi*xi(i=1,2,……,n)输出是y=f(σ)=f(∑ωi*xi–θ)其中f称之为神经元功能函数或作用函数/激发函数。2019/12/18Y=sign(0.3x1+0.3x2+0.3x3-0.4)其中，Sign(x)=1ifx0-1ifx02019/12/18常用的人工神经元模型功能函数f是表示神经元输入与输出之间关系的函数，根据功能函数的不同，可以得到不同的神经元模型。常用的神经元模型有以下几种。（1）阈值型（Threshold）这种模型的神经元没有内部状态，作用函数f是一个阶跃函数，它表示激活值σ和其输出f(σ)之间的关系，如图所示。σf(σ)10图阈值型神经元的输入／输出特性2019/12/18阈值型神经元是一种最简单的人工神经元，也就是我们前面提到的M-P模型。这种二值型神经元，其输出状态取值1或0，分别代表神经元的兴奋和抑制状态。某一时刻，神经元的状态由功能函数f来决定。当激活值σ＞0时，即神经元输入的加权总和超过给定的阈值时，该神经元被激活，进入兴奋状态，其状态f(σ)为1；否则，当激活值σ＜0时，即神经元输入的加权总和不超过给定的阈值时，该神经元不被激活，其状态f(σ)为0。2019/12/18（2）分段线性强饱和型（LinearSaturation）这种模型又称为伪线性，其输入／输出之间在一定范围内满足线性关系，一直延续到输出为最大值1为止。但当达到最大值后，输出就不再增大。如图所示。图线性饱和型神经元的输入／输出特性f(σ)σ012019/12/18对称型阶跃函数函数0,10,1)(xxxf采用阶跃作用函数的神经元，称为阈值逻辑单元。2019/12/18（3）S型（Sigmoid）这是一种连续的神经元模型，其输出函数也是一个有最大输出值的非线性函数，其输出值是在某个范围内连续取值的，输入输出特性常用指数、对数或双曲正切等S型函数表示。它反映的是神经元的饱和特性，如图所示。σf(σ)图S型神经元的输入／输出特性102019/12/18对称型Sigmoid函数xxeexf11)(0,11)(xxeexf或2019/12/18非对称型Sigmoid函数xexf11)(或0,11)(xexf2019/12/184、线性函数（1）线性作用函数：输出等于输入，即xxfy)(（2）饱和线性作用函数110010)(xxxxxfy（3）对称饱和线性作用函数111111)(xxxxxfy2019/12/18（4）子阈累积型（SubthresholdSummation）这种类型的作用函数也是一个非线性函数，当产生的激活值超过T值时，该神经元被激活产生一个反响。在线性范围内，系统的反响是线性的，如图所示。σf(σ)T01图子阈累积型神经元的输入／输出特性2019/12/185、高斯函数)(22)(xexf反映出高斯函数的宽度2019/12/181）神经元及其联接；2）神经元之间的联接强度决定信号传递的强弱；3）神经元之间的联接强度是可以随训练改变的；4）信号可以是起刺激作用的，也可以是起抑制作用的；5）一个神经元接受的信号的累积效果决定该神经元的状态；6)每个神经元可以有一个“阈值”。3.神经元模型的六个基本特征2019/12/184.人工神经网络的学习方式死记式学习：网络连接权值根据特殊记忆模式设计而成，其值不变。在网络输入相关模式时，唤起对记忆模式的回忆，对输入模式进行相应处理。有监督学习：网络将实际输出和教师指定的输出加以比较，得到在一定范数意义下的误差，由误差函数决定连接权值的调整，目的是使误差函数达到最小值。无监督学习：网络的学习是自我调整的过程，不存在教师示教来指示网络输出是否正确。有监督与无监督的混合学习：混合学习过程首先采用无监督学习抽取输入模式的特征，然后利用有监督学习方式对其进行处理，形成输入输出的某种映射。2019/12/18一个典型的三层神经网络结构2019/12/185.单层神经网络--感知器2019/12/182019/12/186.多层前馈神经网络•最流行的神经网络算法是20世纪80年代提出的后向传播算法。•这种算法是在多层前馈神经网络基础上运行的。2019/12/18输入层隐藏层输出层前馈神经网络是分层网络模型，具有一个输入层、一个输出层，输入层和输出层之间有一个或多个隐藏层。每个层具有若干个单元，前一层单元与后一层单元之间通过有向加权边相连。2019/12/18输入层节点的数据与训练样本的非类别属性数目对应，通常一个连续属性对应一个输入层单元，一个p值离散属性对应p个输入层单元；输出层节点的数据与训练样本的类别数目对应；隐藏层层数及隐藏层节点的数目目前尚无理论指导，凭经验选取。但是，至今也没有一个明确的理论来指导我们如何确定每个隐含层的节点数和网络的层数。在实践中通常用试错法。2019/12/18红紫绿圆长番茄茄子黄瓜2019/12/18mk-fweightedsumInputvectorxoutputyActivationfunctionweightvectorww0w1wnx0x1xn一个隐藏或输出单元j:j的输入是来自前一层的输出；这些输出与对应的权相乘，形成加权和；加权和加到与单元j相连的阈值（偏置）上；一个非线性的激活函数作用于净输入2019/12/18mk-fweightedsumInputvectorxoutputyActivationfunctionweightvectorww0w1wnx0x1xn)sign(yExampleForn0ikiixwm2019/12/18mk-fweightedsumInputvectorxoutputyActivationfunctionweightvectorww0w1wnx0x1xn在实践中发现logistic函数（s形函数）效果最好。2019/12/18OutputnodesInputnodesHiddennodesOutputvectorInputvector:xiwijijiijjOwIjIjeO112019/12/187.BP网络•BP算法是目前应用最广泛的一种人工神经网络模型。•1986年，Rumelhart和McCelland提出了误差后向传播（ErrorBackPropagation）算法，通常称为后向传播或反向传播算法，简称BP算法，标志着BP算法的产生，成功地解决了多层网络中隐含层神经元连接权值的学习问题。•基本的BP算法采用有监督学习方式，基于梯度下降算法，极小化误差函数。其主要思想是将学习过程分为信号正向传播过程和误差后向传播过程两个阶段。2019/12/18•BP神经网络是一种具有三层或三层以上结构的神经网络，包括输入层、隐层和输出层。层与层之间多采用全互连方式，但同一层的节点之间不存在相互连接。图BP神经网络模型2019/12/18BP网络的各层之间具有不同的功能：•输入层节点上的神经元接受外部环境的输入模式，并由它传递给相连隐层上的各个神经元。•隐层是神经元网络的内部处理层，这些神经元在网络内部构成中间层，由于它们不直接与外部输入、输出打交道，故称隐层。人工神经网络所具有的模式变换能力主要体现在隐层的神经元上。•输出层用于产生神经网络的输出模式。2019/12/18向后传播方法通过迭代处理一组训练样本，将每个样本的网络预测与实际指导的类标号比较，进行学习。对于每个训练样本，修改权，使得网络预测和实际类之间的均方误差最小。这种修改“后向”进行。即由输出层，经由每个隐藏层，到第一个隐藏层。一般地，权将最终收敛，学习过程停止。反向传播算法的速度使得神经网络成为一个实际的工具，正是因为反向传播算法的有效性，才使得80年代中期，对神经网络的强烈兴趣复苏。2019/12/182019/12/18BP神经网络是对人类神经系统的一种模拟。尽管人类神经系统规模宏大、结构复杂、功能神奇，但其最基本的处理单元却只有神经元。BP神经系统的功能实际上是通过大量神经元的广泛互连，以规模宏伟的并行运算来实现的。2019/12/18相关概念设(Xp,Tp)表示输入样本，p{1,2,…,N}，N为输入样本的个数。W表示网络权向量。其中：Xp=（Xp1，Xp2，…，Xpn）,误差函数：E(W)=g(f(W,Xp,Tp))，E称为误差（测度）函数。用误差函数来判别网络的实际输出向量Yp与教师信号向量Tp的误差。常采用二乘误差函数加以判别（m为输出向量的维数）：NpmiipipNpppNppYTEE112121212121YTTpppttT),...,(m12019/12/18映射：对于给定的一组数据(Xp,Tp)，神经网络通过一组特定的权值W，实现一定精度的映射。训练目的是希望得到的权值能产生最小的误差和最好的精度。从XpRn到TpRm的映射记为：f:XpRnTpRm误差曲面：若隐层与输出层间的权值数目记为m·n2，对于给定的训练样本(Xp,Tp)，网络权向量W(W1,W2,…,Wm·n2)，通过误差函数E(W)计算出来的映射误差可描述为m·n2+1空间的一个曲面，称为误差曲面。不同的E(W)对应不同的误差曲面形状。392019/12/18网络学习：是指按照某种学习规则选取新的W’，使E(W’)≤E(W)，即使E(W)对应的误差曲