3人工神经网络基础

2020/1/121第3章人工神经网络基础2020/1/122第3章人工神经网络基础3.1生物神经网3.2人工神经元3.3人工神经网络模型3.4人工神经网络的训练学习2020/1/1233.1生物神经网胞体(Soma)树突（Dendrite）胞体(Soma)轴突（Axon）突触（Synapse）1构成•人脑由神经元构成，没有任何两个神经元在形状上是完全相同的。但是大多数神经元共同具有某些结构上的特征：细胞体、树突、突触和轴突。•树突是接受信号的输入，信息是通过突触由一个细胞传递至另一个细胞。而轴突是从细胞体伸展出来，形成一条通路，信号可以经过此通道从细胞体长距离地传达到脑和神经系统的其它部分。2020/1/1242、工作过程2020/1/125Cellbody(soma)DendriteNucleus神经元(Neuron)AxonSynapse树突(Dendtrite)：输入端轴突(Axon)：输出端突触(Synapse)：不同神经元的轴突与树突的结合部，不同神经元的相互作用用权值表示，学习就是调整权值，胞体(Soma)：是非线性输入/输出的单元，可用阈值、分段、Sigmod函数近似从仿生学角度：2020/1/1263、生物神经网基本特征–1）神经元及其联接；–2）神经元之间的联接强度决定信号传递的强弱；–3）神经元之间的联接强度是可以随训练改变的；–4）信号可以是起刺激作用的，也可以是起抑制作用的；–5）一个神经元接受的信号的累积效果决定该神经元的状态；–6)每个神经元可以有一个“阈值”。2020/1/1273.2人工神经元•神经元是构成神经网络的最基本单元（构件）。•人工神经元模型应该具有生物神经元的六个基本特性。2020/1/1283.2.1人工神经元的基本构成•人工神经元模拟生物神经元的一阶特性。–输入：X=（x1，x2，…，xn）–联接权：W=（w1，w2，…，wn）T–网络输入：net=∑xiwi–向量形式：net=XWxnwn∑x1w1x2w2net=XW…2020/1/1293.2.2激活函数(ActivationFunction)•激活函数——执行对该神经元所获得的网络输入的变换，也可以称为激励函数、活化函数：o=f（net）•1、线性函数（LinerFunction）f（net）=k*net+cnetooc2020/1/12102、非线性斜面函数(RampFunction)γifnet≥θf（net）=k*netif|net|θ-γifnet≤-θ•γ0为一常数，被称为饱和值，为该神经元的最大输出。2020/1/12112、非线性斜面函数（RampFunction）γ-γθ-θneto2020/1/12123、阈值函数（ThresholdFunction）阶跃函数βifnetθf（net）=-γifnet≤θβ、γ、θ均为非负实数，θ为阈值二值形式：1ifnetθf（net）=0ifnet≤θ双极形式：1ifnetθf（net）=-1ifnet≤θ2020/1/12133、阈值函数（ThresholdFunction）或阶跃函数β-γθonet02020/1/12144、S形函数压缩函数（SquashingFunction）和逻辑斯特函数（LogisticFunction）。f（net）=a+b/(1+exp(-d*net))a，b，d为常数。它的饱和值为a和a+b。最简单形式为：f（net）=1/(1+exp(-d*net))函数的饱和值为0和1。•S形函数有较好的增益控制2020/1/12154、S形函数a+bo(0,c)netac=a+b/22020/1/1216二值函数双极函数S型函数线性函数2020/1/12173.2.3M-P模型x2w2∑fo=f（net）xnwn…net=XWx1w1McCulloch—Pitts（M—P）模型，也称为处理单元（PE）2020/1/12183.3人工神经网络的拓扑特性连接的拓扑表示ANiwijANj2020/1/12193.3.1联接模式•用正号（“+”，可省略）表示传送来的信号起刺激作用，它用于增加神经元的活跃度；•用负号（“-”）表示传送来的信号起抑制作用，它用于降低神经元的活跃度。•层次（又称为“级”）的划分，导致了神经元之间的三种不同的互连模式：2020/1/12203.3.1联接模式•1、层（级）内联接–层内联接又叫做区域内（Intra-field）联接或侧联接（Lateral）。–用来加强和完成层内神经元之间的竞争•2、循环联接–反馈信号。2020/1/12213.3.1联接模式•3、层（级）间联接–层间（Inter-field）联接指不同层中的神经元之间的联接。这种联接用来实现层间的信号传递–前馈信号–反馈信号2020/1/12223.3.2网络的分层结构•单级网–简单单级网2020/1/1223简单单级网……x1x2…xno1o2omwmnw11wm1wm2w1n输出层输入层w21w22w2nw122020/1/1224简单单级网–W=（wij）–输出层的第j个神经元的网络输入记为netj：–netj=x1wj1+x2wj2+…+xnwjn–其中,1≤j≤m。取–NET=（net1，net2，…，netm）–NET=XW–O=F（NET）2020/1/1225单级横向反馈网输出层x1o1w11wm1x2o2wm2………xnomw1n输入层Vw21w22w2nwmnw122020/1/1226单级横向反馈网•V=（vij）•NET=XW+OV•O=F（NET）•时间参数——神经元的状态在主时钟的控制下同步变化•考虑X总加在网上的情况–NET（t+1）=X（t）W+O（t）V–O(t+1)=F(NET(t+1))•O（0）=0•考虑仅在t=0时加X的情况。2020/1/1227多级网输出层隐藏层输入层o1o2om…x1x2xn………………2020/1/1228•层次划分–信号只被允许从较低层流向较高层。–层号确定层的高低：层号较小者，层次较低，层号较大者，层次较高。–输入层：被记作第0层。该层负责接收来自网络外部的信息输出层隐藏层输入层o1o2om…x1x2xn………………2020/1/1229–第j层：第j-1层的直接后继层（j0），它直接接受第j-1层的输出。–输出层：它是网络的最后一层，具有该网络的最大层号，负责输出网络的计算结果。–隐藏层：除输入层和输出层以外的其它各层叫隐藏层。隐藏层不直接接受外界的信号，也不直接向外界发送信号输出层隐藏层输入层o1o2om…x1x2xn………………2020/1/1230•约定:–输出层的层号为该网络的层数：n层网络，或n级网络。–第j-1层到第j层的联接矩阵为第j层联接矩阵，输出层对应的矩阵叫输出层联接矩阵。今后，在需要的时候，一般我们用W（j）表示第j层矩阵。输出层隐藏层输入层o1o2om…x1x2xn………………W(1)W(2)W(3)W(h)2020/1/1231多级网——h层网络输出层隐藏层输入层o1o2om…x1x2xn………………W(1)W(2)W(3)W(h)2020/1/1232多级网•非线性激活函数–F(X)=kX+C–F3(F2(F1(XW(1))W(2))W(3))2020/1/1233循环网x1o1输出层隐藏层输入层x2o2omxn…………………2020/1/1234循环网•如果将输出信号反馈到输入端,就可构成一个多层的循环网络。•输入的原始信号被逐步地“加强”、被“修复”。•大脑的短期记忆特征——看到的东西不是一下子就从脑海里消失的。•稳定：反馈信号会引起网络输出的不断变化。我们希望这种变化逐渐减小，并且最后能消失。当变化最后消失时，网络达到了平衡状态。如果这种变化不能消失，则称该网络是不稳定的。2020/1/12353.3.3人工神经网络的构成•大脑神经网络系统之所以具有思维认识等高级功能，是由于它是由无数个神经元相互连接而构成的一个极为庞大而复杂的神经网络系统。人工神经网络也是一样，单个神经元的功能是很有限的，只有用许多神经元按一定规则连接构成的神经网络才具有强大的功能。•神经元的模型确定之后，一个神经网络的特性及能力主要取决于网络的拓扑结构及学习方法。2020/1/1236网络中的神经元是分层排列的，每个神经元只与前一层的神经元相连接。最上一层为输出层，隐含层的层数可以是一层或多层。前向网络3.3.3神经网络的构成2020/1/1237网络的本身是前向型的，与前一种不同的是从输出到输入有反馈回路。从输出到输入有反馈的前向网络2020/1/1238通过层内神经元之间的相互连接，可以实现同一层神经元之间横向抑制或兴奋的机制，从而限制层内能同时动作的神经数，或者把层内神经元分为若干组，让每组作为一个整体来动作。一些自组织竞争型神经网络就属于这种类型。层内互连前向网络2020/1/1239互连网络有局部互连和全互连两种。全互连网络中的每个神经元都与其他神经元相连。局部互连是指互连只是局部的，有些神经元之间没有连接关系。Hopfield网络和Boltzmann机属于互连网络的类型。互连网络2020/1/12403.4人工神经网络的训练•人工神经网络最具有吸引力的特点是它的学习能力。•1962年，Rosenblatt给出了人工神经网络著名的学习定理：人工神经网络可以学会它可以表达的任何东西。•人工神经网络的表达能力大大地限制了它的学习能力。•人工神经网络的学习过程就是对它的训练过程2020/1/1241•神经网络的学习算法很多，归纳为3类：–有导师学习（监督式学习）–无导师学习（非监督式学习）–灌输式学习2020/1/1242有导师学习（监督式学习）•这种模式采用的是纠错规则。在学习训练过程中需要不断给网络成对提供一个输入模式与一个期望网络正确输出的模式，称为“教师信号”；•将神经网络的实际输出同期望输出进行比较，当网络的输出与期望的教师信号不符时，根据差错方向和大小按一定的规则调整权值，以使下一步网络的输出更接近于期望结果。2020/1/1243•对于导师学习，网络在能执行工作任务之前必须先经过学习，当网络对于各种给定的输入均能产生所期望的输出时，即认为网络已经在导师的训练下“学会”了训练集中包含的知识和规则，可以用来进行工作了。2020/1/1244无导师学习（无监督学习）•学习过程中需要不断地给网络提供动态输入信息，网络能根据特有的内部结构和学习规则，在输入信息流中发现可能存在的模式和规律，同时能根据网络的功能和输入信息调整权值，这个过程称为网络的自组织，其结果是使网络能对属于同一类的模式进行自动分类。2020/1/1245灌输式学习•灌输式学习是指先将网络设计成能记忆特别的例子，以后当给定有关该例子的输入信息时，例子便被回忆起来。灌输式学习中网络的权值一旦设计好了就不再变动了，因此其学习是一次性的，而不是一个训练过程。2020/1/1246•网络的运行一般分为训练和工作两个阶段。•训练阶段的目的是为了从训练数据中提取隐含的知识和规律，并存储于网络中供工作阶段使用2020/1/1247神经网络学习规则神经网络学习规则一个神经网络的拓扑结构确定之后，为了使它具有某种智能特性，还必须有相应的学习方法与之配合。可以这样说，学习方法是人工神经网络研究中的核心问题。2020/1/1248神经网络学习规则•对于人工神经网络而言，学习方法归根结底就是网络连接权的调整方法。•人工神经网络连接权的确定通常有两种方法：–一种是根据具体要求：直接计算出来，如Hopfield网络作优化计算时就属于这种情况；–另一种是通过学习得到的，大多数人工神经网络都用这种方法。2020/1/1249神经网络学习规则•人工神经网络中一些基本的、通用的学习规则主要有：–Hebb学习规则–Delta学习规则2020/1/1250神经网络学习规则神经网络学习规则－－Hebb学习规则•DonallHebb根据生理学中条件反射机理，于1949年提出的神经元连接强度变化的规则：1.如果两个神经元同时兴