2010数模比赛论文_神经网络模型

1神经元网络模型的研究摘要生物神经网络是由很多神经元相互连接的，神经网络系统是一个极为庞大且错综复杂的系统。虽然每个神经元十分简单，但是，如此大量神经元之间非常复杂的连接却可以演化出丰富多彩的行为方式。同时，如此大量神经元与外部感受器之间的多种多样的连接方式也蕴含了变化莫测的反应方式。本文主要阐述其数学建模和信号处理以及对于不同的权值、阀值，所建立模型可能产生的各种动力学行为。由神经元通过突触联结而组成的生物神经网络可以处理信息和产生特定的电特性,认知神经网络信息的产生和传递机理。由于神经网络内部复杂的非线性反馈,从微观的生理结构进行各种可能的实验十分困难。通过分析神经网络的生理和生化结构,将信息学与生物医学相结合,利用计算机仿真可以系统地分析神经网络的内部结构和外部属性。为此,本文设计和实现了生物神经网络的计算机仿真系统,该仿真系统涉及生物神经网络的等效电路、数学建模、数据表达、信号处理和并行运算。在处理问题（1）中，本文依据神经元之间的信号连接强度取决于突触状态，因此在在最基础的MP模型中，神经元的每个突触的活动强度用一个固定的实数即权值模拟。神经元网络按照信息的流向可分为前馈和反馈网络，反馈神经网络是拓扑结构中有环路的神经网络。依据题中三个生物神经元组成的完全互联的网络具备属于循环神经网络、从输出到输入要有反馈连接、输入应具有离散型和连续型两种的三个特点通过基础的MP神经元模型了解人工神经元的结构，利用Hopfield网络模型对问题已进行求解。在处理问题（2）中，由于Hopfield神经网络中某一神经元与另一直接与其相连的神经元同时处于兴奋状态，导致这两个神经元间的连接强度加强。相关学习法Hebb是根据连接间的激活水平改变权值的，利用Hebb学习规则修正神经元之间连接强度或加权系数的算法，使获得知识结构适用周围环境的变换，最终利用Matlab软件分别对模型进行求解。问题（3）中要求我们考虑权值以及阈值不同对神经元系统所产生的影响。本文运用Matlab软件中的神经网络工具箱以数值模拟演示的方法分析对于不同的权值、阀值，所建立模型可能产生的各种动力学行为。关键词：Hopfield网络模型，人工神经网络，Hebb学习规则2一、问题重述神经元是大脑处理信息的基本单元,以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干。主要由细胞体、树突、轴突和突触(Synapse，又称神经键)组成，如图1所示：图1生物神经元示意图从信息处理的角度来看，我们可以把一个生物神经元分成：树突区、始段和轴突三个区域，每一区域的定义如下：树突区：这一区域包括中间神经元和运动神经元的树突和胞体上所有覆盖有突触的区域，也包括感觉神经元接受外界刺激的区域，这实际上就是神经元接收输入信息的区域。对于中间神经元和运动神经元来说，其输入是来自本身或是其他网络中生物神经元的脉冲式的输出。当突触前末梢有神经冲动传来时，就会向突触间隙释放一定量的递质，而在突触后膜产生随时间作指数衰减的兴奋性后电位或是抑制性突出后电位。这里需要指出的是从突触前末梢传来的神经冲动，再到突触后膜开始产生电位变化，期间有一段时间约为1毫秒的延迟。对于感觉神经元来说，其不同之处仅仅在于它的输入不是神经元的脉冲，而是外界的刺激，不妨设为随着时间变化的2倍的正弦函数值。始段：由于神经元的胞体和树突几乎全部为突触前末梢所覆盖，只有始段裸露在外。而由任一突触的电位所引起的局部电流都要经过每一个始段而在此总和起来。但由于每一个生物神经元的始段与任意一个神经元的突触距离是不同的，所以要考虑在总和之前乘以不同的权值。而在始段的电位类似于感觉神经元的性质，只是此处的输入可以视作为电流在始段处加权后电流的总和。轴突：3轴突是每个神经元的输出端，其输出值只有0和1（即可用数学上的脉冲函数来表示），也就是上文所说的脉冲式的输出。而当输出值为1时，是因为始段的电位达到了该神经元的阀值，否则输出值为0。（1）根据以上的叙述建立一个由三个生物神经元组成的完全互联的网络模型。（2）写出该网络模型计算机模拟的算法。（3）分析对于不同的权值、阀值，所建立模型可能产生的各种动力学行为（既可以用数学理论说明，也可以用数值模拟演示）。三、基本假设1、假设此系统除了所需信息的输入没有噪声的干扰；2、假设神经元之间的影响只归结为相对距离的大小；3、假设每个神经元的排布都是对称的；四、名词解释与符号说明主要符号符号说明12,...nxxx输入变量12,...nwwx权值1(1)xt对应1()xt输入时的输出ijw第i个神经元到第j个神经元的权值ko对应的二值输出ju第j个神经元内部膜电位jv第j个神经元内部膜输出电位jR第j个神经元细胞膜传递电阻jI第j个神经元外部输入电流j第j个神经元的阈值jy单元j的激活值()jdk对应的教师信号五、问题分析和基本思路1.问题一的分析和思路根据题目中所给信息，即把一个生物神经元从信息处理的角度分为树突区、始段和轴突三个区域以及对各个区域的定义，针对问题一要求建立一个由三个生物神经元组成的完全互联的网络模型，我们分析得出所求模型需要具备以下特点：1.属于循环神经网络；2.从输出到输入要有反馈连接；3.输入应具有离散型和连续型两种；由以上特点我们找到人工神经网络具有模拟人类神经系统的结构和功能，人工神经4元也是对生物神经元的抽象与模拟，通过基础的MP神经元模型可了解人工神经元的结构，再由人工神经网络的互联结构中的反馈网络最终得到可利用Hopfield网络模型对问题已进行求解。下图是一个MP神经元模型：图2图中的12,...nxxx表示某一神经元的n个输入；1w表示第i个输入的连接强度，称为连接权值；θ为神经元的阈值；y为神经元的输出。可见，人工神经元是一个具有多输入，单输出的非线性器件。其输入为1niiiwx,输出为1()()niiiyffwx其中，f称为神经元功能函数（或作用函数，激活函数）。通过最简单的MP模型，建立由三个神经元组成的人工神经网络，它可以完成本问复杂的分类任务、学习任务。2.问题二的分析和思路学习规则是神经网络研究的一个重要内容，它的适应性是通过学习实现的。根据环境的变化，对权值进行调整，改善系统的行为。由Hebb提出的Hebb学习规则为神经网络的学习算法奠定了基础。Hebb规则认为学习过程最终发生在神经元之间的突触部位，突触的联系强度随着突触前后神经元的活动而变化有效的学习算法，使得神经网络能够通过连接权值的调整，构造客观世界的内在表示，形成具有特色的信息处理方法，信息存储和处理体现在网络的连接中。针对于问题一中我们建立的Hopfield网络模型，而Hopfield网络最常用的是Hebb学习规则：设有n个神经元相互连接，每个神经元的激活状态只能取0或1，分别表示抑制和兴奋，学习过程中wij调节原则是，若i与j两个神经元同时处于兴奋状态，那么它们之间的连接强度加强即：,0ijijwxx所以针对于问题二我们利用Hebb规则，运用Matlab工具对问题一中的Hopfield网络模型进行模拟仿真。3.问题三的分析和思路研究神经网络的非线性动力学性质，主要采用动力学系统理论、非线性规划理论和统计理论，来分析神经网络的演化过程和吸引子的性质，探索神经网络的协同行为和集体计算功能，了解神经信息处理机制。为了探讨神经网络在整体性和模糊性方面处理信息的可能，混沌理论的概念和方法将会发挥作用。混沌是一个相当难以精确定义的数学5概念。一般而言，“混沌”是指由确定性方程描述的动力学系统中表现出的非确定性行为，或称之为确定的随机性。“确定性”是因为它由内在的原因而不是外来的噪声或干扰所产生，而“随机性”是指其不规则的、不能预测的行为，只可能用统计的方法描述。混沌动力学系统的主要特征是其状态对初始条件的灵敏依赖性，混沌反映其内在的随机性。混沌理论是指描述具有混沌行为的非线性动力学系统的基本理论、概念、方法，它把动力学系统的复杂行为理解为其自身与其在同外界进行物质、能量和信息交换过程中内在的有结构的行为，而不是外来的和偶然的行为，混沌状态是一种定态。混沌动力学系统的定态包括：静止、平稳量、周期性、准同期性和混沌解。六、模型的建立与求解1.对问题一的模型的建立与求解Hopfield网络是单层对称全反馈网络，根据激活函数选取的不同，可分为离散型和连续性两种，根据对于问题一的分析和思路，我们采用Hopfield网络模型对问题已进行求解。由题可知，神经元信息的传递需要对神经元进行刺激，而这就是信息的输入，这部分是由树突完成的，当然对于不同的神经元而言输入信息的种类不同。这可以分为两大类：一、如运动神经元的输入是神经元的脉冲；二、如感觉神经元的输入是为随着时间变化的2倍的正弦函数值。信息输入的形式是以局部电流的形式，但由于每一个生物神经元的始段与任意一个神经元的突触距离是不同的，所以要考虑在总和之前乘以不同的权值。而在始段的电位类似于感觉神经元的性质，只是此处的输入可以视作为电流在始段处加权后电流的总和。而决定信息的输出结果则是由各突触在始段的电位大小与此神经元的阈值大小的关系决定。神经元的输出只取1和0这两个值，所以，也称离散Hopfield神经网络。在离散HopfieId网络中，所采用的神经元是二值神经元；故而，所输出的离散值1和0分别表示神经元处于激活和抑制状态。首先考虑由三个神经元组成的离散Hopfield神经网络，其结构如图3所示。6图3在图中，第0层仅仅是作为网络的输人，它不是实际神经元，所以无计算功能；而第一层是实际神经元，故而执行对输人信息和权系数乘积求累加和，并由非线性函数f处理后产生输出信息。f是一个简单的阈值函效，如果神经元的输出信息大于阈值θ，那么，神经元的输出就取值为1；小于阈值θ，则神经元的输出就取值为0。由于我们要建立的网络模型是完全互联的网络，此模型显然满足Hopfield模型，故我们可以建立Hopfield模型。根据Hopfield模型可知信息的传递由输入、联结权、网络输入以及输出构成。由此建模型如下：建hopfield离散模型如图4所示。图4Hopfield神经网络模型由单层全互联的神经元(1,2,...,)iein组成。神经元没有自连接，即：iiw=0；神经元与神经元之间的连接是对称的，即ijjiww故各神经元之间的权向量：121312231323000。对于输入：该模型中神经元实际上是一线性阈值单元。图中1,2,3xxx为该自适应线性元在t时刻的外部输入，向量表示为123(,,)TXxxx，则有网络输入TYXW,其中：1nkikiiikywo。当用Hopfield网络作相联存储器时，假设有m个样本向量1X、2X、3X、…、mX7要存入Hopfield神经网络中，则W以及第i个神经元与第j个神经元之间相连的权值ijw为：1122...TTTmmWXXXXXX即当Wij在i＝j时等于0，则说明一个神经元的输出并不会反馈到它自己的输入；这时，离教的HopfieId网络称为无自反馈网络。当Wij在i＝j时不等于0，则说明—个神经元的输出会反馈到它自己的输入；这时，离散的Hopfield网络称为有自反馈的网络。对于输出：则有二值输出如下：输出1,(1)()0,kkkkyotyy，且(1)(())XtWXt；针对感觉神经元（连续型信息输入）而言：连续Hopfield网络的拓朴结构和离散Hopfield网络的结构相同。这种拓朴结构和生物的神经系统中大量存在的神经反馈回路是相一致的。在连续Hopfield网络中，和离散Hopfield网络一样，其稳定条件也要求Wij=Wji。连续Hopfield网络和离散Hopfield网络不同的地方在于其输入不是脉冲函数，而是S函数。取()2sin()iutt且g(u)=1/(1+e-u)。Hopfield网络在时间上是连续的．所以，网络中各神经元是处于同步方式工作的。考虑对于