第一讲—神经网络基本概念

1神经网络与模糊控制智能控制理论主讲人柏艳红2主要内容神经网络模糊推理智能优化算法3第一部分神经网络神经网络的基本概念感知器BP网络RBF网络Hopfield网络4人的思维是由人脑完成的。神经元(neuron)是脑组织的基本单元。人脑是由1011~1012个神经元组成，每个神经元具有102-104个突触与其它神经元相连接，形成了错综复杂而又灵活多变的神经网络。第一讲神经网络的基本概念1.1生物神经元的结构与功能特点5神经元主要由细胞体、树突和轴突构成。1．生物神经元的结构6细胞体是生物神经元的主体，它由细胞核、细胞质和细胞膜组成。一般直径为5100m，大小不等。每个神经元都由细胞膜将其与外部隔开，细胞膜的内外电位不同，通常内部电位比外部低，内外电位差称为膜电位。输入信号将影响膜电位的变化。当膜电位高出某个阈值时，细胞体处于“兴奋”状态，产生输出脉冲，当在阈值以下时，细胞体处于“抑制”状态，不会产生输出脉冲。（1）细胞体1．生物神经元的结构7由细胞体向外伸出的许多较短的树状突起物，称为树突。它是神经元的主要接收器，用来接受其它神经元传来的神经冲动（脉冲信号），相当于神经元的输入端。（2）树突1．生物神经元的结构8由细胞体向外伸出的最长的一条纤维，称为轴突。长度可达1m以上。远离细胞体一侧的轴突端部有许多分支，称为神经末梢。轴突通过神经末梢和其末端的突触向其它神经元传出神经冲动，其作用相当于生物神经元的输出端。（3）轴突1．生物神经元的结构9一个神经元的轴突的神经末梢和另一个神经元的树突或细胞体之间，通过微小间隙相互联结，这样的联结称为突触。突触决定了神经元之间的连接强度和作用性质。（4）突触神经元本身是一个多输入单输出的非线性单元。1．生物神经元的结构10从生物控制论的观点来看，作为控制和信息处理基本单元的神经元，具有以下功能特点。（1）时空整合功能神经元对于不同时间通过同一突触传入的信息，具有时间整合功能；对于同一时间通过不同突触传入的信息，具有空间整合功能。两种功能相互结合，是使生物神经元具有时空整合的输入信息处理功能。2．生物神经元的功能特点11（2）动态极化性在每一种神经元中，信息都是以预知的确定方向流动的，即从神经元的接收信息部分（细胞体、树突）传到轴突的起始部分，再传到轴突终端的突触，最后再传给另一神经元。尽管不同的神经元在形状及功能上都有明显的不同，但大多数神经元都是按这一方向进行信息流动的。2．生物神经元的功能特点12（3）兴奋与抑制状态神经元具有两种常规工作状态，即兴奋状态与抑制状态。所谓兴奋状态是指神经元对输入信息经整合后使细胞膜电位升高，且超过了动作电位的阈值，此时产生神经冲动并由轴突输出。抑制状态是指对输入信息整合后，细胞膜电位值下降到低于动作电位的阈值，从而导致无神经冲动输出。2．生物神经元的功能特点13（4）结构的可塑性由于突触传递信息的特性是可变的，也就是它随着神经冲动传递方式的变化，传递作用强弱不同，形成了神经元之间连接的柔性，这种特性又称为神经元结构的可塑性。2．生物神经元的功能特点14（5）脉冲与电位信号的转换突触界面具有脉冲与电位信号的转换功能。沿轴突传递的电脉冲是等幅的、离散的脉冲信号，而细胞膜电位变化为连续的电位信号，这两种信号是在突触接口进行变换的。2．生物神经元的功能特点15（6）突触延期和不应期突触对信息的传递具有时延和不应期，在相邻的两次输入之间需要一定的时间间隔，在此期间，无激励，不传递信息，这称为不应期。（7）学习、遗忘和疲劳由于神经元结构的可塑性，突触的传递作用有增强、减弱和饱和的情况。所以，神经细胞也具有相应的学习、遗忘和疲劳效应（饱和效应）。2．生物神经元的功能特点161.2人工神经元模型人工神经元(artificialneuron)是对生物神经元的一种模拟与简化，它是神经网络的基本处理单元。一个多输入单输出的非线性单元。人工神经元模型的基本结构171．连接权连接权对应于生物神经元的突触，各个神经元之间的连接强度由连接权的权值表示，权值为正表示激活，为负表示抑制。人工神经元模型的三个基本要素2．求和单元求和单元用于求取各输入信号的加权和（线性组合）。18人工神经元模型的三个基本要素3．激活函数激活函数起非线性映射作用，并将神经元输出幅度限制在一定范围内，一般限制在(0,1)或(-1,1)之间。激活函数也称传输函数。此外还有一个阈值k(或偏值bk=-k)。19人工神经元模型的数学模型pjjkjkxwu1kkkkunetv)(kkvyxj（j=1，2，……p）为从其它神经元传来的输入信号；θk为神经元k的阈值；ωkj为连接权值；φ(x)为激发函数；yk为神经元的输出。20)(,0kkpjjkjkvyxwv输入扩维后的人工神经元模型若x0=-1，则wk0=k（阈值）若x0=1，则wk0=bk（偏置值）若把输入的维数增加一维，则可把阈值k包括进uk。21输入扩维后的人工神经元模型22输入扩维后的人工神经元模型23(1)硬限幅函数（阈值函数）常用激活函数0001)(xxxyHardlim（）(2)对称硬限幅函数（阈值函数）Hardlims（）0101)(xxxy10xy10xy-124(3)饱和线性函数)1(1)11()1(1)(kxkxkkxkxxysatlin（）(4)线性函数kxxy)(purelin（）-0.500.511.5-0.500.511.5-2-1012-2-101225(5)Sigmoid函数)exp(11)(axxa可控制其斜率。常用激活函数Matlab函数logsig（）-10-5051000.20.40.60.81)exp(11)(xx26)exp(1)exp(1)21tanh()(xxxxS型函数具有平滑和渐近线，并保持单调性。(6)双曲正切S型函数tansig（）-6-4-20246-1-0.500.5127(7)高斯函数22)()(bcxexfb为函数曲线的宽度，c为中心。常用激活函数Matlab函数：radbas（）-2-101200.20.40.60.8128人工神经元模型总结权值及权值矩阵（weight）偏置值（阈值）（thresholdorbias）净输入传输函数（激活函数）（transferfunction）wij表示从第j个神经元（源神经元）到第i个神经元（目标神经元）的连接权值。每层都有自己的权值矩阵。iiijijibbxwnetxw29人工神经网络（ArtificialNeuralNetworks，ANNs）是生物神经网络的一种模拟和近似，由大量人工神经元经广泛互连而组成。1.3神经网络的结构人工神经网络可以看成是以人工神经元为节点，用有向加权弧连接起来的有向图。在此有向图中，人工神经元（以下在不易引起混淆的情况下，人工神经元简称神经元）就是对生物神经元的模拟，而有向加权弧则是轴突——突触——树突对的模拟。有向弧的权值表示相互连接的两个人工神经元间相互作用的强弱。30人工神经网络根据连接方式主要分为两类。1．前馈型网络（Feedforward）前馈型网络的结构图311．前馈型网络前馈网络具有分层的结构，通常包括输入结点、隐含层（也称中间层，可以有若干层）和输出层。输入节点没有计算功能，隐层单元和输出单元具有计算功能，是计算单元。每一层的神经元只接受上一层神经元的输入，网络中没有反馈。前馈型网络的特点32前馈网络主要是函数映射，可用于模式识别和函数逼近。1．前馈型网络前馈型网络的应用典型前馈型网络感知器、BP网络、RBF网络332．反馈型网络（Feedback）反馈型网络的结构34反馈神经网络又称递归网络，或回归网络。反馈神经网络中所有节点都是计算单元，同时也可接受输入，并向外界输出，可画成一个无向图，如图(a)所示，其中每个连接弧都是双向的，也可画成图(b)的形式。若总单元数为n，则每一个节点有n-l个输入和一个输出。2．反馈型网络反馈型网络的特点35在反馈网络中(FeedbackNNs)，输入信号决定反馈系统的初始状态，然后系统经过一系列状态转移后，逐渐收敛于平衡状态。这样的平衡状态就是反馈网络经计算后输出的结果，由此可见，稳定性是反馈网络中最重要的问题之一。2．反馈型网络如果能找到网络的Lyapunov函数，则能保证网络从任意的初始状态都能收敛到局部最小点。反馈型网络的特点36反馈网络按对能量函数的极小点的利用来分类有两种：第一类是能量函数的所有极小点都起作用，这一类主要用作各种联想存储器或模式识别；第二类只利用全局极小点，它主要用于求解最优化问题。2．反馈型网络反馈型网络的应用典型反馈型网络Hopfield网络，Elman网络37神经网络的工作过程主要分为两个阶段：第一阶段是学习期，此时各计算单元状态不变，各连接权上的权值可通过学习来修改；第二阶段是工作期，此时各连接权固定，计算单元变化，以达到某种稳定状态。1.4神经网络的工作方式38通过向环境学习获取知识并改进自身性能是神经网络的一个重要特点，在一般情况下，性能的改善是按某种预定的度量调节自身参数（如权值）并随时间逐步达到的。学习方式（按环境所供信息的多少分）有以下三种。1.5神经网络的学习1．学习方式39（1）有监督学习（有教师学习）这种学习方式需要外界存在一个“教师”，他可对一组给定输入提供应有的输出结果（正确答案），这组已知的输入——输出数据称为训练样本集（samplesorpatterns）。学习系统可根据已知输出与实际输出之间的差值（误差信号）来调节系统参数，如图所示。40在有监督学习当中，训练样本集为：{x1,t1},{x2,t2},…,{xN,tN}其中xi为网络的输入，ti为相应的目标输出。当输入作用到网络时，网络的实际输出与目标输出相比较，然后根据学习规则调整网络的权值和域值，从而使网络的实际输出越来越接近于目标输出。（1）有监督学习（有教师学习）41无监督学习时不存在外部教师，学习系统完全按照环境所提供数据的某些统计规律来调节自身参数或结构（这是一种自组织过程），以表示外部输入的某种固有特性（如聚类，或某种统计上的分布特征）。（2）无监督学习（无教师学习）42在无监督学习当中，仅仅根据网络的输入调整网络的权值和域值，它没有目标输出。乍一看这种学习似乎并不可行：不知道网络的目的是什么，还能够训练网络吗？实际上，大多数这种类型的算法都是要完成某种聚类操作，学会将输入模式分为有限的几种类型。这种功能特别适合于诸如向量量化等应用问题。（2）无监督学习（无教师学习）43（3）强化学习（或再励学习）这种学习介于上述两种情况之间，外部环境对系统输出结果只给出评价（奖或罚）而不是给出正确答案，学习系统通过强化那些受奖励的动作来改善自身性能。44强化学习与有监督的学习类似，只是它不像有监督的学习一样为每一个输入提供相应的目标输出，而是仅仅给出一个级别。这个级别（或评分）是对网络在某些输入序列上的性能测度。当前这种类型的学习要比有监督的学习少见。它最为适合控制系统应用领域。（3）强化学习（或再励学习）45令yi(k)为输入x(k)时神经元i在k时刻的实际输出，ti(k)表示相应的期望输出，则误差信号可写为：ei(k)=ti(k)-yi(k)2．学习算法（1）学习规则（误差纠正规则）误差纠正学习的最终目的是使某一基于ei(k)的目标函数达最小，以使网络中每一输出单元的实际输出在某种统计意义上最逼近于期望输出。一旦选定了目标函数形式，误差纠正学习就成为一个典型的最优化问题。学习规则是基于使输出方差最小的思想而建立的。46NiiNiiikeytkJ1212)(21)(21)(最常用的目标函数是：（1）学习规则（误差纠正规则）权值修正的原则是使J减小，直到要求的范围内。为此，采用最陡梯度下降法，可得：ijijw