神经网络

讲课内容神经网络的概述与发展历史什么是神经网络BP神经网络RBF神经网络Hopfield神经网络1.神经网络概述与发展历史神经网络（NeuralNetworks,NN）是由大量的、简单的处理单元（称为神经元）广泛地互相连接而形成的复杂网络系统，它反映了人脑功能的许多基本特征，是一个高度复杂的非线性动力学习系统。神经网络具有大规模并行、分布式存储和处理、自组织、自适应和自学能力，特别适合处理需要同时考虑许多因素和条件的、不精确和模糊的信息处理问题。神经网络的应用神经科学、数理科学、认知科学、计算机科学、人工智能、信息科学、控制论、机器人学、微电子学、心理学、光计算、分子生物学等有关，是一门新兴的边缘交叉学科•神经网络的基础在于神经元。大量的形式相同的神经元连结在一起就组成神经网络。神经网络是一个高度非线性动力学系统。虽然，每个神经元的结构和功能都不复杂，但是神经网络的动态行为则是十分复杂的；因此，用神经网络可以表达实际物理世界的各种现象。1.神经网络概述与发展历史1943年心理学家W.S.McCulloach和数学家W.Pitts提出人工神经网络M-P模型50年代末，F.Rosenblat开创性地提出著名的感知机(Preceptron)使机器具备了学习的能力，第一个完整的人工神经网络1969年，美国麻省理工学院著名人工智能学者M.Minsky和S.Paper编写影响很大的《Preceptron》一书：指出能求解非线性问题的网络应该是具有隐层的多层神经网络1.神经网络概述与发展历史进入80年代，神经网络又形成热潮：美国加洲理工大学生物物理学家J.J.Hopfield于1982年提出Hopfield网络模型，1984年提出网络模型实现的电子电路，为神经网络的工程实现指明了方向1986年，D.E.Rumelhart和J.L.McCelland提出误差反向传播学习算法（BP）美国波士顿大学的S.Grossberg教授、芬兰赫尔辛基技术大学T.Kohonen首次创办了世界上第一份神经网络杂志NeuralNetwork1.神经网络概述与发展历史人工神经网络是一种模拟人脑脑神经传递信息的方式而建立起来的一种人工智能的方法，它是一种分布式的并行处理系统，其处理结果以权值形式分布存储在矩阵中。通过这种网络能够实现任意的非线性输入输出映射关系，具体的映射关系体现在构成网络的神经元之间的分布连接权值上。由于网络具有很强的自适应和学习能力以及鲁棒性和容错能力，它不仅可以替代许多复杂耗时的传统算法，并且由于它对信息的处理更加接近于人的思维活动习惯，为解决非线性系统模拟和未知模型的预测提供了新途径。2.什么是神经网络1.自学习和自适应性。2.非线性性。3.鲁棒性和容错性。4.计算的并行性与存储的分布性。5.分布式存储。自适应是指一个系统能够改变自身的性能以适应环境变化的能力。因此，神经网络比主要使用固定推理方式的专家系统具有更强的适应性，更接近人脑的运行规律神经网络具有信息存储的分布性，故局部的损害会使人工神经网络的运行适度减弱，但不会产生灾难性的错误。神经网络的并行性，是由其结构决定的。每个神经元都可以根据接受到的信息进行独立运算和处理，并输出结构。同一层的不同神经元可以同时进行运算，然后传输到下一层进行处理。因此，神经网络往往能发挥并行计算的优势，大大提升运算速度。由于神经元之间的相对独立性，神经网络学习的“知识”不是集中存储在网络的某一处，而是分布在网络的所有连接权值中。2.什么是神经网络人工神经元模型是由大量处理单元广泛互连而成的网络,是人脑的抽象、简化、模拟,反映人脑的基本特性。一般来说，人工神经元模型应具备三个要素:①突触或连接权,每个由其权值或强度作为特征。常用wij表示神经元i和神经元j之间的连接强度。与人脑神经元不同,人工神经元权值的取值可在负值和正值之间。②加法器，用于求输入信号被神经元的相应突触加权的和，这个操作构成一个线性组合器。③激励函数，具有一个激励函数用于限制神经元输出振幅。激励函数将输出信号限制在一个允许范围内,使其成为有限值,通常神经元输出的扩充范围在[0,1]或[-1,1]之间。2.什么是神经网络•其中xj(j=1,2……n)为神经元i的输入信号，wij为连接权，ui是由输入信号线性组合后的输出，是神经元i的净输入。θi为神经元的阀值，vi为经偏差调整过的值，为称为神经元的局部感应区。典型的人工神经元模型2.什么是神经网络f()是激励函数,yi是神经元i的输出。Njjijixwu1iiiuv)(1iNjjijixwfy2.什么是神经网络•常见的激励函数有一下三种：①阈值函数②分段线性函数2.什么是神经网络③sigmoid函数，此函数的图形是S型的，在构造人工神经网络中最常用的激励函数。2.什么是神经网络神经网络中神经元的构造方式是和训练网络的学习算法紧密相连的。一般来说，我们可以区分三种不同的网络结构。①单层前馈网络在分层网络中，神经元以层的形式组织。在最简单的分层网络中，源节点构成输入层，直接投射到神经元的输出层，也就是说，这个网络是严格的无圈的或前馈的。如图所示，输出输入层各有4个节点，这样的一个网络称为单层网。2.什么是神经网络②多层前馈网络③递归网络2.什么是神经网络神经网络分类器二值输入连续值输入有监督有监督无监督无监督Hopfield网Haming网CG网感知器网多层感知器网kohonen网对应于经典算法最优分类器样品中心聚类算法正态分类器K-近邻算法K-均值算法2.什么是神经网络•BP网络主要用于：1、函数逼近：用输入向量和相应的输出向量训练一个网络逼近一个函数。2、模式识别：用一个特定的输出向量将它与输入向量联系起来。3、分类：把输入向量以所定义的合适方式进行分类。4、数据压缩：减少输出向量维数以便于传输或存储。3.BP神经网络•BP网络结构，如图：x1o1输出层隐藏层输入层x2o2omxn…………………3.BP神经网络神经元的网络输入：neti=x1w1i+x2w2i+…+xnwni神经元的输出：netenetfo11)()1()()1(1)(22ooooeenetfnetnet1、网络的构成3.BP神经网络学习的过程：神经网络在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。学习的本质：对各连接权值的动态调整学习规则：权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。学习类型：有导师学习BP网络的学习分两个阶段：（1）由前向后正向计算各隐层和输出层的输出（2）由后向前误差反向传播以用于权值修正3.BP神经网络可以证明：在隐含层节点可以根据需要自由设置的情况下，那么用三层前向神经网络可以实现任意精度逼近任意连续函数。下面推导前向多层网络的BP学习算法。设从第l层神经元j到第l-1层神经元i的连接权值为wji(l),p为当前学习样本，opi(l)为在p样本下第l层第i个神经元的输出，变换函数f[.]取为Sigmoid函数，即)(11)(xexf3.BP神经网络BP算法的各步骤：（1）权值初始化：，sq为ij,jk或kl（2）依次输入P个学习样本。设当前输入第P个样本（3）依次计算各层的输出：x’j,x’’kyl,j=0,1,…,n1,k=0,1,…n2,l=0,1,…m-1（4）求各层的反传误差：)(Randomwsq3.BP神经网络1,...,1,0),1()()()()()()(mlyyydplplplplpkl21)()()()(,...,1,0,)'1(''2nkxxwnkpjpjjkpjkpij110)()()()(,...,1,0,)''1(''''njxxwmlpkpkklpklpjk的值并记下各个)()()(,',''pipjpkxxx3.BP神经网络（5）记录已学过的样本个数p.如果pP,转步骤（2）继续计算；如果p=P,转步骤（6）。（6）按权值修正公式修正各层的权值和阈值（7）按新的权值再计算x’j,x’’k,yl和EA,若对每个p和l都满足，或达到最大学习次数，则终止学习。否则转步骤（2）继续新一轮的学习。)()()(AplplEyd或3.BP神经网络存在问题：①易形成局部极小而得不到全局最优②训练次数多使得学习效率低，收敛速度慢③隐含节点的选取缺乏理论指导④训练时学习新样本有遗忘旧样本的趋势目前有效的改进方法：①增加动量项②自适应调节学习率③引入陡度因子3.BP神经网络①建立一个BP网络用曲线来拟合十个点的数据3.BP神经网络3.BP神经网络1RBF神经网络径向基函数(RBF-RadialBasisFunction)神经网络是由J.Moody和C.Darken在80年代末提出的一种神经网络,它是具有单隐层的三层前馈网络。由于它模拟了人脑中局部调整、相互覆盖接收域（或称感受野-ReceptiveField）的神经网络结构，因此，RBF网络是一种局部逼近网络，它能够以任意精度逼近任意连续函数，特别适合于解决分类问题。4.RBF神经网络2RBF网络结构RBF网络的结构与多层前向网络类似，它是一种三层前向网络。第一层即输入层由信号源节点组成；第二层为隐含层，隐单元数视所描述的问题的需要而定，隐单元的变换函数是RBF，它是对称中心径向对称且衰减的非线性函数；第三层为输出层，它对输入模式的作用做出响应。由于输入到输出的映射是非线性的，而隐含层空间到输出空间的映射是线性的，从而可以大大加快学习速度并避免局部极小问题。4.RBF神经网络RBF网络结构图4.RBF神经网络3RBF网络特点①前向网络；②RBF网络的作用函数为高斯函数，是局部的，BP网络的作用函数为S函数，是全局的；③如何确定RBF网络隐层节点的中心及基宽度参数是一个困难的问题；④RBF网络具有唯一最佳逼近的特性，且无局部极小。4.RBF神经网络RBF网络的学习算法RBF神经网络学习算法需要求解的参数有3个：基函数的中心、隐含层到输出层权值以及节点基宽参数。根据径向基函数中心选取方法不同，RBF网络有多种学习方法，如梯度下降法、随机选取中心法、自组织选区中心法、有监督选区中心法和正交最小二乘法等。下面根据梯度下降法，输出权、节点中心及节点基宽参数的迭代算法如下。4.RBF神经网络使用RBF网络逼近下列对象：4.RBF神经网络2221212cos102cos1020xxxxFRBF网络的优点：神经网络有很强的非线性拟合能力，可映射任意复杂的非线性关系，而且学习规则简单，便于计算机实现。具有很强的鲁棒性、记忆能力、非线性映射能力以及强大的自学习能力，因此有很大的应用市场。①它具有唯一最佳逼近的特性，且无局部极小问题存在。②RBF神经网络具有较强的输入和输出映射功能，并且理论证明在前向网络中RBF网络是完成映射功能的最优网络。③网络连接权值与输出呈线性关系。④分类能力好。⑤学习过程收敛速度快。4.RBF神经网络RBF网络的缺点①最严重的问题是没能力来解释自己的推理过程和推理依据②不能向用户提出必要的询问，而且当数据不充分的时候，神经网络就无法进行工作。③把一切问题的特征都变为数字，把一切推理都变为数值计算，其结果势必是丢失信息。④理论和学习算法还有待于进一步完善和提高。⑤隐层基函数的中心是在输入样本集中选取的,这在许多情况下难以反映出系统真正的输入输出关系,并且初始中心点数太多;另外优选过程会出现数据病态现象。4.RBF神经网络Hopfield神经网络应用举例（TSP）5.Hopfield神经网络1985年，J.J.Hopfield和D.W.Tank建立了相互连接型的神经网络模型，简称HNN(HopfieldNeuralNetwork)，并用它成功地探讨了旅行商问题(TSP)的求解方法。前几章介绍的神经网络模型属于前向神经网络，从学习的观点上看，它们是强有力