第2章神经网络基本理论.

2.1神经网络的概述2.1.1神经网络的概念2.1.2神经网络的发展2.1.3神经网络的特点2.2神经网络的结构与分类2.2.1神经元的基本结构2.2.2神经网络基本结构2.2.3神经网络的分类2.3神经网络的学习方法2.3.1BP算法的基本原理2.3.2BP算法的特点2.3.3BP算法的改进2.4神经网络的应用第2章神经网络基本理论2.1神经网络概述2.1.1神经网络的概念人工神经网络（Artificialneuralnetwork，简称ANN）简称为神经网络，是相对于生物学中的生物神经网络而言的，是由许多被称为神经元（Neuron）的基本计算单元通过广泛联结所组成的自适应非线性动态系统。网络的信息处理由神经元之间的相互作用来实现，网络的学习与识别决定于各神经元的动态演化过程。它是在现代生物神经科学研究成果的基础上提出来的，反映了人脑功能的基本特征。2.1神经网络概述生物神经网络（BiologicalNeuralNetworks）一般指生物的大脑神经元、细胞、触点等组成的网络，用于产生生物的意识，帮助生物进行思考和行动。生物神经系统是由大量的神经细胞（神经元）组成的一个复杂的系统。据统计，人脑约有1010~1011个神经元。每个神经元与103~105个其他神经元相连，从而构成一个极为复杂庞大的网络。神经元一般由胞体、树突、轴突三部分组成，如图1所示。2.1神经网络概述2.1神经网络概述胞体：也称为细胞体，包括细胞质、细胞核和细胞膜三部分，是细胞的营养中心。树突：胞体的伸延部分产生的分枝称为树突，是接受从其它神经元传入的信息入口。但不一定是神经传入的唯一通道，还可以是胞体膜。轴突：每个神经元只有一个轴突，一般自胞体发出，与一个或多个目标神经元连接，为神经元的输出通道，其作用是将细胞体发出的神经冲动传递给另一个或多个神经元。【附】人脑的活动（来自百度百科）①如能把大脑的活动转换成电能，相当于一只20瓦灯泡的功率；②根据神经学家的部分测量，人脑的神经细胞回路比今天全世界的电话网络还要复杂1400多倍；③每一秒钟人的大脑中进行着10万种不同的化学反应；④人体5种感觉器官不断接受的信息中，仅有1%的信息经过大脑处理，其余99%均被筛去；⑤大脑神经细胞间最快的神经冲动传导速度为400多公里/小时；⑥人体内有45英里的神经；2.1神经网络概述⑦人的大脑平均为人体总体重的2%，但它需要使用全身所用氧气的25%，相比之下肾脏只需12%，心脏只需7%。神经信号在神经或肌肉纤维中的传递速度可以高达每小时200英里；⑧大脑的四周包着一层含有静脉和动脉的薄膜，这层薄膜里充满了感觉神经。但是大脑本身却没有感觉，即使将脑子一切为二，人也不会感到疼痛；⑨人的大脑细胞数超过全世界人口总数2倍多，每天可处理8600万条信息，其记忆贮存的信息超过任何一台电子计算机。2.1神经网络概述【附】人脑的结构与功能人脑分为左右脑，交叉进行支配。即左脑支配人体的右侧，右脑支配人体的左侧，大脑受伤会使他支配的那部分身体产生功能障碍。左右脑具有不同的功能。左脑主要是语言中枢，同时从事分析性工作，如逻辑推理、数学运算和写作等。右脑主要处理空间概念和模式识别。人工智能可看成是对人脑左脑功能的研究，主要基于逻辑思维，如计算机就是模拟人脑逻辑思维的人工智能系统。人工神经网络是探索人的形象思维，即针对右脑的认知规律的研究产物。2.1神经网络概述【附】人脑与电脑的区别记忆与联想方面：人脑具有非凡的创造能力和良好的学习认知能力，如婴儿智力的发展。信息综合能力方面：人脑善于归纳总结、类比和概括，也可以经验、模糊甚至直觉地作出判断。信息处理速度方面：人脑中的信息处理是以神经细胞为单位，传递速度只能达到毫秒级，计算机可达到纳秒级甚至皮秒级。但在图形声音等信息处理方面速度要快于计算机，如人的识别等。信息处理机制方面：人脑中的神经网络是一种高度并行的非线性信息处理系统，而计算机采用的是有限集中的串行信息处理机制。2.1神经网络概述2.1.2神经网络的发展人工神经网络的研究始于1943年，经历了从兴起到萧条，又从萧条到兴盛的发展历程。大致分为五个阶段：初创期：标志就是提出模型，建立规则。1943年，法国心理学家W.S.McCulloch和数理逻辑学家W.Pitts在分析、总结神经元基本特性的基础上，提出神经元的数学模型（即M-P神经网络模型），拉开了人工神经网络的研究序幕。1949年，心理学家D.O.Hebb提出神经元之间突触强度的调整规则假说，即Hebb规则，该规则至今仍在人工神经网络模型中起着重要作用。2.1神经网络的概述唐纳德·赫布DonaldOldingHebb1904.07.22~1985.08.20加拿大心理学家，认知心理生理学的开创者初始兴盛期：标志就是理论研究转向实际应用。1957年，F.Rosenblatt提出感知器模型，第一次将神经网络研究从理论探讨发展到实践应用，掀起了神经网络研究的第一次高潮。1960年，B.Widrow提出自适应线性元网络模型，在自适应系统，如自适应滤波、预测和模式识别等领域得到了很好应用。2.1神经网络的概述低潮期：标志就是专著《Perceptrons》（感知器）。60年代以后，由于计算机发展迅速，单层神经网络功能有限，使得研究进入低潮。尤其是1969年麻省理工学院人工智能学者M.Minsky和S.Papert出版专著《Perceptrons》，论证了简单线性感知机功能的局限性，不能解决经典的异或问题，且多层网络还未找到有效的计算方法，使得研究失去信心。2.1神经网络的概述马文·闵斯基（MarvinLeeMinsky，1927年8月9日出生），美国人工智能领域的科学家，麻省理工学院人工智能实验室的创始人之一，著有几部人工智能和哲学方面的作品。复兴期：标志就是两个模型、一个算法。1982年，美国加州理工学院生物物理学家J.J.Hopfield博士提出离散神经网络模型，标志着神经网络研究开始复兴。1984年，J.J.Hopfield博士又提出了连续神经网络模型，实现了神经网络的电子线路仿真，开拓了计算机应用神经网络的新途径，成功解决了著名的优化组合问题——旅行商问题，引起了相关领域研究人员的广泛关注。1986年，D.E.Rumelhart等提出多层网络的逆推学习算法，即BP算法，否定了M.Minsky等人的错误结论，该算法一直成为应用最广、研究最多、发展最快的算法。2.1神经网络的概述高潮期：标志就是模型繁多、应用普及。1987年6月21日至24日，首届国际神经网络学术会议在美国圣地雅哥召开，成立国际神经网络学会（InternationalNeuralNetworkSociety，简称INNS）。1988年世界上第一份神经网络杂志《NeuralNetworks》诞生。1990年12月9日至13日，在北京召开首届中国神经网络学术大会。美国国防部高级研究计划局1988年投入4亿美元进行为期8年的神经网络研究，法国的尤里卡计划、德国的欧洲防御计划、前苏联的高技术发展计划均含有神经网络的研究。目前神经网络得到了广泛应用，在计算机图像处理、语音处理、优化计算、智能控制等领域取得了很大的进展。2.1神经网络的概述【注】旅行商问题旅行商问题（TravelingSalesmanProblem，TSP）又译为旅行推销员问题、货郎担问题，是最基本的路线问题，该问题是在寻求单一旅行者由起点出发，通过所有给定的需求点之后，最后再回到原点的最小路径成本。TSP的历史很久，最早的描述是1759年欧拉研究的骑士周游问题，即对于国际象棋棋盘中的64个方格，走访64个方格一次且仅一次，并且最终返回到起始点。2.1神经网络的概述2.1.3神经网络的特点由于人工神经网络是模拟人的大脑所设计，故它具有以下特征：分布式联想存储人工神经网络的存储是联想式的，神经元之间的联结值就是存储单元，权值代表了网络所存知识的当前状态。如果给网络输入一个不完备的信息，则它会自动在网络的权值中进行搜索，直至找到与输入信息最匹配的联结单元为止。联想式存储的最大优点是能存储许多模式的信息，而且能够很快地将这些信息归类到已有的存储模式中去。2.1神经网络的概述较好的容错性在传统计算机单元中，如果一部分存储单元遭到破坏，则整个系统都将瘫痪。由于神经网络的信息不是存储在一个固定的地方，所以当某些神经元损坏时，只是使神经网络的功效降低一点，并不会使整个系统崩溃。自适应能力强自适应能力是指神经网络具有自我调整的能力。当网络中有联结权值发生变化时，网络便可通过学习（算法）自动恢复。另一方面，神经网络有向外界环境学习的能力，并且通过学习改进自身的功能。其学习的目的是从一组数据中提取出相关特征或内在规律。2.1神经网络的概述2.2神经网络的结构及分类2.2.1神经元的基本结构人工神经网络是由若干个神经元按一定规律组合而成，每个神经元在输入信号作用下，能够从当前状态转变为另一种状态，产生相应的输出信号。神经元决定整个神经网络的特性和功能，其基本结构如图2-1所示。2.2神经网络的结构及分类2.2神经网络的结构及分类图中为神经元的输入信号，它既可以是外部输入，也可以是其它神经元的输出；为其连接权重；为神经元的阈值；为神经元输入信号的线性组合；为神经元的净输入；为神经元的传递函数，也称为激活函数；为神经元的输出。nxxx，，，21inii，，，21iiuivfiy2.2神经网络的结构及分类神经元的输出特性（及状态方程）可以表示为在神经网络中，传递函数决定神经元输入、输出之间的对应关系。常用的传递函数主要有阈值函数，分段线性函数，双曲正切函数和Sigmoid函数等。双曲正切函数的表示形式为Sigmoid函数的表示形式njjijixwu1iiiuv）（iivfyiivviieevfy11）（iviievfy11）（2.2神经网络的结构及分类2.2.2神经网络的基本结构神经网络一般输入层、隐层（隐含层）和输出层组成。如图2-2给出了一个三层结构的神经网络。2.2神经网络的结构及分类2.2.2神经网络的基本结构神经网络的状态方程，即输入输出关系为nynuiIinynunviIiIinynwnvnwnuiIiijIiIiijJj11IiiijJjJjnynwfnufnv111nvnwnuJjJjjkKk1JjJjjkKkKkknvnwfnufnvnx122~2.2神经网络的结构及分类2.2.3神经网络的分类根据神经网络的结构分类层次型结构：按输入层、隐层、输出层结构组成。互连型结构：任意两个节点之间都可能存在连接路径。根据节点的连接程度又可分为全互连型、局部互连型和稀疏连接型三类。根据神经网络信息流向分类前馈神经网络：各神经元只接收前一层的输出作为自己的输入，并且输出给下一层，整个网络没有反馈。每一个神经元都可以有任意多个输入，但只有一个输出。从作用效果来看，前馈神经网络主要是函数映射，可用于函数的逼近。2.2神经网络的结构及分类反馈（递归）神经网络：神经元之间的信息传递关系不再是从一层到另一层，而是各神经元之间均存在着联系，每个神经元都是处理单元，同时可接收输入并向外界输出。由于引入了反馈机制，所以它是一个非线性的动力系统。从作用效果看，反馈神经网络是利用能量函数的极小点来求解最优化问题。2.2神经网络的结构及分类根据神经网络的层数分类三层神经网络：仅含有一个隐层的神经网络。多层神经网络：含有两个或两个以上隐层的神经网络。【注】1987年，RobertHechtNielsen证明，对于任何在闭区间的一个连续函数都可以用一个隐层的BP神经网络来逼近。即说明三层网络即可。增加隐层可增加处理能力，减少误差和提高精度，但训练复杂化。2.3神经网络的学习方法2.3.1BP算法的基本原理神经网络一般