ch6神经网络在材料科学与工程中的应用

计算机应用多媒体课件Ch6神经网络在材料科学与工程中的应用6.1引言6.2人工神经网络基础计算机应用多媒体课件6.1引言人类对人工智能的研究可以分成两种方式对应着两种不同的技术：传统的人工智能技术——心理的角度模拟基于人工神经网络的技术——生理的角度模拟1.1人工神经网络的提出1.2人工神经网络的特点1.3历史回顾计算机应用多媒体课件引言—1.1人工神经网络的提出人工神经网络（简记作ANN，ArtificialNeuralNetworks），是对人类大脑系统的一阶特性的一种描述。简单地讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。计算机应用多媒体课件引言—1.1人工神经网络的提出1.1.1智能与人工智能智能是个体有目的的行为，合理的思维，以及有效的、适应环境的综合能力。智能是个体认识客观事物和运用知识解决问题的能力。人类个体的智能是一种综合能力。计算机应用多媒体课件引言—1.1人工神经网络的提出智能可以包含8个方面感知与认识客观事物、客观世界和自我的能力感知是智能的基础——最基本的能力通过学习取得经验与积累知识的能力这是人类在世界中能够不断发展的最基本能力。理解知识，运用知识和经验分析、解决问题的能力这一能力可以算作是智能的高级形式。是人类对世界进行改造，推动社会发展的基本能力。计算机应用多媒体课件引言—1.1人工神经网络的提出联想、推理、判断、决策语言的能力这是智能的高级形式的又一方面。预测和认识“主动”和“被动”之分。联想、推理、判断、决策的能力是“主动”的基础。运用进行抽象、概括的能力上述这5种能力，被认为是人类智能最基本的能力，表现为三种综合能力：发现、发明、创造、创新的能力；实时、迅速、合理地应付复杂环境的能力；预测、洞察事物发展、变化的能力。计算机应用多媒体课件引言—1.1人工神经网络的提出人工智能：研究如何使类似计算机这样的设备去模拟人类的这些能力。研究人工智能的目的增加人类探索世界，推动社会前进的能力进一步认识自己三大学术流派符号主义（或叫做符号/逻辑主义）学派联接主义（或者叫做PDP）学派进化主义（或者叫做行动/响应）学派计算机应用多媒体课件引言—1.1人工神经网络的提出1.1.2物理符号系统一个物理系统表现智能行为的充要条件是它有一个物理符号系统人脑的反映形式化现实信息数据物理系统物理符号系统表现智能计算机应用多媒体课件引言—1.1人工神经网络的提出1.1.3联接主义观点核心：智能的本质是联接机制。神经网络是一个由大量简单的处理单元组成的高度复杂的大规模非线性自适应系统ANN力求从四个方面去模拟人脑的智能行为物理结构计算模拟存储与操作训练计算机应用多媒体课件引言—1.1人工神经网络的提出1.1.4两种模型的比较计算机应用多媒体课件引言—1.1人工神经网络的提出物理符号系统和人工神经网络系统的差别项目物理符号系统人工神经网络处理方式逻辑运算模拟运算执行方式串行并行动作离散连续存储局部集中全局分布计算机应用多媒体课件引言—1.1人工神经网络的提出两种人工智能技术的比较项目传统的AI技术ANN技术基本实现方式串行处理；由程序实现控制并行处理；对样本数据进行多目标学习；通过人工神经元之间的相互作用实现控制基本开发方法设计规则、框架、程序；用样本数据进行调试（由人根据已知的环境去构造一个模型）定义人工神经网络的结构原型，通过样本数据，依据基本的学习算法完成学习——自动从样本数据中抽取内涵（自动适应应用环境）适应领域精确计算：符号处理，数值计算非精确计算：模拟处理，感觉，大规模数据并行处理模拟对象左脑（逻辑思维）右脑（形象思维）计算机应用多媒体课件引言—1.2人工神经网络的特点特点：信息的分布表示运算的全局并行和局部操作处理的非线性人工神经网络是一个非线性的有向图，图中含有可以通过改变权大小来存放模式的加权边，并且可以从不完整的或未知的输入找到模式。计算机应用多媒体课件引言—1.2人工神经网络的特点关键点1）信息的分布表示2）运算的全局并行与局部操作3）处理的非线性特征对大脑基本特征的模拟1）形式上：神经元及其联接；BN对AN2）表现特征：信息的存储与处理计算机应用多媒体课件引言—1.2人工神经网络的特点别名人工神经系统（ANS）神经网络（NN）自适应系统（AdaptiveSystems）、自适应网（AdaptiveNetworks）联接模型（Connectionism）神经计算机（Neurocomputer）计算机应用多媒体课件引言—1.2人工神经网络的特点自学习自适应并行处理分布表达与计算计算机应用多媒体课件引言—1.3历史回顾萌芽期（20世纪40年代）最早可以追溯到人类开始研究自己的智能第一高潮期（1950-1968）代表作是单级感知器（Perceptron）；可用电子线路模拟，反思期（1969-1982）二十世纪70年代和80年代早期的研究结果计算机应用多媒体课件引言—1.3历史回顾第二高潮期（1983-1990）1984年，J.Hopfield设计研制了后来被人们称为Hopfield网的电路。1986年，并行分布处理小组的Rumelhart等研究者重新独立地提出多层网络的学习算法——BP算法，较好地解决了多层网络的学习问题。（Paker1982和Werbos1974年）1985年，UCSD的Hinton、Sejnowsky、Rumelhart等人在Hopfield网络中引入了随机机制，提出所谓的Boltzmann机理计算机应用多媒体课件引言—1.3历史回顾再认识与应用研究期（1991-）问题：1）应用面还不够宽2）结果不够精确3）存在可信度的问题计算机应用多媒体课件6.2人工神经网络基础6.2.1生物神经元模型6.2.2人工神经元模型6.2.3人工神经网络模型6.2.4神经网络的学习方法计算机应用多媒体课件6.2.1生物神经元模型人脑大约包含1012个神经元，分成约1000种类型，每个神经元大约与102～104个其他神经元相连接，形成极为错综复杂而又灵活多变的神经网络。每个神经元虽然都十分简单，但是如此大量的神经元之间、如此复杂的连接却可以演化出丰富多彩的行为方式。同时，如此大量的神经元与外部感受器之间的多种多样的连接方式也蕴含了变化莫测的反应方式。计算机应用多媒体课件6.2.1生物神经元模型计算机应用多媒体课件6.2.1生物神经元模型从生物控制论的观点来看，神经元作为控制和信息处理的基本单元，具有下列一些重要的功能与特性：时空整合功能兴奋与抑制状态脉冲与电位转换神经纤维传导速度突触延时和不应期学习、遗忘和疲劳计算机应用多媒体课件6.2.2人工神经元模型人工神经元是对生物神经元的一种模拟与简化。它是神经网络的基本处理单元。如图所示为一种简化的人工神经元结构。它是一个多输入、单输出的非线性元件。计算机应用多媒体课件6.2.2人工神经元模型计算机应用多媒体课件6.2.2人工神经元模型其输入、输出关系可描述为其中，是从其他神经元传来的输入信号；表示从神经元j到神经元i的连接权值；为阈值；称为激发函数或作用函数。njijijixwI1)(iiIfy),,2,1(njxjijwi)(f计算机应用多媒体课件6.2.2人工神经元模型输出激发函数又称为变换函数，它决定神经元（节点）的输出。该输出为1或0，取决于其输入之和大于或小于内部阈值。函数一般具有非线性特性。下图表示了几种常见的激发函数。1.阈值型函数（见图（a），（b））2.饱和型函数（见图（c））3.双曲函数（见图（d））4.S型函数（见（e））5.高斯函数（见图（f））)(f)(fi计算机应用多媒体课件6.2.2人工神经元模型计算机应用多媒体课件6.2.3人工神经网络模型人工神经网络是以工程技术手段来模拟人脑神经元网络的结构与特征的系统。利用人工神经元可以构成各种不同拓扑结构的神经网络，它是生物神经网络的一种模拟和近似。就神经网络的主要连接型式而言，目前已有数十种不同的神经网络模型，其中前馈型网络和反馈型网络是两种典型的结构模型。计算机应用多媒体课件6.2.3人工神经网络模型前馈型神经网络前馈型神经网络，又称前向网络（FeedforwardNN）。如图所示，神经元分层排列，有输入层、隐层（亦称中间层，可有若干层）和输出层，每一层的神经元只接受前一层神经元的输入。从学习的观点来看，前馈网络是一种强有力的学习系统，其结构简单而易于编程；计算机应用多媒体课件6.2.3人工神经网络模型从系统的观点看，前馈网络是一静态非线性映射，通过简单非线性处理单元的复合映射，可获得复杂的非线性处理能力。但从计算的观点看，缺乏丰富的动力学行为。大部分前馈网络都是学习网络，它们的分类能力和模式识别能力一般都强于反馈网络，典型的前馈网络有感知器网络、BP网络等。计算机应用多媒体课件6.2.3人工神经网络模型计算机应用多媒体课件6.2.3人工神经网络模型反馈型神经网络反馈型神经网络（FeedbackNN）的结构如图所示。如果总节点（神经元）数为N，那么每个节点有N个输入和一个输出，也就是说，所有节点都是一样的，它们之间都可相互连接。计算机应用多媒体课件6.2.3人工神经网络模型反馈神经网络是一种反馈动力学系统，它需要工作一段时间才能达到稳定。Hopfield神经网络是反馈网络中最简单且应用广泛的模型，它具有联想记忆（Content一AddressibleMemory，CAM）的功能，如果将Lyapunov函数定义为寻优函数，Hopfie1d神经网络还可以用来解决快速寻优问题。计算机应用多媒体课件6.2.3人工神经网络模型计算机应用多媒体课件6.2.4神经网络的学习方法神经网络的学习：从环境中获取知识并改进自身性能，主要指调节网络参数使网络达到某种度量，又称为网络的训练学习方式：监督学习非监督学习再励学习计算机应用多媒体课件6.2.4神经网络的学习方法学习规则(learningrule)：Hebb学习规则两个神经元同时处于激发状态时，它们之间的连接强度将得到加强，这一论述的数学描述被称为Hebb学习规则Hebb学习规则是一种无教师的学习方法，它只根据神经元连接间的激活水平改变权值，因此这种方法又称为相关学习或并联学习。计算机应用多媒体课件6.2.4神经网络的学习方法Delta（δ）学习规则δ规则实现了E中的梯度下降，因此使误差函数达到最小值。但δ学习规则只适用于线性可分函数，无法用于多层网络。BP网络的学习算法称为BP算法，是在δ规则基础上发展起来的，可在多网络上有效地学习。计算机应用多媒体课件6.2.4神经网络的学习方法概率式学习从统计力学、分子热力学和概率论中关于系统稳态能量的标准出发，进行神经网络学习的方式称概率式学习。神经网络处于某一状态的概率主要取决于在此状态下的能量，能量越低，概率越大。同时，此概率还取决于温度参数T。T越大，不同状态出现概率的差异便越小，较容易跳出能量的局部极小点而到全局的极小点；T越小时，情形正相反。概率式学习的典型代表是Boltzmann机学习规则。它是基于模拟退火的统计优化方法，因此又称模拟退火算法。计算机应用多媒体课件6.2.4神经网络的学习方法竞争式学习竞争式学习属于无教师学习方式。此种学习方式利用不同层间的神经元发生兴奋性联接，以及同一层内距离很近的神经元间发生同样的兴奋性联接，而距离较远的神经元产生抑制性联接。在这种联接机制中引人竟争机制的学习方式称为竟争式学习。本质在于神经网络中高层次神经元对低层次神经元的输入模式进行竞争识别。计算机应用多媒体课件Ch6神经网络在材料科学与工程中的应用6.1引言6.2人工神经网络基础