人工智能AI4章计算智能

1计算智能是信息科学、生命科学、认知科学等不同学科相互交叉的产物。它主要借鉴仿生学的思想，基于人们对生物体智能机理的认识，采用数值计算的方法去模拟和实现人类的智能。计算智能主要研究领域包括：神经计算、进化计算、模糊计算、免疫计算、DNA计算、粗糙集等。4.1概述4.1.1什么是计算智能4.1.2计算智能的产生与发展4.1.3计算智能与人工智能的关系4.2神经计算4.3进化计算4.4模糊计算4.5粗糙集第4章计算智能24.1.1什么是计算智能概念解释计算智能（ComputationalIntelligence，CI）目前还没有一个统一的的定义，使用较多的是美国科学家贝慈德克（J.C.Bezdek）从计算智能系统角度所给出的定义。从计算智能系统角度如果一个系统仅处理低层的数值数据，含有模式识别部件，没有使用人工智能意义上的知识，且具有计算适应性、计算容错力、接近人的计算速度和近似于人的误差率这4个特性，则它是计算智能的。从学科范畴看计算智能是在神经网络（NeuralNetworks,NN）、进化计算（EvolutionaryComputation,EC）及模糊系统（FuzzySystem,FS）这3个领域发展相对成熟的基础上形成的一个统一的学科概念。34.1.1什么是计算智能研究领域神经网络是一种对人类智能的结构模拟方法，它是通过对大量人工神经元的广泛并行互联，构造人工神经网络系统去模拟生物神经系统的智能机理的。进化计算是一种对人类智能的演化模拟方法，它是通过对生物遗传和演化过程的认识，用进化算法去模拟人类智能的进化规律的。模糊计算是一种对人类智能的逻辑模拟方法，它是通过对人类处理模糊现象的认知能力的认识，用模糊逻辑去模拟人类的智能行为的。综合解释从贝慈德克的定义和上述学科范畴可以看出以下两点：第一，计算智能是借鉴仿生学的思想，基于生物神经系统的结构、进化和认知对自然智能进行模拟的。第二，计算智能是一种以模型（计算模型、数学模型）为基础，以分布、并行计算为特征的自然智能模拟方法。44.1.2计算智能的产生与发展1992年，贝慈德克在《ApproximateReasoning》学报上首次提出了“计算智能”的概念。1994年6月底到7月初，IEEE在美国佛罗里达州的奥兰多市召开了首届国际计算智能大会(简称WCCI’94)。会议第一次将神经网络、进化计算和模糊系统这三个领域合并在一起，形成了“计算智能”这个统一的学科范畴。在此之后，WCCI大会就成了IEEE的一个系列性学术会议，每4年举办一次。1998年5月，在美国阿拉斯加州的安克雷奇市又召开了第2届计算智能国际会议WCCI’98。2002年5月，在美国州夏威夷州首府火奴鲁鲁市又召开了第3届计算智能国际会议WCCI’02。此外，IEEE还出版了一些与计算智能有关的刊物。目前，计算智能的发展得到了国内外众多的学术组织和研究机构的高度重视，并已成为智能科学技术一个重要的研究领域。54.1.3计算智能与人工智能的关系目前，对计算智能与人工智能的关系有2种观点，一种认为计算智能是人工智能的一个子集，另一种认为计算智能和人工智能是不同的范畴。第一种观点的代表人物是贝慈德克。他把智能（Intelligence，I）和神经网络（NeuralNetwork，NN）都分为计算的（Computational，C）、人工的（Artificial，A）和生物的（Biological,B）3个层次，并以模式识别（PR）为例，给出了下图所示的智能的层次结构。在该图中，底层是计算智能（CI），它通过数值计算来实现，其基础是CNN；中间层是人工智能（AI），它通过人造的符号系统实现，其基础是ANN；顶层是生物智能（BI），它通过生物神经系统来实现，其基础是BNN。按照贝慈德克的观点，CNN是指按生物激励模型构造的NN，ANN是指CNN+知识，BNN是指人脑，即ANN包含了CNN，BNN又包含了ANN。对智能也一样，贝慈德克认为AI包含了CI，BI又包含了AI，即计算智能是人工智能的一个子集。6CNNCPRCIANNAPRAIBNNBPRBI人类知识(+)传感输入知识(+)传感数据计算(+)传感器B~生物的A~符号的C~数值的复杂性复杂性输入层次贝慈德克的智能的3个层次4.1.3计算智能与人工智能的关系7第二种观点是大多数学者所持有的观点，其代表人物是艾伯哈特（R.C.Eberhart）。他们认为：虽然人工智能与计算智能之间有重合，但计算智能是一个全新的学科领域，无论是生物智能还是机器智能，计算智能都是其最核心的部分，而人工智能则是外层。事实上，CI和传统的AI只是智能的两个不同层次，各自都有自身的优势和局限性，相互之间只应该互补，而不能取代。大量实践证明，只有把AI和CI很好地结合起来，才能更好地模拟人类智能，才是智能科学技术发展的正确方向。4.1.3计算智能与人工智能的关系84.1概述4.2神经计算4.2.1神经计算基础4.2.2人工神经网络的互连结构4.2.3人工神经网络的典型模型4.3进化计算4.4模糊计算4.5粗糙集第4章计算智能神经计算或叫神经网络，是计算智能的重要基础和核心。基于神经网络的连接学习机制放到机器学习部分讨论。94.2.1神经计算基础生物神经系统是人工神经网络的基础。人工神经网络是对人脑神经系统的简化、抽象和模拟，具有人脑功能的许多基本特征。1.生物神经系统简介(1)生物神经元的结构(2)生物神经细胞及工作方式(3)突触联结(4)突触传递方式2.人工神经网络简介10结构：胞体轴突树突突触长度：最长1米状态：抑制兴奋细胞体轴突树突突触1.生物神经系统简介生物神经元的结构11细胞结构细胞膜，细胞质，细胞核神经递质传递乙酰胆碱、儿茶酚胺类、氨基酸等信号跨膜转导离子通道基本状态：抑制：-70毫伏兴奋：+40毫伏静息膜电位：-70毫伏动作电位：+40毫伏工作方式：刺激叠加瞬间冲动细胞膜细胞质细胞核1.生物神经系统简介神经细胞及工作方式121.生物神经系统简介突触联结方式131.生物神经系统简介突触传导突触后膜突触间隙突触前膜神经微管线粒体突触小泡存储颗粒突触传导由电变化和化学变化两个过程完成。当一个神经冲动传到神经末梢时，促使小泡前移与突触前膜融合，并在融合处出现裂口，使其所含神经递质释放，释放出来的神经递质通过突触前膜的张口进入突出间隙。进入突触间隙的神经递质又迅速作用于突触后膜，改变突触后膜的通透性，引起突触后成分中的电位变化，实现神经冲动的传递。由于神经末梢所释放的递质不同（兴奋作用和抑制作用），因此突触可分为兴奋性突触和抑制性突触。144.2.1神经计算基础生物神经系统是人工神经网络的基础。人工神经网络是对人脑神经系统的简化、抽象和模拟，具有人脑功能的许多基本特征。1.生物神经系统简介2.人工神经网络简介(1)人工神经元的结构(2)常用的人工神经元模型(3)人工神经网络及其分类15θ…x1x2xnw1w2wnyMP模型是美国心理学家麦克洛奇(W.McMulloch)和数理逻辑学家皮茨(W.Pitts)根据生物神经元的功能和结构，于1943年提出的一种将神经元看作二进制阈值元件的简单模型。图中的x1,x2,…,xn表示某一神经元的n个输入；wi表示第i个输入的连接强度，称为连接权值；θ为神经元的阈值；y为神经元的输出。1()()niiiyffwx1niiiwx2.人工神经网络简介人工神经元的结构图4.3MP神经元模型人工神经元是一个具有多输入，单输出的非线性器件。其输入为：其输出为：16根据功能函数的不同，可得不同的神经元模型。阈值型(Threshold)这种模型的神经元没有内部状态，作用函数f是一个阶跃函数，他表示激活值σ和输出之间的关系。分段线性强饱和型(LinearSaturation)这种模型又称为伪线性，其输入/输出之间在一定范围内满足线性关系，一直延续到输出为最大值1为止。但当达到最大值后，输出就不再增。S型(Sibmoid)这是一种连续的神经元模型，其输入输出特性常用指数、对数或双曲正切等S型函数表示。它反映的是神经元的饱和特性.子阈累积型(SubthresholdSummation)也是一个非线性函数，当产生的激活值超过T值时，该神经元被激活产生个反响。在线性范围内，系统的反响是线性的。σf(θ)1T12.人工神经网络简介常用的人工神经元模型f(θ)1σ00f(θ)σ10f(θ)0σ17人工神经网络是一种对人工神经元进行互联所形成的网络，它是对生物神经网络的模拟。反映的是神经元的饱和特性.2.人工神经网络简介人工神经网络及其分类人工神经网络的概念人工神经网络的分类按学习方法前馈网络反馈网络按拓扑结构有导师指导无导师指导按网络性能连续型网络离散型网络184.2.2人工神经网络的互联结构人工神经网络的互连结构（或称拓扑结构）是指单个神经元之间的连接模式，它是构造神经网络的基础，也是神经网络诱发偏差的主要来源。从互连结构的角度：1.前馈网络2.反馈网络单层前馈网络多层前馈网络单层反馈网络多层反馈网络仅含输入层和输出层，且只有输出层的神经元是可计算节点除拥有输入、输出层外，还至少含有一个、或更多个隐含层的前向网络指不拥有隐含层的反馈网络指拥有隐含层的反馈网络（可含有反馈联结）（只包含前向联结）n1ijiijjm,...,2,1j)x(fyw19单层前馈网络是指那种只拥有单层计算节点的前向网络。它仅含有输入层和输出层，且只有输出层的神经元是可计算节点，如下图所示……x1X2X3xny1Y2ym权值wij输出层输入层图4.8单层前馈网络结构1.前馈网络单层前馈网络(1/3)其中，输入向量为X=(x1,x2,…,xn)；输出向量为Y=(y1,y2,…,ym)；输入层各个输入到相应神经元的连接权值分别是wij，i=1,2,..,n，j=1,2,..,m。20若假设各神经元的阈值分别是θj，j=1,2,…,m，则各神经元的输出yj,j=1,2,..,m分别为：n1ijiijjm,...,2,1j)x(fywnmn2n12m22211m1211wwwwwwwwwW1.前馈网络单层前馈网络(2/3)其中，由所有连接权值wij构成的连接权值矩阵W为：在实际应用中，该矩阵是通过大量的训练示例学习而形成的。21多层前馈网络是指那种除拥有输入、输出层外，还至少含有一个、或更多个隐含层的前馈网络。隐含层是指由那些既不属于输入层又不属于输出层的神经元所构成的处理层,也被称为中间层。隐含层的作用是通过对输入层信号的加权处理，将其转移成更能被输出层接受的形式。x1X2Xny1Ym隐含层输出层输入层图4.9多层前馈网络结构………权值权值1.前馈网络多层前馈网络(3/3)多层前馈网络的输入层的输出向量是第一隐含层的输入信号，而第一隐含层的输出则是第二隐含层的输入信号，以此类推，直到输出层。多层前馈网络的典型代表是BP网络。222.反馈经网络反馈网络是指允许采用反馈联结方式所形成的神经网络。所谓反馈联结方式是指一个神经元的输出可以被反馈至同层或前层的神经元。反馈网络和前向网络不同：前向网络属于非循环连接模式，它的每个神经元的输入都没有包含该神经元先前的输出，因此不具有“短期记忆”的性质。反馈网络则不同，它的每个神经元的输入都有可能包含有该神经元先前输出的反馈信息，即一个神经元的输出是由该神经元当前的输入和先前的输出这两者来决定的，这就有点类似于人类的短期记忆的性质。反馈网络的典型例子是后面将要介绍的Hopfield网络23人工神经网络模型人工神经网络模型是指对网络结构、联结权值和学习能力的总括。常用的网络模型已有数十种。例如：传统的感知机模型；具有误差反向传播功能的反向传播网络模型；采用多变量插值的径向基函数网络模型；建立在统计学习理论基础上的支撑向量机网络模型；采用反馈联接方式的反馈网络模型；基于模拟退火算法的随机网络模型。重点讨论1.感知器（Perceptron）模型2.反向传播（BP）模型3.反馈网络（Hopfield