人工智能第五章计算智能.ppt

第5章计算智能计算智能涉及神经计算、模糊计算、进化计算和人工生命等领域，这些研究领域体现出生命科学与信息科学的紧密结合，也是广义人工智能力图研究和摹仿人类和动物智能(主要是人类的思维过程和智力行为)的重要进展。把计算智能理解为智力的低层认知，它主要取决于数值数据而不依赖于知识。人工智能是在计算智能的基础上引入知识而产生的智力中层任知。生物智能，尤其是人类智能，则是最高层的智能。即CIAIBI。第5章计算智能§5.1概述§5.2神经计算§5.3模糊计算§5.4遗传算法§5.5人工生命§5.6粒群优化§5.7蚁群算法§5.1概述什么是计算智能，它与传统的人工智能的区别？第一个对计算智能的定义是由贝兹德克(Bezdek)于1992年提出的。他认为，从严格意义上讲，计算智能取决于制造者提供的数值数据，而不依赖于知识；另一方面，人工智能则应用知识精品。§5.1概述1.ABC及相关符号的表示含义A----Artificial,表示人工的(非生物的)，即人造的B----Biological,表示物理的+化学的+(??)=生物的C----Computational,表示数学+计算机NN----神经网络PR----模式识别I----智能§5.1概述2.ABC及其与神经网络(NN)、模式识别(PR)和智能(I)之间的关系输入复杂性————层次复杂性人类知识BNNBPRBIB-生物的(+)传感输入知识ANNAPRAIA-符号的(+)传感数据计算CNNCPRCIC-数值的(+)传感器注：.9个节点，表示9个研究领域或学科.节点间的距离衡量领域间的差异，如CNN与CPN的差异比BNN与BPR小.符号→意味着“适当的子集”，如：ANNAPRAI，CIAIBI。§5.1概述3.ABC及其相关领域的定义BNNANNCNNBPRAPRCPRBIAICI人类智能硬件：大脑中层模型：CNN+知识精品低层，生物激励模型对人的传感数据结构的搜索中层模型：CPR+知识精品对传感数据结构的搜索人类智能软件：智力中层模型：CI+知识精品计算推理的低层算法人的传感输入的处理以大脑方式的中层处理以大脑方式的传感数据处理对人的感知环境中结构的识别中层数值和语法处理所有CNN+模糊、统计和确定性模型人类的认知、记忆和作用以大脑方式的中层认知以大脑方式的低层认知§5.1概述总结：计算智能是一种智力方式的低层认知，它与人工智能的区别只是认知层次从中层下降到低层而已。中层系统含有知识(精品)，低层系统则没有。若一个系统只涉及数值(低层)数据，含有模式识别部分，不应用人工智能意义上的知识，而且能够呈现出：①计算适应性；②计算容错性；③接近人的速度；④误差率与人相近，则该系统就是计算智能系统。若一个智能计算系统以非数值方式加上知识(精品)值，即成为人工智能系统。§5.2神经计算神经计算就是通过对人脑的基本单元---神经元的建模和联结，来探索模拟人脑神经系统功能的模型，并研制一种具有学习、联想、记忆和模式识别等智能信息处理功能的人工系统。§5.2.1人工神经网络研究的进展§5.2.2人工神经网络的结构§5.2.3人工神经网络的典型模型§5.2.4基于神经网络的知识表示与推理§5.2.5前馈神经网络§5.2.6Hopfield神经网络§5.2.7自组织映射神经网络§5.2.1人工神经网络研究的进展一、发展历程•40年代心理学家麦卡洛克(Mcculloch)和数学家皮茨(Pitts)合作提出的兴奋与抑制型神经元模型和赫布(Hebb)提出的神经元连接强度的修改规则，他们的研究结果至今仍是许多神经网络模型研究的基础。•50年代、60年代的代表性工作是罗森布拉特(Rosenblatt)的感知机和威得罗(Widrow)的自适应性元件Adaline(adapyivelineearelement,即自适应线性元)。•1969年，明斯基(Minsky)和帕伯特(Papert)合作发表了颇有影响的Perceptron一书，得出了消极悲观的论点，加上数字计算机正处于全盛时期并在人工智能领域取得显著成就，70年代人工神经网络的研究处于低潮。•80年代后，传统的VonNeumann数字计算机在模拟视听觉的人工智能方面遇到了物理上不可逾越的极限。与此同时，鲁姆尔哈特(Rumelhart)与Mcclelland以及Hopfield等人在神经网络领域取得了突破性进展，神经网络的热潮再次掀起。§5.2.1人工神经网络研究的进展二、特点1)可以充分逼近任意复杂的非线性关系；2)所有定量或定性的信息都等势分布贮存于网络内的各神经元，故有很强的鲁棒性和容错性；3)采用并行分布处理方法，使得快速进行大量运算成为可能；4)可学习和自适应不知道或不确定的系统；5)能够同时处理定量、定性知识；6)可硬件实现。结构特征：并行式处理分布式存储容错性能力特征：自学习自组织自适应性§5.2.1人工神经网络研究的进展三、基本功能联想记忆功能§5.2.1人工神经网络研究的进展三、基本功能输入样本神经网络输出样本自动提取非线性映射规则非线性映射功能§5.2.1人工神经网络研究的进展三、基本功能传统分类能力ANN分类能力分类与识别功能§5.2.1人工神经网络研究的进展三、基本功能优化计算功能§5.2.1人工神经网络研究的进展三、基本功能问题解答知识分布式表示由同一知识获取、知识库神经网平行推理络实现输入数据变量变换求解的问题神经网络专家系统的构成知识处理功能§5.2.1人工神经网络研究的进展总之，神经网络具有学习和适应、自组织、函数逼近和大规模并行处理能力神经网络在模式识别、信号处理、系统辨识和优化等方面广泛应用§5.2.2人工神经网络的结构一、生理神经元的结构与功能1.生理神经元的结构大多数神经元由一个细胞体(cellbody或soma)和突(process)两部分组成。突分两类，即轴突(axon)和树突(dendrite)，。轴突是个突出部分，长度可达1m，把本神经元的输出发送至其它相连接的神经元。树突也是突出部分，但一般较短，且分枝很多，与其它神经元的轴突相连，以接收来自其它神经元的生物信号。轴突和树突共同作用，实现了神经元间的信息传递。轴突的末端与树突进行信号传递的界面称为突触(synapse)，通过突触向其它神经元发送信息。对某些突触的刺激促使神经元触发(fire)。只有神经元所有输入的总效应达到阈值电平，它才能开始工作。无论什么时候达到阈值电平，神经元就产生一个全强度的输出窄脉冲，从细胞体经轴突进入轴突分枝。这时的神经元就称为被触发。越来越明显的证据表明，学习发生在突触附近，而且突触把经过一个神经元轴突的脉冲转化为下一个神经元的兴奋或抑制。§5.2.2人工神经网络的结构2.生理神经元的功能从生物控制论的观点，神经元作为控制和信息处理的基本单元，具有下列一些重要的功能与特性：•时空整合功能：神经元对于不同时间通过同一突触传入的神经冲动，具有时间整合功能。对于同一时间通过不同突触传入的神经冲动，具有空间整合功能。两种功能相互结合，具有时空整合的输入信息处理功能；•兴奋与抑制状态：即兴奋（细胞膜电位升高）和抑制（细胞膜电位降低）。•脉冲与电位转换：突触界面具有脉冲/电位信号转换功能。•神经纤维传导速度：神经冲动沿神经纤维传导的速度在1-150m/s之间。•突触延时和不应期：突触对神经冲动的传递具有时延和不应期，在相邻的二次冲动之间需要一个时间间隔，即为不应期。每个人脑大约含有1011-1012个神经元，每一神经元又约有103-104个突触。神经元通过突触形成的网络，传递神经元间的兴奋与抑制。大脑的全部神经元构成极其复杂的拓扑网络群体，用于实现记忆与思维。§5.2.2人工神经网络的结构二.人工神经元1.人工神经元的组成人工神经网络(artificialneuralnets,ANN)或模拟神经网络是由模拟神经元组成的，可把ANN看成是以处理单元PE(processingelement)为节点，用加权有向弧(链)相互连接而成的有向图。其中，处理单元是对生理神经元的模拟，而有向弧则是轴突-突触-树突对的模拟。有向弧的权值表示两处理单元间相互作用的强弱。来自其它神经元的输入乘以权值，然后相加。把所有总和与阈值电平比较。当总和高于阈值时，其输出为1；否则，输出为0。大的正权对应于强的兴奋，小的负权对应于弱的抑制。在简单的人工神经网模型中，用权和乘法器模拟突触特性，用加法器模拟树突的互联作用，而且与阈值比较来模拟细胞体内电化学作用产生的开关特性。§5.2.2人工神经网络的结构2.ANN的数学描述令来自其它处理单元(神经元)i的信息为Xi，它们与本处理单元的互相作用强度为Wi，i=0,1,…，n-1，处理单元的内部阈值为θ。那么本神经元的输入为xi为第i个元素的输入，wi为第i个元素与本处理单元的互联权重。f称为激发函数(activationfunction)或作用函数。它决定节点(神经元)的输出。该输出为1或0取决于其输入之和大于或小于内部阈值θ。处理单元的输出为§5.2.2人工神经网络的结构激发函数一般具有非线性特性，常用的非线性特性如下图所示，分述于下：①阈值型对于这种模型，神经元没有内部状态，激发函数为一阶跃函数，如图(a)所示。这时，输出为：1,xi0f(xi)=U(xi)=0,xi≤0②分段线性强饱和型见图(b)。③Sigmoid型激发函数称为西格莫伊德(Sigmoid)函数，简称S型函数，其输入输出特性常用对数曲线或正切曲线等表示。这类曲线反映了神经元的饱和特性。S型函数是最常用的激发函数，它便于应用梯度技术进行搜索求解。§5.2.2人工神经网络的结构三、人工神经网络的基本特性和结构1.神经网络的基本特性许多神经元以一定方式连接在一起，即构成神经网络。这种由许多神经元组成的信息处理网络具有并行分布结构。每个神经元具有单一输出，并且能够与其他神经元连接；存在许多输出连接方法，每种连接方法对应一个连接权系数。严格地说，人工神经网络是一种具有下列特性的有向图：①对于每一个节电i存在一个状态变量xi;②从节点j至节点i，存在一个连接权系统数wji；③对于每个节点i，存在一个阈值i；④对于每个节点i，定义一个变换函数fi(xi,wji,i),i≠j；对于最一般的情况，此函数取fi(∑wijxj-i)形式。j§5.2.2人工神经网络的结构2.神经网络的结构⑴递归网络有些神经元的输出被反馈至同层或前层神经元，信号能够从正向或反向流通。又叫反馈网络。典型例子：Hopfield网络、Elmman网络和Jordan网络如图：vi表示接点的状态，xi为节点的输入值，xi’为收敛后的输出值，i=1,2,…,n⑵前馈网络具有递阶分层结构，由一些同层神经元间不存在互连的层次组成。从输入到输出的信号通过单向连接流通；神经元从一层连接至下一层，不存在同层神经元间的连接。如图：实线指明实际信号流通，虚线表示反向传播。典型例子：多层感知器MLP§5.2.2人工神经网络的结构2.神经网络的结构注：分层形前向网络具有任意精度的模式映射能力，因而可以用作模式分类、匹配等，而反馈型神经网络则是一个非线性动力学系统，它具有如下两个重要特征：1．系统具有多个稳定状态，从某一初始状态开始运动，系统最终可以到达某一个稳定状态；2．不同的初始连接权值对应的稳定状态也不相同。如果用系统的稳定状态作为记忆，那么由某一初始状态出发向稳态的演化过程，实际上就是一个联想过程，所以反馈型神经网络具有联想记忆的功能。§5.2.2人工神经网络的结构决定人工神经网络整体性能节点本身的信息处理能力(数学模型)节点与节点之间连接(拓扑结构)相互连接的强度(通过学习来调整)§5.2.2人工神经网络的结构3.神经网络的主要学习算法加拿大心理学家DonaldHebb出版了《行为的组织》一书，指出学习导致突触的联系强度和传递效能的提高，即为“赫布律”。在此基