人工智能第4章 计算智能(1)

第四章计算智能(1)神经计算4.1计算智能概述4.2人工神经网络的进展4.3人工神经网络的结构4.4线性模型与感知机4.5BP模型及应用4.1计算智能概述一.为什么要提出计算智能传统的人工智能要解决得是对人的高层次智能的模拟,以处理知识达到目的.对人的低层次智能的模拟效果不理想.而一些仿生算法对处理该类问题显示了巨大的潜力.这些算法不依赖知识,因此在90年代初被学者归类于计算智能.计算智能包括人工神经网络,遗传算法,蚂蚁算法,元胞自动机,进化计算,人工生命等.二.计算智能与人工智能的区别计算智能取决于制造者（manufacturers）提供的数值数据,不依赖于知识人工智能应用知识精品（knowledgetidbits).计算智能模拟人或动物的低层次智能.人工智能模拟人的逻辑判断等高级思维活动.请看一个蚂蚁算法的实例三.计算智能的概念当一个系统只涉及数值（低层）数据,含有模式识别部分,不应用人工智能意义上的知识，而且能够呈现出：（1）计算适应性；（2）计算容错性；（3）接近人的速度；（4）误差率与人相近，则该系统就是计算智能系统.我们的目标是把计算智能系统与人类知识有机地结合起来构成完整的智能系统.4.2人工神经网络的进展一.人工神经网络是对人脑结构的模拟人工神经网络诞生於1943年,试图通过对人脑结构模拟实现新的计算方法.由于直到现在我们对大脑的结构和工作机理并不非常清楚,所以它并不是真正的神经网络模型,但并不妨碍它成为一种有效的计算工具.以下是它模拟的对象:(神经元模型)大量的神经元通过突触连接成复杂的信息处理网络.信息表现在突触的连接强度上,并且能通过训练或学习进行改变.在此基础上建立人工神经元的数学模型:二.感知机模型体现人工神经网络的非线性处理能力20世纪50年代对人工神经网络的一个特例感知机模型(即双层线性阈值模型)的研究表明,人工神经网络能够处理非线性问题.但随后不久发现感知机的表达能力极其有限,对于复杂的非线性问题无能为力,如布尔代数的异或逻辑.这表明计算复杂性必须以结构复杂性为代价,感知机的结构局限导致了其表达能力的有限.随后人工神经网络的研究陷入了低谷,直到80年代出现的Hopfield模型和BP模型.三.BP模型对人工神经网络研究的贡献20世纪80年代中以Rumelhart和McClelland为首的并行分布处理（PDP）的研究小组，他们提出了多层网络学习的误差反向传播学习算法（BP算法），解决了多层网络的学习问题，从实践上证实了人工神经网络具有很强的学习能力,它可以完成许多学习任务，解决许多实际问题，也因此推动了前馈式神经网络的研究。BP算法目前已成为迄今为止应用最普遍的神经网络学习算法.此后很多的学者提出了多种模型,掀起人工神经网络的研究热潮.四.人工神经网络的特点（1）并行分布处理,神经网络具有高度的并行结构和并行实现能力.（2）非线性映射,神经网络具有固有的非线性特性,这源于其近似任意非线性映射（变换）能力。（3）通过训练进行学习,神经网络是通过所研究系统过去的数据记录进行训练的。一个经过适当训练的神经网络具有归纳全部数据的能力。（4）适应与集成,神经网络能够适应在线运行，并能同时进行定量和定性操作.（5）硬件实现,神经网络不仅能够通过软件而且可借助软件实现并行处理.五.人工神经网络的应用领域.模式识别.图像处理.自动控制.信号处理.系统辨识.优化4.3人工神经网络的结构一.人工神经网络的基本要素:.神经单元.输入与输出.输出函数.激励函数.连接模式.传播规则.学习法则二.人工神经网络模型三.人工神经网络各部分特性1.神经单元分为输入单元,输出单元和隐单元每个单元有激活值,可以是连续实数值,也可以是离散整数值2.输入与输出从网络外部到网络内部的为输入信号从网络内部到网络外部的为输出信号3.输出函数单元的输出信号与单元激活值的映射关系可以是等值函数,也可以是阈值函数4.激励函数单元的总输入信号与单元激活值的映射关系可以是等值函数,也可以是阈值函数或可微的连续函数5.连接模式网络中所有单元连接强度(权值)构成的矩阵6.传播规则某个神经单元所接受的总输入与其它单元对该单元输出之间的关系,最常用的为加权传播法则.7.学习法则神经网络的运行包括两个阶段：1.训练或学习阶段向神经网络提供一系列输入－输出数据组,通过数值计算方法和参数优化技术,使节点连接的权值不断调整,直到从给定的输入能产生所期望的输出.22.预测（应用）阶段以训练好的网络,对未知的样本进行预测人工神经网络的主要学习算法.有师学习.无师学习.强化学习4.4线性模型与感知机一.线性网络模型特征1.只有输入单元和输出单元,没有隐单元2.单元激活值为连续实数值3.输出函数和激活函数均为等值函数4.采用加权传播规则线性网络模型等价于线形方程组(请课后自行分析)多层线性模型可以找到等价的双层线形模型(既隐单元对线形模型是多余的)请在作业中证明.二.线性阈值模型的特征1.既有输入单元和输出单元,也有隐单元2.单元激活值为{0,1}3.输出函数为等值函数4.激活函数为阈值函数5.采用加权传播规则三.两层线性阈值模型(感知机)这是一个表达或逻辑的模型它可以用delta学习法则学习感知机无法表达异或逻辑(请在课后作业证明)异或逻辑甚至更复杂的布尔代数只能用多层线形阈值模型表达,但无法找到合适的学习法则.感知机局限性的分析:4.5BP模型及应用一.BP模型(反向传播网络)的特征1.既有输入单元和输出单元,也有隐单元2.单元激活值为连续实数值3.输出函数为等值函数4.激活函数为非递减的可微函数例如Sigmoid函数,非对称Sigmoid函数为f(X)=1/(1+e-x),对称Sigmoid函数f(X)=(1-e-x)/(1+e-x).5.采用加权传播规则6.学习算法采用的是梯度下降法，它使期望输出与实际输出之间的误差平方和最小.设误差e采用下式表示：其中,Yi＝f〔W*·Xi]是对应第i个样本Xi的实时输出Yi是对应第i个样本Xi的期望输出.要使误差e最小，可先求取e的梯度：)()()1(kijkijkijwEww二.BP模型的应用范围及局限.BP模型广泛应用于模式识别,预测,信号处理等领域.经数学证明,它可以表达任意连续函数.其缺点是学习时间长,收敛慢,且容易陷入局部最小,原因是误差曲面复杂.三.BP模型的应用举例实例：应用BP网络预测气候变化对雅砻江流域径流的影响.经分析,在诸多气候因子中,流域内年均气温和年均降水量是影响流域年均径流的两个主要因子,若把气温和降水看作输入,径流看作输出,可用BP网络来研究气温和降水变化对流域径流的影响.建立三层BP网络(输入层、输出层和一个隐蔽层),以年均气温和年均降水量作为BP网络输入层的输入单元,年均径流量为网络输出层的输出单元.用1960到1990年共31年实测的年均气温、降水和径流量系列资料(即31个样本对)对网络进行训练、检验,其中1960—1982年资料作为训练样本，1983-1990年资料作为检验样本。BP网络在雅砻江流域年均流量的拟合与预测精度(%)项目BP网络模型线性回归模型备注平均相对误差5.996.65拟合最大相对误差17.0018.52平均相对误差7.819.33预测最大相对误差21.0325.46摘自水利学报99年第1期