人工智能期末论文

人工智能期末论文班级：计算机科学与技术三班姓名：王珊珊学号：20131844330日期：2016.1.4人工智能期末论文第一部分：人工智能文献综述摘要：人工智能是当前科学技发展的一门前沿学科，同时也是一门新思想，新观念，新理论，新技术不断出现的新兴学科以及正在发展的学科。它是在计算机科学，控制论，信息论，神经心理学，哲学，语言学等多种学科研究的基础发展起来的，因此又可把它看作是一门综合性的边缘学科。它的出现及所取得的成就引起了人们的高度重视,并取得了很高的评价。有的人把它与空间技术，原子能技术一起并誉为20世纪的三大科学技术成就。归纳逻辑是人工智能的逻辑基础。伴随人工智能研究的逐步深入，科学哲学、人工智能和归纳逻辑研究相互影响，出现了新的研究方向。以归纳逻辑为基础，多学科相互合作，可以建立新的机器学习系统或归纳学习系统。关键词：BP神经网络，函数逼近，自组织神经网络,SOM网络，Hopfield神经网络，TSP。一,BP神经网络的应用BP神经网络在函数逼近中的应用（1）问题的提出BP网络由很强的映射能力，主要用于模式识别分类、函数逼近、函数压缩等。下面将通过实例来说明BP网络在函数逼近方面的应用。要求设计一个BP网络，逼近以下函数：g(x)=1+sin(k*pi/4*x)，实现对该非线性函数的逼近。其中，分别令k=1，2，4进行仿真，通过调节参数（如隐藏层节点个数等）得出信号的频率与隐层节点之间，隐层节点与函数逼近能力之间的关系。（2）基于BP神经网络逼近函数步骤1：假设频率参数k=1，绘制要逼近的非线性函数的曲线。函数的曲线如图2所示k=1;p=[-1:.05:8];t=1+sin(k*pi/4*p);Plot(p,t,'-');title('要逼近的非线性函数');xlabel('时间');ylabel('非线性函数');步骤2：网络的建立应用newff()函数建立BP网络结构。隐层神经元数目n可以改变，暂设为n=3，输出层有一个神经元。选择隐层和输出层神经元传递函数分别为tansig函数和purelin函数，网络训练的算法采用Levenberg–Marquardt算法trainlm。n=3;net=newff(minmax(p),[n,1],{'tansig''purelin'},'trainlm');对于初始网络，可以应用sim（）函数观察网络输出。y1=sim(net,p);figure;plot(p,t,'-',p,y1,':')title('未训练网络的输出结果');xlabel('时间');ylabel('仿真输出--原函数-');同时绘制网络输出曲线，并与原函数相比较，结果如图3所示。因为使用newff()函数建立函数网络时，权值和阈值的初始化是随机的，所以网络输出结构很差，根本达不到函数逼近的目的，每次运行的结果也有时不同。步骤3：网络训练应用train（）函数对网络进行训练之前，需要预先设置网络训练参数。将训练时间设置为50，训练精度设置为0.01，其余参数使用缺省值。训练后得到的误差变化过程如图4所示。net.trainParam.epochs=50;(网络训练时间设置为50)net.trainParam.goal=0.01;(网络训练精度设置为0.01)net=train(net,p,t);（开始训练网络）TRAINLM-calcjx,Epoch0/50,MSE9.27774/0.01,Gradient13.3122/1e-010TRAINLM-calcjx,Epoch3/50,MSE0.00127047/0.01,Gradient0.0337555/1e-010TRAINLM,Performancegoalmet.从以上结果可以看出，网络训练速度很快，经过一次循环跌送过程就达到了要求的精度0.01。步骤4：网络测试对于训练好的网络进行仿真：y2=sim(net,p);figure;plot(p,t,'-',p,y1,':',p,y2,'--')title('训练后网络的输出结果');xlabel('时间');ylabel('仿真输出');绘制网络输出曲线，并与原始非线性函数曲线以及未训练网络的输出结果曲线相比较，比较出来的结果如图5所示。其中“”代表要逼近的非线性函数曲线；“‥‥‥”代表未经训练的函数曲线；“―――”代表经过训练的函数曲线；从图中可以看出，得到的曲线和原始的非线性函数曲线很接近。这说明经过训练后，BP网络对非线性函数的逼近效果比较好。（3）不同频率下的逼近效果。改变非线性函数的频率和BP函数隐层神经元的数目，对于函数逼近的效果有一定的影响。网络非线性程度越高，对于BP网络的要求越高，则相同的网络逼近效果要差一些；隐层神经元的数目对于网络逼近效果也有一定影响，一般来说隐层神经元数目越多，则BP网络逼近非线性函数的能力越强。下面通过改变频率参数和非线性函数的隐层神经元数目来加以比较证明。1）频率参数设为k=2，当隐层神经元数目分别取n=3、n=6时，得到了训练后的网络输出结果如图6，7所示。其中“”代表要逼近的非线性函数曲线；“‥‥‥”代表未2）频率参数设为k=8，当隐层神经元数目分别取n=10、n=15时，得到了训练后的网络输出结果如图10，11所示。经训练的函数曲线；“―――”代表经过训练的函数曲线其中“”代表要逼近的非线性函数曲线；“‥‥‥”代表未经训练的函数曲线；“―――”代表经过训练的函数曲线；4）讨论通过上述仿真结果可知，当k=1，n=3时；k=2，n=6时；k=4，n=8时；k=8，n=15时，BP神经网络分别对函数取得了较好的逼近效果。由此可见，n取不同的值对函数逼近的效果有很大的影响。改变BP网络隐层神经元的数目，可以改变BP神经网络对于函数的逼近效果。隐层神经元数目越多，则BP网络逼近非线性函数的能力越强。二，自组织神经网络的应用自组织网结构上属于层次型网络，有多种类型。如：自组织特征映射（SelfOrganizingFeatureMap）网络—SOM）；对偶（向）传播（CounterPropagationNetwork)网络—CPN)；自适应共振理论（AdaptiveResonanceTheory)网络—ART等。其共同特点是都具有竞争层。最简单的网络结构具有一个输入层和一个竞争层。输入层负责接受外界信息并将输入模式向竞争层传递，起观察作用。竞争层负责对该模式进行“分析比较”，找出规律以正确分类。这种功能是通过下面要介绍的竞争机制实现的。自组织特征映射（SOM）神经网络输入模式输出模式竞争层SOM网络的生物学基础生物学研究表明：人的大脑皮层中，存在许多不同功能的神经网络区域，每个功能区域完成各自的特定功能，如视觉、听觉、语言理解和运动控制等等。当人脑通过感官接受外界的特定时空信息时，将引起大脑皮层的特定区域兴奋。每个区域有若干神经元组成，当该区域兴奋时，总是以某一个神经元（细胞）为兴奋中心，呈现出墨西哥帽（MexicanHat）式兴奋分布。网络区域中的这种兴奋与抑制规律，将依据外界输入环境的不同，神经元（细胞）要靠竞争机制来决定胜负。大脑的这种区域性结构，虽有遗传因素，但，各区域的功能大部分是后天通过环境的适应和学习得到的，这就是神经网络的自组织（selforganization）特征.1981年芬兰学者kohonen提出一个称为自组织特征映射（SelfOrganizationFeatureMap-SOM或SOFM）网络，前面说的大脑神经细胞兴奋规律等，在该网络中都得到了反应。SOM网络的拓扑结构与权值调整域拓扑结构SOM网络共有两层，输入层模拟感知外界输入信息的视网膜。输出层模拟做出响应的大脑皮层。输出层也是竞争层，网络拓扑结构形式常见有一维线阵和二维平面阵。网络实现将任意维输入模式在输出层映射成一维离散图形。网络实现将任意维输入模式在输出层映射成二维离散图形。自组织特征映射（SOM）神经网络SOM网络的运行原理SOM网络表现为：网络随机输入模式时，对某个特定的输入模式，输出层会有某个节点产生最大响应而获胜。按生物区域神经兴奋机制，获胜神经元对其邻近神经元存在一种侧抑制（竞争）机制。SOM网络的侧抑制方式是：以获胜神经元为中心权值调整量最强，且由近及远地逐渐递减程度不同的调整权向量直到抑制。理论上按墨西哥帽分布调整权值，但其计算上的复杂性影响了网络训练的收敛性。因此在SOM网的应用中常采用与墨西哥帽函数类似的简化函数或其他一些方式（如优胜域）。以获胜神经元为中心设定一个邻域——优胜域。优胜邻域内的所有神经元均按其离开获胜神经元的距离远近不同程度地调整权值。优胜邻域开始可定义得较大，但其大小随着训练次数的增加不断收缩，最终收缩到半径为零。当输入模式的类别改变时，获胜节点也会改变。获胜节点对周围的节点因侧抑制作用也产生较大的响应，于是，获胜节点及其优胜邻域内的所有节点所连接的权向量均向输入向量的方向作程度不同的调整。网络通过自组织方式，用大量训练样本调整网络的权值，最后使输出层各节点成为对特定模式类敏感的神经元，对应的内星权向量成为各输入模式类的中心向量。并且当两个模式类的特征接近时，代表这两类的节点在位置上也接近。从而，在输出层形成能够反映样本模式类分布情况的有序特征图。SOM网络的学习算法SOM网络采用的学习算法称Kohonen算法，是在胜者为王算法基础上加以改进而成。其主要区别在于调整权向量的侧抑制方式不同。胜者为王算法中，获胜神经元对周围神经元的抑制是“封杀”式的（只获胜神经调整权向量，周围其它无权调整）。Kohonen算法采用优胜域思想，模拟生物区域神经兴奋竞争机制。SOM网络的功能SOM网络的功能特点之一是：保序映射，即能将输入空间的样本模式类有序地映射在输出层上。例动物属性特征映射1989年Kohonen给出一个SOM网的著名应用实例，即把不同的动物按其属性映射到二维输出平面上，使属性相似的动物在SOM网输出平面上的位置也相近。训练集选了16种动物，每种动物用一个29维向量来表示。前16个分量构成符号向量（不同的动物进行16取1编码），后13个分量构成属性向量，描述动物的13种属性的有或无（用1或0表示）。16种动物的属性向量（29维向量的后13个分量）属性动物鸽子母鸡鸭鹅猫头鹰隼鹰狐狸狗狼猫虎狮马斑马牛小1111110000100000中0000001111000000大0000000000011111两只腿1111111000000000四只腿0000000111111111毛0000000111111111蹄0000000000000111鬃毛0000000000000110羽毛1111111000000000猎0000111101111000跑0000000011011110飞1001111000000000泳0011000000000000SOM网输出平面上有10×10个神经元，16个动物模式轮番输入训练，最后输出平面呈现16种动物属性特征映射，属性相似的挨在一起，实现了特征的有序分布。X向量（29维）前16个分量后13个分量（表达动物属性）（16取1，表达动物种类。）动物属性特征映射SOM网的功能特点之二是数据压缩。10×10神经元鸭鹅鸽母鸡马斑马牛隼狼虎狮猫狗狐猫头鹰鹰将高维空间的样本在保持拓扑结构不变的条件下投影到低维空间。如上例中输入样本空间为29维，通过SOM网后压缩为二维平面的数据。SOM网的功能特点之三是特征抽取。（规律的发现）在高维模式空间，很多模式的分布具有复杂的结构，从数据观察很难发现其内在规律。当通过SOM网映射到低维输出空间后，其规律往往一目了然，实现某种特征抽取的映射。即高维空间的向量经过特征抽取后可以在低维特征空间更加清晰地表达，因此映射的意义不仅仅是单纯的数据压缩，更是一种规律发现。如上例29维映射到二维后，相近属性的动物实现了聚类分布的特点。SOM网有许多应用实例：如的听写打字机（声音识别），解决旅行商最优路经问题，皮革外观效果分类等。三，Hopfield神经网络的应用离散Hopfield神经网