_人工神经网络ANN

2.人工神经网络基础3.典型的神经网络模型1.绪论人脑的结构、机制和功能中凝聚着无比的奥秘和智慧。地球是宇宙的骄子，人类是地球的宠儿，大脑是人类的主宰。探索人脑的奥秘，从中获得智慧，在其启发下构造为人类服务的高级智能系统。1、人工神经网络的提出人类对智能的两种研究方式：基于传统的人工智能技术——心理角度的模拟基于人工神经网络的技术——生理角度的模拟1、人工神经网络的提出思维逻辑思维：形象思维：灵感思维：经验、直觉等——仿生学概念、推理、判断——物理符号+串行规则2、人工神经网络研究的历史回归萌芽时期(20世纪50年代之前)1943年，McCulloch-Pitts的M-P模型(神经元模型)1949年，Hebb学习率高潮时期(20世纪50年代中期到20世纪60年代末期)单层感知器用电子线路模拟人脑反思时期(20世纪60年代末到20世纪80年代初期)“异或”运算不可表示，多层感知器的学习规则不知蓬勃发展时期(20世纪80年代以后)1982年，Hopfield循环网络的提出，涉及了网络的动力学问题1986年，BP网络较好地解决了多层网络的学习问题3、人工神经网络的功能应用(1)联想记忆功能(2)非线性映射功能(3)分类与识别功能传统分类能力ANN分类能力神经网络自动提取非线性映射规则输入样本输出样本3、人工神经网络的功能应用(5)知识处理功能3、人工神经网络的功能应用(4)优化计算功能由同一神经网络实现神经网络专家系统的构成问题解答知识分布式表示知识获取、知识库平行推理输入数据求解的问题变量变换1、ANN的生物学基础生物神经元示意图生物神经元在结构上由细胞体、树突、轴突、突触四部分组成。用来完成神经元间信息的接收、传递和处理。生物神经元生物神经网络人类的大脑大约有1.41011个神经细胞，亦称为神经元。每个神经元有数以千计的通道同其它神经元广泛相互连接，形成复杂的生物神经网络。人工神经网络(ArtificialNeuralNetworks,ANN)ANN是对人类大脑系统的一阶特性的一种描述，简单讲，它是一个由许多简单的并行工作的处理单元组成的数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是AI研究的一种方法。ANN力求从物理结构、计算模拟、存储与操作、训练四个方面来模拟人脑的智能行为。2、人工神经网络定义3、神经元的人工模型神经元及其突触是生物神经网络的基本器件。因此，模拟生物神经网络应首先模拟生物神经元——人工神经元(节点、处理单元)从三个方面进行模拟:节点本身的信息处理能力(数学模型)节点与节点之间连接(拓扑结构)相互连接的强度(通过学习来调整)决定人工神经网络整体性能的三大要素3、神经元的人工模型神经元模型示意图4、M-P模型（处理单元，PE）1943年，心理学家McCulloch和数学家Pitts建立起了著名的阈值加权和模型，简称为M-P模型niiiwxXWnet1网络输入：：f转移函数/激活函数/激励函数/活化函数x2w2∑xnwn…x1w1人工神经元模型)(netfOXWnetf数学模型(a)阈值型(b)分段线性型(c)Sigmoid函数型(d)双曲正切型常用的激发函数常见的响应函数有以下几种类型：4、M-P模型（处理单元，PE）5、ANN的拓扑结构与训练ANN中，各PE的不同连接方式就构成了网络的不同连接模型，常见：前向前馈网络从输入层到输出层有反馈的网络层内有互联的网络互联网络(1)ANN的拓扑结构(2)ANN的训练ANN能够通过对样本的学习训练，不断改变网络的连接权值以及拓扑结构，以使网络的输出不断地接近期望的输出。这一过程称为神经网络的学习或训练，其本质是可变权值的动态调整。有导师学习/有监督学习无导师学习/无监督学习学习方式：1、单层感知器(Perceptron)o1…oj…omW1○Wj○Wm○○○○○x1x2…xi…xn第1层处理层(1)基本模型j=1,2,…,mTni,...,x,...x,xx)(21XTmi,...,o,...o,oo)(21OTnjijjjj,...,w,...w,ww)(21W模型的数学表达净输入：niiijjxwnet1输出：)()()(0XWTjniiijjjsgnxwsgnnetsgno第0层输入层(2)单层感知器的功能010122112211jjjjjjjTxwxwTxwxwo输出：则由方程wijx1+w2jx2-Tj=0确定了二维平面上的一条分界线。ojx1-1x2x1****O**O**OO*Ox2**OOOO1、单层感知器(Perceptron)设输入向量：TxxX),(21输入向量X=(x1,x2,x3)T?输入向量X=(x1,x2,…,xn)T?例：用感知器实现逻辑“与”功能感知器在形式上与M-P模型差不多，它们之间的区别在于神经元间连接权的变化。感知器的连接权定义为可变的，这样感知器就被赋予了学习的特性。学习信号=期望输出(教师信号)–实际输出，即：(3)单层感知器的学习1、单层感知器(Perceptron)XXWdWTJjj)]sgn([权值调整公式：显然，当实际输出与期望值相同时，权值不需要调整。感知器学习规则代表一种有导师的误差学习。jjodr学习率(0-1)只能解决线性可分问题，而大量的分类问题是线性不可分的！(4)单层感知器的局限性解决的有效办法：1、单层感知器(Perceptron)在输入层与输出层之间引入隐层作为输入模式的“内部表示”，将单计算层感知器变成多层感知器。采用非线性连续函数作为转移函数，使区域边界线的基本线素由直线变成曲线，从而使整个边界线变成连续光滑的曲线。具有不同隐层数的感知器的分类能力对比感知器结构异或问题复杂问题判决域形状判决域无隐层半平面单隐层凸域双隐层任意复杂形状域2、误差反向传播模型（B-P模型）o1…ok…olW1○Wk○Wl○y1○y2○…○yj…○ymV1Vm○○○○○x1x2…xi…xn-1xn(1)基本模型模型的数学表达输入向量：X=(x1,x2,…,xi,…,xn)T隐层输出向量：Y=(y1,y2,…,yj,…,ym)T输出层输出向量：O=(o1,o2,…,ok,…,ol)T期望输出向量：d=(d1,d2,…,dk,…,dl)T输入层到隐层之间的权值矩阵：V=(V1,V2,…,Vj,…,Vm)隐层到输出层之间的权值矩阵：W=(W1,W2,…,Wk,…,Wl)第0层输入层第1层隐含层第2层输出层相邻层神经元间全互连，通层神经元无连接的多层网络。对于输出层：)(kknetfok=1,2,…,lm0jjjkkywnetk=1,2,…,l对于隐含层：j=1,2,…,mj=1,2,…,m)(jjnetfyn0iiijjxvnet2、误差反向传播模型（B-P模型）o1…ok…olW1○Wk○Wl○y1○y2○…○yj…○ymV1Vm○○○○○x1x2…xi…xn-1xn注：一般情况下，输出层和隐含层的转移函数f相同，都采用S函数！多层前馈型网络2、误差反向传播模型（B-P模型）(2)B-P网络的功能非线性映射能力多层前馈网能学习和存贮大量输入-输出模式映射关系，完成由n维输入空间到m维输出空间的非线性映射。泛化能力当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。容错能力输入中带有较大的误差甚至个别错误对网络的输入输出影响很小。2、误差反向传播模型（B-P模型）B-P网络学习的目的是对网络的连接权值进行调整，使得调整后的网络对任一输入都能得到所期望的输出。学习过程由正向传播和反向传播组成。正向传播用于对前向网络进行计算，即对某一输入信息，经过网络计算后求出它的输出结果。反向传播用于逐层传递误差，修改神经元间的连接权值，使网络对输入信息经过计算后的输出能达到期望的误差要求。(3)B-P网络的学习2、误差反向传播模型（B-P模型）输出误差E定义：221E)(Odl1k2kkod21)(l1k2kknetfd21E)]([l1k2m0jjjkkywfd21)]([进一步展开至输入层：l1k2m0jjjkknetfwfd21E)]}([{l1k2m0jn0iiijjkkxvfwfd21)]}([{(3)B-P网络的学习2、误差反向传播模型（B-P模型）曲面的分布特点--------算法的局限性存在平坦区域误差下降缓慢，影响收敛速度存在多个极小点易陷入局部最小点，使训练无法收敛于给定误差,得不到全局误差(4)B-P网络的局限性误差曲面此外，隐层节点的选取靠的是经验，缺乏理论指导！3、Hopfield模型Hopfield模型是霍普菲尔德分别于1982年及1984提出的两个循环ANN模型。1982年提出的是离散型(DiscreteHopfieldNeuralNetwork)，1984年提出的是连续型(ContinuesHopfieldNeuralNetwork)，但它们都是反馈网络结构。反馈神经网络反馈循环网络中，网络的输出要反复地作为输入再送入网络中，这就使得网络具有了动态性，网络的状态在不断的改变中，因而就存在网络的稳定性问题。一个反馈网络是稳定的是指从某一时刻开始，网络的状态不再改变。4、其它常见的ANN模型自适应特征映射神经网络(SOFM网)，又称Kohenen网自适应共振理论(ART)双向联想存储器(BAM)BSB模型，也称盒中脑模型CPN(CounterPropagationNetwork)，也称对流网认知机(Neocognitron)……单层感知器模型：单计算节点感知器实际上就是一个M-P神经元模型功能：解决线性可分问题局限性：不能解决线性不可分问题学习算法：有导师学习B-P网络模型：有隐层的多层前馈网络，采用非线性连续转移函数功能：能够求解非线性问题局限性：陷入平坦区、局部最小的问题学习算法：信号的正向传播和误差的反向传播，是一种有导师学习算法多层感知器模型：有隐层的多层前馈网络功能：能够求解非线性问题局限性：隐层神经元的学习规则尚无所知用感知器实现逻辑“与”功能逻辑“与”真值表x1x2y000010100111yx1-1x20.50.50.75x1x2w1x1+w2x2-T=00.5x1+0.5x2-0.75=0