人工神经网络复习资料

人工神经网络复习资料第一次课1.人工神经元模型2.3.ForwardNeuralNetworksModel前向神经网络模型FeedbackNeuralNetworksModel反馈神经网络模型NeuralNetworksControlSystem神经网络控制系统IntegratedNeuralNetworks集成神经网络4.5.6.Whennonode节点outputisaninputtoanodeinthesamelayerorprecedinglayer前层,thenetworkisafeedforwardnetwork(前向网络).当输出被引导为输入到相同的或之前的层节点时，网络是反馈网络反馈网络,封闭的循环称为复发性网络(递归网络)7.8.9.神经网络的用途是1分类2模式识别、特征提取、图像匹配3降噪4预测……1x2x3xnx1y2y3yny4.感知器（前向网络）5.感知器是一个具有单层计算神经元的神经网络，并由线性阈值元件组成，是最简单的前向网络。感知器模型是美国学者罗森勃拉特（Rosenblatt）为研究大脑的存储、学习和认知过程而提出的一类具有自学习能力的神经网络模型，Rosenblatt提出的感知器模型是一个只有单层计算单元的前向神经网络，称为单层感知器。它主要用于模式分类，单层的感知器网络结构如下图所示。5.感知器算法1）随机地给定一组连接权2）输入一组样本和期望的输出3）计算感知器实际输出4）修正权值5）选取另外一组样本，重复上述2）～4）的过程，直到权值对一切样本均稳定不变为止，学习过程结束。5.PerceptronLearningRule该学习算法收敛的充分必要条件是输入样本是线性可分的。同时的选取也是十分关键的。学习率选取太小，学习太慢；学习率太大，学习过程可能出现修正过头的情况，从而产生振荡。5.感知器训练规则及计算方法的掌握5.感知器网络应用利用感知器神经网络架构解决一个简单的模式识别问题。使用感知器神经网络架构来表示和门1）分类：训练网络预测心脏病新病人2）逻辑运算：单层感知器可以表示和，或者，不，等等，但不是XOR3）6.MATLABfunctionsforperceptronnetworks5.应用实例:设计一单层单输出感知器神经网络，进行二值化图像卡片上数字的奇偶分类5.第二次课1．KeywordsbiologicalneuronArtificialNeuralneuronoutputneuronsinterconnectionweightedbiaslevelsactivationfunctionfeedforwardneuralnetworkhiddenlayersoutputlayerinput-outputmappingAssociationmemoryPatternRecognitionsystemidentificationperceptronmodelLearningProcesseslearningalgorithmtrainingexamplesinputvectorTargetoutputdesiredresponsesupervisedlearningUnsupervisedLearninglearningtasksrateoflearning生物神经元人工神经元神经元输出神经元互联加权偏见水平激活功能前馈神经网络隐藏的图层输出层输入输出映射关联记忆模式识别系统识别感知器模型学习过程学习算法训练实例输入矢量目标输出期望的响应监督学习无监督学习学习任务学习的速度2.3.3.3.3.4．算法实现步骤：第一步:初始化第二步：输入一个样本，计算连接权值的调整量第三步：调整连接权值第四步：计算均方误差5．6．线性神经网络的应用线性神经网络在模式识别、信号滤波和预测、函数近似等方面有广泛的用途,至今仍然广泛应用于各种实际系统中,特别是在自适应滤波方面,用途更为广泛。1以自适应线性网络实现噪声对消2胎儿心率的检测3电话中的回音对消第三次课1．BP网络具有一层或多层隐含层，除了在多层网络上与前面已介绍过的感知器模型有不同外，其主要差别也表现在激活函数上。感知器是二值型的函数。BP网络的激活函数必须是处处可微的，所以它就不能采用二值型的阀值函数{0，1}或符号函数{-1，1}，BP网络经常使用的是S型的对数或正切激活函数和线性函数。用了“BP算法”进行训练的“多层感知器模型3.3.3.3.2.BP网络主要用于（1）Functionsapproximation：BPcanbeappliedtolearnnon-linearfunctions（2）patternrecognition模式识别3.第四次课1.2.径向基函数(RBF-RadialBasisFunction)神经网络是由J.Moody和C.Darken在80年代末提出的一种神经网络,它是具有单隐层的三层前馈网络。3.3.3.5.6.7.LearningAlgorithm如何确定RBF网络隐层节点的中心及基宽度参数是一个困难的问题8.学习算法需要求解的参数1)径向基函数的中心2)方差3)隐含层到输出层的权值学习方法分类（按RBF中心选取方法的不同分）1)随机选取中心法2)自组织选取中心法3)有监督选取中心法4)正交最小二乘法等.自组织选取中心法:第一步，自组织学习阶段无导师学习过程，求解隐含层基函数的中心与方差；第二步，有导师学习阶段求解隐含层到输出层之间的权值。9.无导师学习阶段，对所有样本的输入进行聚类，求得各隐层节点的RBF的中心ci。如用k均值聚类算法，调整中心，算法步骤为：（1）给定各隐节点的初始中心；（2）计算距离（欧氏距离）并求出最小距离的节点（3）调整中心（4）计算节点的距离（5）重新调整聚类中心(6).求解方差有导师学习阶段:计算隐含层和输出层之间的权值10,。ApplicationsofRBFnetworkFunctionApproximation:ClassificationPatternrecognition,informationprocess,imageprocesssystemmodelingFailurediagnosisRBF神经网络结构简单、训练简洁且学习收敛速度快，因此被广泛引用于时间序列分析、模式识别、非线性控制和图像处理等领域。11.12.13.（1）从网络结构上看。BP神经网络实行权连接，而RBF神经网络输入层到隐层单元之间为直接连接，隐层到输出层实行权连接。BP神经网络隐层单元的转移函数一般选择非线性函数（如反正切函数），RBF神经网络隐层单元的转移函数是关于中心对称的RBF（如高斯函数）。BP神经网络是三层或三层以上的静态前馈神经网络，其隐层和隐层节点数不容易确定，没有普遍适用的规律可循，一旦网络的结构确定下来，在训练阶段网络结构将不再变化；RBF神经网络是三层静态前馈神经网络，隐层单元数也就是网络的结构可以根据研究的具体问题，在训练阶段自适应地调整，这样网络的适用性就更好了.（2）从训练算法上看。BP神经网络需要确定的参数是连接权值和阈值，主要的训练算法为BP算法和改进的BP算法。但BP算法易限于局部极小值，学习过程收敛速度慢，隐层和隐层节点数难以确定；RBF神经网络的训练算法支持在线和离线训练，可以动态确定网络结构和隐层单元的数据中心和扩展常数，学习速度快，比BP算法表现出更好的性能。总之，RBF神经网络可以根据具体问题确定相应的网络拓扑结构，具有自学习、自组织、自适应功能，学习速度快，可以进行大范围的数据融合，可以并行高速地处理数据。RBF神经网络的优良特性使得其显示出比BP神经网络更强的生命力，正在越来越多的领域内替代BP神经网络。目前，RBF神经网络已经成功地用于非线性函数、时间序列分析、数据分类、模式识别、信息处理、图像处理、系统建模、控制和故障诊断等.第六次课1.2.竞争学习的概念与原理竞争学习是自组织网络中最常用的一种学习策略，首先说明与之相关的几个基本概念。1）模式、分类、聚类与相似性模式：一般当网络涉及识别、分类问题时，常用输入模式（而不称输入样本）；分类：将待识别的输入模式划分为各自的模式类中去；聚类：无导师指导的分类称为聚类，聚类的目的是将相似的模式样本划归一类；相似性：输入模式的聚类依据。2）相似性测量神经网络的输入模式用向量表示，比较不同模式的相似性可转化为比较两个向量的距离，因而可用模式向量间的距离作为聚类判据。模式识别中常用到的两种聚类判据是欧式最小距离法和余弦法。3.自组织竞争网络机理：采用无教师学习方式，无须期望输出，只是根据数据样本进行学习，并调整自身的权重以达到学习目的。自组织神经网络的学习规则大都采用竞争型的学习规则。竞争型神经网络的基本思想是网络竞争层的各神经元通过竞争来获取对输入模式的响应机会，最后仅有一个神经元成为胜利者，并将与获胜神经元有关的各连接权值向着更有利于其竞争的方向调整。用途：模式分类和模式识别。4.竞争学习规则——Winner-Take-All网络的输出神经元之间相互竞争以求被激活，结果在每一时刻只有一个输出神经元被激活。这个被激活的神经元称为竞争获胜神经元，而其它神经元的状态被抑制，故称为WinnerTakeAll。5.竞争学习规则——Winner-Take-All1）向量归一化2）寻找获胜神经元3)网络输出与权值调整6.SOM网络共有两层，输入层模拟感知外界输入信息的视网膜。输出层模拟做出响应的大脑皮层。输出层也是竞争层，网络拓扑结构形式常见有一维线阵和二维平面阵。7.8.SOM网的学习算法（1）初始化（2）接受输入（3）寻找获胜节点（4）定义优胜邻域(5)调整权值（6）检查总模式数是否全部参与了学习（7）更新邻域Nj*(t)及学习率η(t)(8)结束检查学习率是否衰减到零或某个预定的正小数.9.SOM设计输出层设计输出层神经元数量设定和训练集样本的类别数相关，但是实际中我们往往不能清除地知道有多少类。如果神经元节点数少于类别数，则不足以区分全部模式，训练的结果势必将相近的模式类合并为一类；相反，如果神经元节点数多于类别数，则有可能分的过细，或者是出现“死节点”，即在训练过程中，某个节点从未获胜过且远离其他获胜节点，因此它们的权值从未得到过更新。不过一般来说，如果对类别数没有确定知识，宁可先设定较多的节点数，以便较好的映射样本的拓扑结构，如果分类过细再酌情减少输出节点。“死节点”问题一般可通过重新初始化权值得到解决。输出层节点排列的设计输出层的节点排列成哪种形式取决于实际应用的需要，排列形式应尽量直观反映出实际问题的物理意义10．权值初始化问题基本原则是尽量使权值的初始位置与输入样本的大概分布区域充分重合。一种简单易行的方法是从训练集中随机抽取m个输入样本作为初始权值优胜邻域的设计优胜领域设计原则是使领域不断缩小，领域的形状可以是正方形、六边形或者菱形。优势领域的大小用领域的半径表示，设计目前没有一般化的数学方法，通常凭借经验来选择。学习率的设计在训练开始时，学习率可以选取较大的值，之后以较快的速度下降，这样有利于很快捕捉到输入向量的大致结构，然后学习率在较小的值上缓降至0值，这样可以精细地调整权值使之符合输入空间的样本分布结构。学习率就是一个递减的函数，而优胜邻域也是t的递减函数11.学习向量量化LVQ神经网络学习向量量化（LearnigVectorQuantization，LVQ）网络：（1）在竞争网络结构基础上提出的；（2）将竞争学习思想与有监督学习算法结合在一起；（3）在网络学习过程中，通过教师信号对输入样本的分配类别进行规定；（4）克服了自组织网络采用无监督学习算法带来的缺乏分类信息的弱点。12.LVQ自适应解决模式分类问题的步骤：第一步：自组织映射——起聚类的作用，但不能直接分类或识别；第二步：学习向量量化——采用有监督方法，在训练中加入教师信号作为分类信息对权值进行细调，并对输出神经元预先指定其类型。13.LVQ网络结构与工作原理14.LVQ网络结构学习向量量化神经网络，属于前向有监督神