搜索
第八章人工神经网络及应用8.1人工神经网络概述8.2人工神经网络基础8.3人工神经网络学习8.4人工神经网络应用8.1人工神经网络概述利用机器模仿人类的智能是长期以来人们认识自然、改造自然和认识自身的理想。人工神经网络（ArtificialNeuralNetwork）是一个用大量简单处理单元经广泛连接而组成的人工网络，是对人脑或生物神经网络若干基本特性的抽象和模拟。（1）研究ANN目的探索和模拟人的感觉、思维和行为的规律，设计具有人类智能的计算机系统。探讨人脑的智能活动，用物化了的智能来考察和研究人脑智能的物质过程及其规律。（2）研究ANN方法●生理结构的模拟用仿生学观点，探索人脑的生理结构，把对人脑的微观结构及其智能行为的研究结合起来即人工神经网络方法。●宏观功能的模拟从人的思维活动和智能行为的心理学特性出发，利用计算机系统来对人脑智能进行宏观功能的模拟，即符号处理方法。（3）ANN的研究内容理论研究：从数学上描述ANN的动力学过程，建立相应的ANN模型。对于给定的学习样本，找出一种能以较快的速度和较高的精度调整神经元间互连权值，使系统达到稳定状态，满足学习要求的算法。实现技术的研究：探讨利用电子、光学、生物等技术实现神经计算机的途径。应用的研究：探讨如何应用ANN解决实际问题，如模式识别、故障检测、智能机器人等。（4）ANN的特点与优势具有自学习功能具有联想存储功能具有高速寻找优化解的能力人工神经网络的局限性–人工神经网络不适于高精度的计算正像很多人不善于直接计算类似资金的问题一样，人工神经网络不用于计算资金方面的问题。–人工神经网络不适于做类似顺序计数的工作。人工神经网络是以并行方式工作的。–人工神经网络的学习和训练是一个艰难的过程。网络的设计没有严格确定的方法（一般凭经验），所以选择训练方法和所需网络结构没有统一标准。脱机训练往往需要很长时间，为了获得最佳效果，常常要重复试验多次。网络收敛性的问题。8.2人工神经网络基础人工神经网络的生物原型—大脑简单的神经元8.2人工神经网络基础简单的神经元–神经元就是神经细胞，在人体内从大脑到全身存在大约1010个神经元。神经元的组成：细胞体：它是神经元的本体，内有细胞核和细胞质，完成普通细胞的生存功能。树突：它有大量的分枝，多达103数量级，长度较短（通常不超过1毫米），用以接受来自其它神经元的信号。轴突：用以输出信号，有些较长（可达1米以上），轴突的远端也有分枝，可与多个神经元相连。突触：它是一个神经元与另一个神经元相联系的特殊部位，通常是一个神经元轴突的端部靠化学接触或电接触将信号传递给下一个神经元的树突或细胞体。8.2人工神经网络基础神经元间信号的传递–神经元间的信号通过突触传递。通过它，一个神经元内传送的冲击信号将在下一个神经元内引起响应，使下一个神经元兴奋，或阻止下一个神经元兴奋。8.2人工神经网络基础神经元的基本工作机制–一个神经元有两种状态——兴奋和抑制–平时处于抑制状态的神经元，当接收到其它神经元经由突触传来的冲击信号时，多个输入在神经元中以代数和的方式叠加。进入突触的信号会被加权，起兴奋作用的信号为正，起抑制作用的信号为负。–如果叠加总量超过某个阈值，神经元就会被激发进入兴奋状态，发出输出脉冲，并由轴突的突触传递给其它神经元。–神经元被触发后有一个不应期，在此期间内不能被触发，然后阈值逐渐下降，恢复原来状态。8.2人工神经网络基础神经元的基本工作机制–神经元是按照“全或无”的原则工作的，只有兴奋和抑制两种状态，但也不能认为神经元只能表达或传递二值逻辑信号。–神经元兴奋时往往不是只发一个脉冲，而是发出一串脉冲，如果把一串脉冲看成是一个调频信号，脉冲的密度是可以表达连续量的。神经网络基本模型细胞体突触轴突树突图12.2生物神经元功能模型输入输出信息处理电脉冲形成传输细胞体突触轴突树突图12.2生物神经元功能模型输入输出信息处理电脉冲形成传输黑箱当常规方法解决不了或效果不佳时ANN方法才能显示出其优越性。尤其对问题的机理不甚了解或不能用数学模型表示的系统,如故障诊断、特征提取和预测等问题,ANN往往是最有利的工具。另一方面,ANN对处理大量原始数据而不能用规则或公式描述的问题,表现出极大的灵活性和自适应性。8.2人工神经网络基础人工神经网络的拓扑结构单层网络–最简单的网络是把一组结点形成一层。–左边的黑色圆点只起着分配输入信号的作用，没有计算作用，不看作是网络的一层。–右边用圆圈表示的一组结点被看作一层。8.2人工神经网络基础人工神经网络的拓扑结构单层网络–输入信号表示为行向量：x=(x1,x2,…,xN)，其中每一分量通过加权连接到各结点。–每一个结点均可产生一个加权和。–输入和结点间采用全连接，并且都是前馈连接。实际的人工神经网络和生物神经网络中有些连接可能不存在。8.2人工神经网络基础人工神经网络的拓扑结构单层网络–在这种单层网络中，可把各加权表示为加权矩阵W。–矩阵的维数是Nxn，N是输入信号向量（也称输入图形）的分量数，n是该层内的结点数。由第三个输入连接到第二个结点的连接权表示为W32。8.2人工神经网络基础人工神经网络的拓扑结构单层网络–输入信号的加权和表示为：–s是各结点加权和的行向量，s=(s1,s2,…,sn)。–输出向量y=(y1,y2,…,yn)，其中yj=F(sj)。8.2人工神经网络基础人工神经网络的拓扑结构多层网络–一般来说，大而复杂的网络能提供更强的计算能力。–虽然目前已构成了很多网络模型，但它们的结点都是按层排列的，这一点正是模仿了大脑皮层中的网络模块。–多层网络是由单层网络进行级联构成的，即上一层的输出作为下一层的输入。8.2人工神经网络基础人工神经网络的拓扑结构多层网络–两层网络（前馈全连接网络）8.2人工神经网络基础人工神经网络的拓扑结构多层网络–三层网络（前馈全连接网络）8.2人工神经网络基础存储和回忆存储就是将信息或图形存在某种存储器中，而回忆则是将已存储的信息按某种方式恢复出来。为了与人类大脑的功能类比，我们把这种信息的恢复称为回忆。8.2人工神经网络基础存储和回忆人工神经网络中存储图形的类型–在计算机中，数据和信息是存放在存贮器中（RAM或ROM)，以8比特字节作为存储单位。–在人工神经网络中，信息或图形不再限定为8比特，它是多维的二进制数据或连续信息。8.2人工神经网络基础存储和回忆人工神经网络中存储的两类图形–空间图形的存储存储单个空间静态图像，如一幅画面。–时空图形的存储存储一系列随时间变化的图像，比如电影。–我们讨论的人工神经网络存储的图形大多是空间图形，因它是构成时空图形的基础。人工神经网络中图形的存储–内容寻址存储器它是在人工神经网络的训练过程中形成的，相当于通过训练将信息存储在加权矩阵W中。训练一旦完成，数据就相当于变换到加权矩阵的稳定状态中，因此这种存储是长期存储。–联想存储器它是在人工神经网络的回忆操作中出现的。当对网络输入激励信号时，作为回忆结果，网络的输出给出一个响应状态。这一响应状态实际上也相当于一个所需的存储数据（响应），因此这种存储为短期存储。存储和回忆存储和回忆回忆的概念–回忆是人类智能的一个主要特征，要想回忆某个人或某件事，通常可通过联想进行。当看到一本书的封面颜色和作者时，会联想到这是一本什么书（书的内容）。当丢失东西时，可以通过联想到过什么地方，做过什么事情，最后回忆起把东西放在什么地方。这两种情况都有一个特点，就是不管是哪本书，还是与东西有关的地点和事情，都是经历过的，相应的记忆才有可能联想出所需的结果。–联想的两种方式自联想：由本身的部分特征联想起整个事物的全部特征。他联想：由一件事情联想到另一件事情。–在人工神经网络中，回忆操作也有两种联想变换自联想变换他联想变换存储和回忆回忆的概念–在人工神经网络中，不管是自联想回忆还是他联想回忆，信息的回忆方式有两种。前馈回忆反馈回忆存储和回忆回忆的概念–前馈回忆输入激励只需通过一次存储矩阵就可产生所需的响应。存储和回忆回忆的概念–反馈回忆输入激励通过存储矩阵W产生响应，该响应作为激励再反馈通过W，这样依次循环，直到激励和响应停止变化为止，即得到所要求的响应。8.3人工神经网络学习人工神经网络的最主要特征之一是它可以学习。任何一个人工神经网络模型要实现某种功能的操作，就必须对它进行训练，让它学会要做的事情，并把这些知识记忆（存储）在网络的加权中。学习或训练的实质就是加权矩阵随外部激励（环境）做自适应的变化。8.3人工神经网络学习因为学习和训练的实质是变动加权值，因此很多文献中学习和训练的概念是混用的。严格来说，两者是有区别的，训练通常是指调整网络加权的操作动作和过程，这个过程对网络来讲就是学习。–比如举办一个训练班对学生进行某种技能的训练，对学生来讲，它是在该班内学习。8.3神经网络的学习方式监督学习（有教师学习）非监督学习（无教师学习）再励学习（强化学习）监督学习环境教师学习系统+输入正确响应实际响应误差信号非监督学习环境学习系统输入再励学习环境学习系统输入评价输出状态动作人工神经网络的应用空间技术：飞行器控制系统，飞行器元件仿真，飞行器元件错误探测。交通业：交通控制、道路优化。金融业：信贷申请评估。语言理解：语音识别，语音压缩，声调识别。遥感解译、天气预报、故障诊断、机器人，制造业，保险业和医学领域等。基于神经网络模式识别功能的诊断系统因子的具体选取依据降水的主要条件，从我国T213数值预报产品中选取反映保定降水条件的物理量。共从36小时预报中选出10个网格点要素，分别是：湿度条件：850HPA的相对湿度、水汽通量；垂直速度条件：850的散度、200的散度、700的垂直速度、降水量、700的涡度；（以上为116E、39N网点的值）东高西低条件：110E、120E、39N两点850的高度差；锋区和能量条件：116E、35N、45N两点850的温度差、TS。人工神经网络在短期降水预报中的应用BP神经网络的建立采用三层BP人工神经网络模式，输入层为10个神经元，对应10个预报因子。输出层为3个神经元，对应降水的大中小三个降水量级。中间层一般取输入层和输出层数的平均，这里取7个神经元。如图1所示，X为输入层，H为隐含层，Y为预报输出层。网络训练1、预报因子0~1化：Xi=(Xmax-Xi)/(Xmax-Xmin)2、在训练以前我们取0~1之间的随机数为连接权重系数Uil、Wlt和阀值Rl、Sj赋初值。由于训练开始时误差常常较大，它们将在以后的训练学习过程中自动逐步调节3、02年，我台从3月到11月接收T213数值预报产品齐全的共有159天，用前109天的资料作为网络训练样本训练结果经过两万多次的训练，总体预报误差达到了4.0以下。终止训练后。这109天中共有降水日27天，其中小雨20天，中雨6天，大雨以上降水一次。训练结束时27天降水全部报出，量级也全部正确，只是空报两次小雨过程，历史拟合率达到27/29=93%。试报结果在试报的50天中共有降水8次，其中大雨2次，漏一次，一次报中雨。中雨3次，报对2次，漏一次。3次小雨，一次报中雨，漏2次。另空报2次小雨，定性准确率4/10=40%。分析与讨论拟合率虽然很高，但试报准确率不太理想。这可能与样本少，降水模型过于简单，且不分季节有关。如果增加历史样本，分季节、分类型建立降水模型。根据不同模型特点，分别找不同的预报因子，有可能提高实际的预报准确率（BP）神经网络的输入与输出不象回归方程是线性关系，而是非线性的。因此，因子的选好比较困难，没有较好的数学方法，所以采用建降水模式的方法，找物理意义较明确的因子。但不同的预报员可能选择的不同因子。人工神经网络在遥感影像解译中的应用基于人工神经网络（ANN）的分类聚合技术的进行了黄河下游滩区淹没面积遥感影像自动解译的应用研究，案例研究中选用2002年7月、2004年6月、2005年6月黄河下游