搜索
2019/12/2418人工神经网络与遗传算法2019/12/242•人工智能技术之一。•人类对人工智能的研究可以分成两种方式对应着两种不同的技术：–传统的人工智能技术——心理的角度模拟–基于人工神经网络的技术——生理的角度模拟2019/12/243•研究人工智能的目的–增加人类探索世界，推动社会前进的能力–进一步认识自己•三大学术流派–符号主义（或叫做符号/逻辑主义）学派–联接主义（或者叫做PDP）学派–进化主义（或者叫做行动/响应）学派2019/12/2441.1人工神经网络的提出•人工神经网络（ArtificialNeuralNetworks，简记作ANN），是对人类大脑系统的一阶特性的一种描述。简单地讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。2019/12/245•联接主义观点•核心：智能的本质是联接机制。人工智能应着重于结构模拟，即模拟人的生理神经网络结构，并认为功能、结构和智能行为是密切相关的。•神经网络是一个由大量简单的处理单元组成的高度复杂的大规模非线性自适应系统•ANN力求从四个方面去模拟人脑的智能行为–物理结构–计算模拟–存储与操作–训练2019/12/2461.2历史回顾•萌芽期（20世纪40年代）•1943年，心理学家McCulloch和数学家Pitts建立起了著名的阈值加权和模型，简称为M-P模型。发表于数学生物物理学会刊《BulletinofMethematicalBiophysics》•1949年，心理学家D.O.Hebb提出神经元之间突触联系是可变的假说——Hebb学习律。2019/12/247第一高潮期（1950~1968）•以MarvinMinsky，FrankRosenblatt，BernardWidrow等为代表人物，代表作是单级感知器（Perceptron）。•可用电子线路模拟。•人们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地投入此项研究，希望尽快占领制高点。2019/12/248反思期（1969~1982）•M.L.Minsky和S.Papert，《Perceptron》，MITPress，1969年•二十世纪70年代和80年代早期的研究结果•认识规律：认识——实践——再认识2019/12/249第二高潮期（1983~1990）•1982年，J.Hopfield提出循环网络–用Lyapunov函数作为网络性能判定的能量函数，建立ANN稳定性的判别依据–阐明了ANN与动力学的关系–用非线性动力学的方法来研究ANN的特性–指出信息被存放在网络中神经元的联接上2019/12/2410•4）1986年，并行分布处理小组的Rumelhart等研究者重新独立地提出多层网络的学习算法——BP算法，较好地解决了多层网络的学习问题。（Paker1982和Werbos1974年）•国内首届神经网络大会是1990年12月在北京举行的。2019/12/24112人工神经网络基础2.1生物神经网2.2人工神经元2.3人工神经网络的拓扑特性2.4人工神经网络的训练2019/12/2412•单个神经元细胞的工作速度并不高（毫秒级），但它通过超并行处理使得整个系统实现处理的高速性和信息表现的多样性。•人脑的信息处理机制极其复杂，从结构上看它是包含有140亿神经细胞的大规模神经网络。2019/12/24132.1生物神经网1构成生物的神经细胞是神经网络理论诞生和形成的物质基础和源泉。神经元是神经网络基本元素细胞体树突轴突突触2019/12/2414•树突:是向四方收集由其他神经细胞传来的信息。在两个神经细胞之间的相互连接触点称为突触。•细胞体:神经元接受与处理信息的部件。•轴突:传出从细胞体送来的信息。2工作过程•每个神经元具有兴奋和抑制两种状态，只有当所有外来刺激（输入）作用之和超过某一阀值后，神经元由抑制变为兴奋，并输出电脉冲。•神经元之间连接的强弱可随外部的激励信号自适应地变化。•大脑通过调节这些连结的数目和强度进行学习。2019/12/2415•3六个基本特征：–1）神经元及其联接；–2）神经元之间的联接强度决定信号传递的强弱；–3）神经元之间的联接强度是可以随训练改变的；–4）信号可以是起刺激作用的，也可以是起抑制作用的；–5）一个神经元接受的信号的累积效果决定该神经元的状态；–6）每个神经元可以有一个“阈值”。2019/12/24162.2人工神经元•神经元是构成神经网络的最基本单元（构件）。•人工神经元模型应该具有生物神经元的六个基本特性。2019/12/24172.2.1人工神经元的基本构成•人工神经元模拟生物神经元的一阶特性。–输入：X=（x1，x2，…，xn）信号–联接权：W=（w1，w2，…，wn）T连接强度–网络输入：net=XW–激活函数：f–网络输出：o=f（net）输出脉冲xnwn∑x1w1x2w2out…2019/12/24182.2.2激活函数(ActivationFunction)•激活函数——执行对该神经元所获得的网络输入的变换，也可以称为激励函数、活化函数：•O=f（net）•1、线性函数（LinerFunction）f（net）=k*net+cnetooc2019/12/24192、非线性斜面函数（RampFunction）γ-γθ-θneto2019/12/24203、阈值函数（ThresholdFunction）阶跃函数β-γθonet02019/12/24214、S形函数a+bo(0,c)netac=a+b/22019/12/24222.2.3M-P模型x2w2∑fo=f（net）xnwn…net=XWx1w1McCulloch—Pitts（M—P）模型，也称为处理单元（PE）2019/12/24232019/12/2424•层次划分–信号只被允许从较低层流向较高层。–输入层：被记作第0层。该层负责接收来自网络外部的信息输出层隐藏层输入层o1o2om…x1x2xn………………2019/12/2425–第j层：第j-1层的直接后继层（j0），它直接接受第j-1层的输出。–输出层：它是网络的最后一层，具有该网络的最大层号，负责输出网络的计算结果。–隐藏层：除输入层和输出层以外的其它各层叫隐藏层。隐藏层不直接接受外界的信号，也不直接向外界发送信号输出层隐藏层输入层o1o2om…x1x2xn………………2019/12/2426循环网x1o1输出层隐藏层输入层x2o2omxn…………………2019/12/24272.4人工神经网络的训练•人工神经网络最具有吸引力的特点是它的学习能力。•1962年，Rosenblatt给出了人工神经网络著名的学习定理：人工神经网络可以学会它可以表达的任何东西。•人工神经网络的表达能力大大地限制了它的学习能力。•人工神经网络的学习过程就是对它的训练过程2019/12/24282.5.1无导师学习•无导师学习(UnsupervisedLearning)与无导师训练(UnsupervisedTraining)相对应•样本模式无期望输出.•抽取样本集合中蕴含的统计特性，并以神经元之间的联接权的形式存于网络中。•聚类2019/12/24292.5.2有导师学习•有导师学习(SupervisedLearning)与有导师训练(SupervisedTraining)相对应。•输入向量与其对应的输出向量构成一个“训练对”。•有导师学习的训练算法的主要步骤包括：1）从样本集合中取一个样本（Ai，Bi）；2）计算出网络的实际输出O；3）求D=Bi-O；4）根据D调整权矩阵W；5）对每个样本重复上述过程，直到对整个样本集来说，误差不超过规定范围。2019/12/24303BP网络BP算法的出现前馈非循环多级网络的训练算法加州大学圣地牙哥分校(UCSD)的并行分布处理(PDP)小组的Rumelhart、Hinton和Williams1986年独立地给出了BP算法清楚而简单的描述1982年，Paker就完成了相似的工作1974年，Werbos已提出了该方法2、弱点：训练速度非常慢3、优点：广泛的适应性和有效性。2019/12/2431网络的拓扑结构1.BP网的结构2.输入向量、输出向量的维数、网络隐藏层的层数和各个隐藏层神经元的个数的决定3.实验：增加隐藏层的层数和隐藏层神经元个数不一定总能够提高网络精度和表达能力。4.BP网一般都选用二级网络。2019/12/2432网络的拓扑结构x1o1输出层隐藏层输入层x2o2omxn…………WV2019/12/24333.2.4基本的BP算法•样本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)}•基本思想：–逐一地根据样本集中的样本(Xk,Yk)计算出实际输出Ok和误差测度E1，对W(1)，W(2)，…，W(L)各做一次调整，重复这个循环，直到∑Epε。–用输出层的误差调整输出层权矩阵，并用此误差估计输出层的直接前导层的误差，再用输出层前导层误差估计更前一层的误差。如此获得所有其它各层的误差估计，并用这些估计实现对权矩阵的修改。形成将输出端表现出的误差沿着与输入信号相反的方向逐级向输入端传递的过程2019/12/24344ANN在水文水资源系统中应用•随着近几年神经网络研究热的兴起，ANN技术在水文水资源系统中的应用也日渐增多，已开发出了许多水文水资源神经网络(HWRNN)模型，为解决水文水资源问题提供了新的途径。2019/12/2435•在目前的水资源研究中，ANN涉及的具体领域包括气候影响分析、水质分析、水文预测与预报、地下水管理和水库优化调度等。2019/12/2436•4.1水文预报•ANN用于水文水资源中预测预报问题的研究主要有：降水预报、径流预报、水质预测、水量预测等。•所采用的神经网络模型有BP模型、Adaline模型等。•应用神经网络进行水文预报，其建模比较容易。一般影响因子(预测因子)就是网络的输入，输入层神经元个数就等于影响因子(预测因子)的个数，需要预报的水文变量就是网络的输出。2019/12/2437(1)BP人工神经网络在短期降水预报中的应用•a.预测因子：•依据降水的主要条件，选取反映预测区域降水条件的物理量。如：•湿度条件：相对湿度、水汽通量；•垂直速度条件：散度、垂直速度、降水量、涡度；•东高西低条件：高度差；•锋区和能量条件：温度差等。2019/12/2438b.BP神经网络的建立•可采用三层BP人工神经网络模式，输入层为n(如n=10)个神经元，其对应10个预报因子。•输出层为1个神经元，对应降水量。中间层一般取输入层和输出层数的平均，这里取7个神经元。•设X为输入层，H为隐含层，Y为预报输出层。......2019/12/2439①预报因子0~1化：Xi=(Xmax-Xi)/(Xmax-Xmin);②在训练以前我们取0~1之间的随机数为连接权重系数Uil、Wlt赋初值。由于训练开始时误差常常较大，它们将在以后的训练学习过程中自动逐步调节。③输入训练样本训练：以河北保定市气象局02年为例。从3月到11月接收数值预报产品齐全的共有159天，用前109天的资料作为网络训练样本。50天为检验样本。拟合结果：经过两万多次的训练，总体预报误差达到了4.0以下。终止训练后。这109天中共有降水日27天，其中小雨20天，中雨6天，大雨以上降水一次。训练结束时27天降水全部报出，量级也全部正确，只是空报两次小雨过程，历史拟合率达到27/29=93%。检验结果：在试报的50天中共有降水8次，其中大雨2次，漏一次，一次报中雨。中雨3次，报对2次，漏一次。3次小雨，一次报中雨，漏2次。另空报2次小雨，定性准确率4/10=40%。2019/12/2441•(2)人工神经网络在径流(中长期)预报中的应用•a.流域年径流量主要影响因子分析在建立网络预报模型之前，要分析流域产流的主要影响因子，流域年径流量与降雨条件、流域地貌、植被、土壤特性等自然因素有关，降雨是流域产流的直接动力因子，流域内降雨强度、降雨量以及降雨范围和落区