第四章计算智能(1)-神经网络资料

第四章计算智能(1)神经计算2信息科学与生命科学的相互交叉、相互渗透和相互促进是现代科学技术发展的一个显著特点。计算智能涉及神经网络、模糊逻辑、进化计算和人工生命等领域，它的研究和发展正反映了当代科学技术多学科交叉与集成的重要发展趋势。4.1概述3什么是计算智能把神经网络（NN）归类于人工智能（AI）可能不大合适，而归类于计算智能（CI）更能说明问题实质。进化计算、人工生命和模糊逻辑系统的某些课题，也都归类于计算智能。计算智能取决于制造者（manufacturers）提供的数值数据，不依赖于知识；另一方面，人工智能应用知识精品（knowledgetidbits）。人工神经网络应当称为计算神经网络。4.1概述4计算智能与人工智能的区别和关系输入人类知识(＋)传感输入知识(＋)传感数据计算(＋)传感器C－数值的A－符号的B－生物的输入复杂性复杂性BNNBPRBIANNAPRAICNNCPRCI4.1概述5A－Artificial，表示人工的（非生物的）；B－Biological，表示物理的＋化学的＋（？）＝生物的；C－Computational，表示数学＋计算机计算智能是一种智力方式的低层认知，它与人工智能的区别只是认知层次从中层下降至低层而已。中层系统含有知识（精品），低层系统则没有。4.1概述6当一个系统只涉及数值（低层）数据，含有模式识别部分，不应用人工智能意义上的知识，而且能够呈现出：（1）计算适应性；（2）计算容错性；（3）接近人的速度；（4）误差率与人相近，则该系统就是计算智能系统。当一个智能计算系统以非数值方式加上知识（精品）值，即成为人工智能系统。4.1概述7生理神经元的结构大多数神经元由一个细胞体(cellbody或soma)和突(process)两部分组成。突分两类，即轴突(axon)和树突(dendrite)。轴突是个突出部分，长度可达1m，把本神经元的输出发送至其它相连接的神经元。树突也是突出部分，但一般较短，且分枝很多，与其它神经元的轴突相连，以接收来自其它神经元的生物信号。84.2神经计算4.2.1人工神经网络研究的进展1960年威德罗和霍夫率先把神经网络用于自动控制研究。60年代末期至80年代中期，神经网络控制与整个神经网络研究一样，处于低潮。80年代后期以来，随着人工神经网络研究的复苏和发展，对神经网络控制的研究也十分活跃。这方面的研究进展主要在神经网络自适应控制和模糊神经网络控制及其在机器人控制中的应用上。9并行分布处理非线性映射通过训练进行学习适应与集成硬件实现人工神经网络的特性4.2神经计算104.2.2人工神经网络的结构4.2神经计算-1Wj1X1X2Wj2XnWjn···Σ()Yi图4.2神经元模型11图4.2中的神经元单元由多个输入xi，i=1,2,...,n和一个输出y组成。中间状态由输入信号的权和表示，而输出为（4.1）式中，j为神经元单元的偏置，wji为连接权系数。n为输入信号数目，yj为神经元输出，t为时间，f()为输出变换函数，如图4.3。4.2神经计算nijijijxwfty1)()(nijijijxwfty1)()(12(a)xf(x)1x00图4.3神经元中的某些变换（激发）函数(a)二值函数(b)S形函数(c)双曲正切函数4.2神经计算(c)xf(x)1-1(b)f(x)x1013人工神经网络是具有下列特性的有向图：对于每个节点i存在一个状态变量xi；从节点j至节点i，存在一个连接权系统数wij；对于每个节点i，存在一个阈值i；对于每个节点i，定义一个变换函数fi；对于最一般的情况，此函数取形式。人工神经网络的基本特性和结构)(jijijixwf4.2神经计算)(jijijixwf14神经网络模型的基本组成神经网络结构连接矩阵连接模式多层、单层反馈、前馈nnnn111115递归（反馈）网络:在递归网络中，多个神经元互连以组织一个互连神经网络，如图4.4。图4.4反馈网络x1x2xnV1V2Vn输入输出x1’x2’xn’4.2神经计算16前馈网络:前馈网络具有递阶分层结构，由同层神经元间不存在互连的层级组成，如图4.5。4.2神经计算x1x2输入层输出层隐层y1ynw11w1m图4.5前馈网络反向传播17有师学习算法：能够根据期望的和实际的网络输出（对应于给定输入）间的差来调整神经元间连接的强度或权。无师学习算法：不需要知道期望输出。强化学习算法：采用一个“评论员”来评价与给定输入相对应的神经网络输出的优度（质量因数）。强化学习算法的一个例子是遗传算法（GA）。人工神经网络的主要学习算法4.2神经计算18表4.2人工神经网络的典型模型模型名称有师或无师学习规则正向或反向传播应用领域AG无Hebb律反向数据分类SG无Hebb律反向信息处理ART-I无竞争律反向模式分类DH无Hebb律反向语音处理CH无Hebb/竞争律反向组合优化BAM无Hebb/竞争律反向图象处理AM无Hebb律反向模式存储ABAM无Hebb律反向信号处理CABAM无Hebb律反向组合优化FCM无Hebb律反向组合优化LM有Hebb律正向过程监控DR有Hebb律正向过程预测，控制LAM有Hebb律正向系统控制人工神经网络的典型模型4.2神经计算19OLAM有Hebb律正向信号处理FAM有Hebb律正向知识处理BSB有误差修正正向实时分类Perceptron有误差修正正向线性分类，预测Adaline/Madaline有误差修正反向分类，噪声抑制BP有误差修正反向分类AVQ有误差修正反向数据自组织CPN有Hebb律反向自组织映射BM有Hebb/模拟退火反向组合优化CM有Hebb/模拟退火反向组合优化AHC有误差修正反向控制ARP有随机增大反向模式匹配，控制SNMF有Hebb律反向语音/图象处理续前表：4.2神经计算20基于神经网络的知识表示在这里，知识并不像在产生式系统中那样独立地表示为每一条规则，而是将某一问题的若干知识在同一网络中表示。例如，在有些神经网络系统中，知识是用神经网络所对应的有向权图的邻接矩阵及阈值向量表示的。4.2.4基于神经网络的知识表示与推理4.2神经计算21基于神经网络的推理是通过网络计算实现的。把用户提供的初始证据用作网络的输入，通过网络计算最终得到输出结果。一般来说，正向网络推理的步骤如下：把已知数据输入网络输入层的各个节点。利用特性函数分别计算网络中各层的输出。用阈值函数对输出层的输出进行判定，从而得到输出结果。基于神经网络的推理4.2神经计算22几种神经网络模型举例自适应线性元模型感知机23自适应线性元模型结构24自适应线性元模型数学描述输入该模型实际上是一自适应阈值逻辑单元。图中x0，x1k，x2k，…，xnk为该自适应线性元在t时刻的外部输入，用向量表示为:Xk＝（x0，x1k，x2k，…，xnk）T这个向量称为自适应线性元的输入信号向量或输入模式向量。25自适应线性元模型数学描述连接权值与输入向量Xk相对应有一权向量:Wk=(w0k，w1k，w2k，…，wnk)T其中每一元素与输入向量Xk中的每一元素相对应。w0k为基权，称为门限权，用来调26自适应线性元模型数学描述输出模拟输出二值输出kTkkTkkXWWXy00,,11)sgn(kkkkyyyq27自适应线性元模型数学描述理想输入在图中的自适应线性元中有一特殊的输入dk，即理想输入。该输入是用来将理想响应信号送入自适应线性元中，在自适应线性元中通过比较yk和理想响应dk，并将差值送入最小均方差(LMS)学习算法机制中来调整权向量Wk，使得yk和所期望的输出dk28LMS学习过程（图述）29LMS学习过程（文字说明）1、提交学习样本；2、计算神经网络的输出；3、计算实际输出和理想输出的误差；4、按照权值修改规则修改神经网络权值；5、计算学习结束判据；6、学习结束否？7、达到要求学习结束，否则转1。30LMS学习算法权值修改规则其中：为当前的误差（即理想输出与模拟实际输出之间的差值）；称为学习速度(LearningRate)kkkkkXXtWtW2)()1(k31ADALINE学习算法实质分析kkkkkkXXtWtWW2)()1(kTkkkTkkkXWdWXdkTkkTkkkWXWXd)(kkkkTkkTkkXXXWX232的取值的选择决定了收敛的稳定性和收敛的速度。稳定性要求：02。但是过大可能会修正过度，一个比较好的选择范围是0.11。33LMS算法的几何解释kkkkXXW2)(tWk)1(tWkkX34ADALINE模型计算能力分析若ADALINE输入为二值，它可以完成一定的逻辑功能。若有n个输入，即则有2n个可能的输入模式。在一般的逻辑实现中，依照所期望的输出响应，可以将个输入模式划分成＋和－两类。每一个自适应线性元模型可以完成某一种逻辑功能，因而我们也可以把自适应线性元看成是一逻辑部件。35ADALINE模型计算能力分析每个自适应线性元的功能也主要由各个权值所确定。每个自适应线性元只能实现逻辑空间上的线性划分，12120202211)/(/0x36ADALINE模型学习过程举例网络模型x1=1.2x2=2.7x0=1w1=-0.045w2=1.1w0=1y=?d=2.302211wwxwxyE=?y=4.57E=-2.27w0=0.546w1=0.5w2=-0.126y=0.153E=2.15iixXw)/(237ADALINE模型的学习曲线03迭代次数误差38感知机模型结构感知机(Perceptron)结构如下图所示。它是一个简单的单层神经网络模型。输入层是含有n个处理单元的神经元组，输出层只有一个处理单元，所有处理单元都是线性阈值单元。xiwiy39感知机的计算niiiniiiniiihxwxwxwfy111,1,1)(40感知机的几何意义感知机的几何意义在于它在多维空间上利用一超平面将两类模式A和B分开。这时超平面方程为：12122)/(/x41感知机权值调整算法（文字）1、初始化：赋予和一个较小的随机非零值。2、将一模式送入输入神经元，并给出理想输出值。3、计算神经网络模型的实际输出：4、调节权值:5、转2，直到学完所给定的所有输入样本。iixydw)(42感知机权值调整算法（图示）样本E=0.85E=0.45E=0.25E=0.05niiiiiEnEydE12143感知机的缺陷Rosenblatt已经证明，如果两类模式在分布空间中可以找到一个超平面将它们分开，那么感知机的学习过程就一定会收敛。否则判定边界就会振荡不休，永远不会稳定，这也正是单层感知机所无法克服的缺陷，所以它连最简单的异或（XOR）问题也解决不了。XOR问题44BP神经网络45BP算法是用于前馈多层网络的学习算法，它含有输人层、输出层以及处于输入输出层之间的中间层。中间层有单层或多层，由于它们和外界没有直接的联系，故也称为隐层。在隐层中的神经元也称隐单元。隐层虽然和外界不连接．但是，它们的状态则影响输入输出之间的关系。这也是说，改变隐层的权系数，可以改变整个多层神经网络的性能。反向传播算法分二步进行，即正向传播和反向传播。这两个过程的工作简述如下。1．正向传播输入的样本从输入层经过隐单元一层一层进行处理，通过所有的隐层之后，则传向输出层；在逐层处理的过程中，每一层神经元的状态只对下一层神经元的状态产生影响。在输出层把现行输出和期望输出进行比较，如果现行输出不等于期望输出，则进入反向传播过程。2．反向传播反向传播时，把误差信号按原来正向传播的通路反向传回，并对每个隐层的各个神经元的权系数进行修改，以望误