计算智能--人工神经网络

第二部计算智能ComputationalIntelligence计算智能的概念计算智能（ComputationalIntelligence）1992—贝兹德克(Bezdek)：CI取决于数据，不依赖知识；AI应用知识精品.计算智能:生命科学+信息科学计算智能是信息科学、生命科学、认知科学等不同学科相互交叉的产物。它主要借鉴仿生学的思想，基于人们对生物体智能机理的认识，采用数值计算的方法去模拟和实现人类的智能。计算智能的主要研究领域包括：神经计算、进化计算、模糊计算、蚂群计算等。计算智能的主要研究领域神经网络是一种对人类智能的结构模拟方法，它是通过对大量人工神经元的广泛并行互联，构造人工神经网络系统去模拟生物神经系统的智能机理的。进化计算是一种对人类智能的演化模拟方法，它是通过对生物遗传和演化过程的认识，用进化算法去模拟人类智能的进化规律的。模糊计算是一种对人类智能的逻辑模拟方法，它是通过对人类处理模糊现象的认知能力的认识，用模糊逻辑去模拟人类的智能行为的。人工智能与计算智能AI：基于知识处理CI：基于数值计算高级认知形式低级认知形式逻辑计算自然计算推理学习优化适应计算复杂度：CI--〉AI--–〉BI(Biological)大量实践证明，只有把AI和CI很好地结合起来，才能更好地模拟人类智能，才是智能科学技术发展的正确方向。CNNCPRCIANNAPRAIBNNBPRBI人类知识(+)传感输入知识(+)传感数据计算(+)传感器B~生物的A~符号的C~数值的复杂性复杂性输入层次贝慈德克的智能的3个层次组合优化问题求解局部搜索（LS：LocalSearch）遗传算法(GA：GeneticAlgorithm)人工神经网络（ANN:ArtificialNeuralNetwork）模拟退火算法（SA：SimulatedAnnealing）蚂蚁群算法(ACA：AntColonyAlgorithm)免疫算法(IA：ImmuneAlgorithm)粒子群优化算法（PSO：ParticleSwarmOptimization）……第六章人工神经网络(ANN:ArtificialNeuralNetwork)人工神经网络概述多层前馈神经网络(BP网络)HOPFIELD神经网络HOPFIELD网络应用6.1人工神经网络概述(一)人工神经网络(ArtificialNeuralNetwork:ANN):抽象,简化与模拟大脑生物结构的计算模型,也称连接主义或并行分布处理(ParalellDistributedProcessing:PDP)模型人工神经元ANN的三大要素:神经元，网络拓扑结构,学习算法拓扑结构:分层结构,互连结构学习算法:监督型(有指导),非监督型(没指导)生物神经元结构神经元的工作机制神经元组成：细胞体（处理器）、树突（输入端）、轴突（输出端）神经元有两种工作状态：兴奋和抑制神经元间的连接权是可以接受外界刺激而改变的，这构成了学习机能的基础。什么是神经元网络神经元网络(NeuralNet)指由大量神经元互连而成的网络，有点象服务器互连而成的国际互连网(Internet).人脑有1000亿个神经元，每个神经元平均与10000个其他神经元互连，这就构成了人类智慧的直接物质基础。人工神经元的基本结构∑x1xnxiF()yi=f(uj)=f（∑wixi-θ）ujw1wnwi激励函数(或传播函数)要素:权值(wi),门限值(θ),非线性激励函数(f)状态:被激活的兴奋状态(ui=θ)没被激活的抑制状态(uiθ)常用神经元激励函数(一)1-1a阶跃函数1-1b斜坡函数f(x)=1x≥1kx-1x1-1x≤-1f(x)=1x≥0-1x0常用神经元激励函数(二)1-1Sigmoid函数f(x)=1/(1+exp(-x))yj=f((∑wijhi)-θj)激励函数为Sigmoid多层神经网络输入层隐层1x1xny1yn隐层2输出层Hj=f((∑wijxi)-θj)hj=f((∑wijhi)-θj)6.1人工神经网络概述(二)ANN的突出特点信息的分布存储：即使局部损坏，通过联想可恢复。自适应,自组织,自学习：根据环境自动改变网络及结构。并行处理：速度快。非线性映射：任意精度逼近。从训练样本中自动获得知识：特别是针对复杂环境。ANN的应用---走向实用化诊断与检测：疾病诊断、故障检测等。识别：图像、文字、指纹、语音等。分析与预测：天气、市场、股票，决策控制、管理等。6.1人工神经网络概述(二)ANN的分类拓扑结构：无反反馈/有反馈、层次/全连接学习方法：有教师/无教师网络性能：连续型/离散型、线性/非线性确定性：确定性/随机型ANN的发展到50年代中期前到60年代末期到80年代初期至今产生时期-〉高潮时期-〉低潮时期-〉蓬勃发展时期神经元模型双层感知器模型69年Minsky论著1982年Hopfield的成功求解TSPNP难题6.2单层感知机神经网络(一)单层感知机神经网络:1957年Rosenblatt提出,可实现二分类学习算法(为二分类问题)Step1初始化劝值(wi)以及阀值Step2提交训练示例(x1,…,xn,d),如x属于A类,d=1;否则x属于B类,d=0;Step3计算输出Step4修正数值:wij(t+1)=wij(t)+k[dj(t)-yj(t)]yj(t)Step5goto2,直到w对一切样本都稳定不变.当f=sgn(wx-θ)时,以上学习算法一定收敛.yj=f((∑wijxi)-θj)单层感知机神经网络基本结构输入部分输出层x1xny1ymwij可解决的问题两类线性可分模式的分类问题不能解决的问题复杂的模式分类问题使用感知机的主要目的是为了对外部输入进行分类。罗森勃拉特已经证明，如果外部输入是线性可分的（指存在一个超平面可以将它们分开），则单层感知器一定能够把它划分为两类。其判别超平面由如下判别式确定：作为例子，下面讨论用单个感知器实现逻辑运算的问题。事实上，单层感知器可以很好地实现“与”、“或”、“非”运算，但却不能解决“异或”问题。m,...,2,1j0xn1ijiijwy=f(w1x1+w2x2-θ)单层感知机分类器实例输入部分输出层x1x2yw2w1例1“与”运算（x1∧x2）(0,0)(1,1)(0,1)(1,0)与运算问题图示输入输出超平面阈值条件x1x2x1∧x2w1*x1+w2*x2-θ=0000w1*0+w2*0-θ＜0θ＞0010w1*0+w2*1-θ＜0θ＞w2100w1*1+w2*0-θ＜0θ＞w1111w1*1+w2*1-θ≥0θ≤w1+w2可以证明此表有解，例如取w1=1，w2=1，θ=1.5，其分类结果如右图所示。其中，输出为1的用实心圆，输出为0的用空心圆。后面约定相同。例2“或”运算（x1∨x2）输入输出超平面阈值条件x1x2x1∨x2w1*x1+w2*x2-θ=0000w1*0+w2*0-θ＜0θ＞0011w1*0+w2*1-θ≥0θ≤w2101w1*1+w2*0-θ≥0θ≤w1111w1*1+w2*1-θ≥0θ≤w1+w2此表也有解，例如取w1=1，w2=1，θ=0.5，其分类结果如右图所示。(0,1)(0,0)(1,0)与运算问题图示(1,1)例3“非”运算（¬x1）输入输出超平面阈值条件x1¬x1w1*x1-θ=001w1*0-θ≥0θ≤010w1*1–θ0θw1此表也有解，例如取w1=-1，θ=-0.5，其分类结果如右图所示。非运算问题图示01例4“异或”运算（x1XORx2）输入输出超平面阈值条件x1x2X1XORx2w1*x1+w2*x2-θ=0000w1*0+w2*0-θ＜0θ＞0011w1*0+w2*1-θ≥0θ≤w2101w1*1+w2*0-θ≥0θ≤w1110w1*1+w2*1-θ0θw1+w2此表无解，即无法找到满足条件的w1、w2和θ，如右图所示。因为异或问题是一个非线性可分问题，需要用多层感知器来解决。(0,1)(0,0)(1,0)异或运算问题图示(1,1)XOR问题A2(1,1)A1(0,0)B1(1,0)B2(0,1)无法用一条直线把节点正确分开---非线性问题XOR问题A2(1,1)A1(0,0)B1(1,0)B2(0,1)可以用二条直线把节点正确分开---多层网络6.2多层前馈网络(二)多层感知机神经网络(MPNN)MPNN的计算能力:激励函数为S型函数时,二层MPNN:足可以解决任意分类判定问题.三层MPNN:可形成任意复杂决策区域,以任意精度逼近任何连续函数.MPNN的应用领域:函数逼近,模式识别,分类等.BP学习算法:yj=f((∑wijhi)-θj)激励函数为Sigmoid三层感知机神经网络基本结构简化图输入层隐层1x1xny1yn隐层2输出层Hj=f((∑wijxi)-θj)hj=f((∑wijhi)-θj)x11y=x1XORx2x1X2x121-1111-1输入层隐层输出层权值权值图5.14“异或”问题的多层感知器阈值0.5阈值-1.5阈值1.5(0,1)(0,0)(1,0)图5.15异或问题的解决(1,1)隐层神经元x11所确定的直线方程为它可以识别一个半平面。隐层神经元x12所确定的直线方程为它也可以识别一个半平面。05.01121xx05.11121xx输出层神经元所确定的直线方程为它相当于对隐层神经元x11和x12的输出作“逻辑与”运算，因此可识别由隐层已识别的两个半平面的交集所构成的一个凸多边形，如图所示。05.1111211xxy=x1XORx2=(x1Vx2)AND(-x1V-x2)反向传播法(BackPropagation)(一)反向传播法(BP):1985年Rumellart等提出.正向计算:正向计算各层输出,计算最终输出与目标输出间的误差.反向计算:逐层传播误差信号,修正劝值,直到误差小于给定值.Step1初始化劝值(wij)及阀值为小的随机数.Step2施加输入(x0,x1,…,xn-1),期待输出(d0,d1,…,dn-1)Step3正向计算:各层的输出y0,y1,…,yn-1Step4反向计算:wij(t+1)=wij(t)+kδiX’i(t)Step5goto3,直到w对一切样本都稳定不变.输出层:δi=yi(1-yi)(di-yi)中间层:δi=x’i(1-x’i)∑δkwik反向传播法(BP)(二)优点:算法推导清楚,精度高.计算能力强.训练后的网络运行速度块.缺点:非线性优化,可能陷入局部最小区间.学习算法的收敛速度慢，可能不收敛.网络中隐含节点的设置无理论指导.基于神经网络的知识表示与推理基于神经网络的知识表示并不像在产生式系统中那样独立地表示为每一条规则，而是将某一问题的若干知识在同一网络中表示（分布式）。例如，在有些神经网络系统中，知识是用神经网络所对应的有向权图的邻接矩阵及阈值向量表示的。异或逻辑的神经网络邻接矩阵如果用产生式规则描述，则该网络代表下述四条规则：IFx1=0ANDx2=0THENy=0IFx1=0ANDx2=1THENy=1IFx1=1ANDx2=0THENy=1IFx1=1ANDx2=1THENy=0基于神经网络的推理基于神经网络的推理是通过网络计算实现的。把用户提供的初始证据用作网络的输入，通过网络计算最终得到输出结果。正向神经网络推理的特征同层神经元完全并行，层间的信息传递串行。计算的数据结果是确定的，不会出现推理冲突。学习训练的模式是自适应推理。每个神经元的计算可以分为已知输入加权和与未知输入加权和，如果前者大于后者，则未知输入的输入不影响结果判断，从而在信息不完全时，照样可以进行推理。6.3HOPFIELD神经网络(一)HOPFIELD神经网络(HOP网络):全连接网络同步离散HOP网络:S(t+1)=sgn{WS(t)+I}W:权值矩阵S:状态向量当神经元不断更新状态使S(t+