人工智能及其应用4

神经计算模糊计算第四章计算智能(1)ComputationalIntelligence24.1概述信息科学与生命科学的相互交叉、相互渗透和相互促进是现代科学技术发展的一个显著特点。计算智能涉及神经网络、模糊逻辑、进化计算和人工生命等领域，它的研究和发展正反映了当代科学技术多学科交叉与集成的重要发展趋势。3什么是计算智能把神经网络（NN）归类于人工智能（AI）可能不大合适，而归类于计算智能（CI）更能说明问题实质。进化计算、人工生命和模糊逻辑系统的某些课题，也都归类于计算智能。计算智能取决于制造者（manufacturers）提供的数值数据，不依赖于知识；另一方面，人工智能应用知识精品（knowledgetidbits）。人工神经网络应当称为计算神经网络。4.1概述4计算智能与人工智能的区别和关系输入人类知识(＋)传感输入知识(＋)传感数据计算(＋)传感器C－数值的A－符号的B－生物的层次复杂性复杂性BNNBPRBIANNAPRAICNNCPRCI4.1概述5上图由贝兹德克于1994年提出，表示ABC与神经网络（NN）、模式识别（PR）和智能（I）之间的关系A－Artificial，表示人工的（非生物的）；B－Biological，表示物理的＋化学的＋（？）＝生物的；C－Computational，表示数学＋计算机计算智能是一种智力方式的低层认知，它与人工智能的区别只是认知层次从中层下降至低层而已。中层系统含有知识（精品），低层系统则没有。4.1概述6定义1：当一个系统只涉及数值（低层）数据，含有模式识别部分，不应用人工智能意义上的知识，而且能够呈现出：（1）计算适应性；（2）计算容错性；（3）接近人的速度；（4）误差率与人相近，则该系统就是计算智能系统。定义2：当一个智能计算系统以非数值方式加上知识（精品）值，即成为人工智能系统。4.1概述71943年麦卡洛克和皮茨提出神经网络模型（称为MP模型）的概念。20世纪60年代威德罗和霍夫提出自适应线性元件。60年代末期至80年代中期，整个神经网络研究处于低潮。80年代后期以来，人工神经网络研究得到复苏和发展，在模式识别、图象处理、自动控制等领域得到广泛应用。4.2神经计算4.2.1人工神经网络研究的进展8人工神经网络的特性并行分布处理非线性映射通过训练进行学习适应与集成硬件实现4.2神经计算94.2.2人工神经网络的结构4.2神经计算-1Wj1X1X2Wj2XnWjn···Σ()Yi图4.2神经元模型1.神经元及其特性10图4.2中的神经元单元由多个输入xi，i=1,2,...,n和一个输出y组成。中间状态由输入信号的权和表示，而输出为（4.1）式中，j为神经元单元的偏置（阈值），wji为连接权系数。n为输入信号数目，yj为神经元输出，t为时间，f()为输出变换函数，如图4.3。4.2神经计算nijijijxwfty1)()(11(a)xf(x)1x00图4.3神经元中的某些变换（激发）函数(a)二值函数(b)S形函数(c)双曲正切函数4.2神经计算(c)xf(x)1-1(b)f(x)x10122.人工神经网络的基本特性和结构人工神经网络是具有下列特性的有向图：–对于每个节点i存在一个状态变量xi；–从节点j至节点i，存在一个连接权系统数wji；–对于每个节点i，存在一个阈值i；–对于每个节点i，定义一个变换函数fi；对于最一般的情况，此函数取形式。)(jijijixwf4.2神经计算13递归（反馈）网络:在递归网络中，多个神经元互连以组织一个互连神经网络，如图4.4。图4.4反馈网络x1x2xnV1V2Vn输入输出x1’x2’xn’4.2神经计算14前馈（多层）网络:前馈网络具有递阶分层结构，由同层神经元间不存在互连的层级组成，如图4.5。4.2神经计算x1x2输入层输出层隐层y1ynw11w1m图4.5前馈网络反向传播153.人工神经网络的主要学习算法有师学习算法：能够根据期望输出和实际网络输出（对应于给定输入）间的差别来调整神经元间连接的强度（权）。无师学习算法：不需要知道期望输出。强化学习算法：采用一个“评论员”来评价与给定输入相对应的神经网络输出的优度（质量因数）。强化学习算法的一个例子是遗传算法（GA）。4.2神经计算16BP算法BP算法的权值调整方法：–令输出结点家j的误差为则k个训练样本的误差平方和为性能指标–隐层到输出层的权值调整（梯度法）：–输入层到隐层的权值调整（梯度法）：BP网络的训练步骤：•用小随机数初始化网络各层权值；•样本数据输入；•误差计算；•权值变化量计算；•权值调整)()()(kykdkejjj22)]()([21)]([21)(kjjjkjjkykdkeWJ)()()()]([)]()([)('kykkykSfkykdWWJhkjhjkjjhj)]([)()('kSfkekjjj其中khjhjhjkykWWJW)()()()()()()]([)]([)]()([)('',kxkkxkSfWkSfkykdWWJikhihhjjjkjjihjjhjhhkWkSfk)()]([)('其中kihihihkxkWWJW)()()(4.2神经计算17表4.2人工神经网络的典型模型模型名称有师或无师学习规则正向或反向传播应用领域AG无Hebb律反向数据分类SG无Hebb律反向信息处理ART-I无竞争律反向模式分类DH无Hebb律反向语音处理CH无Hebb/竞争律反向组合优化BAM无Hebb/竞争律反向图象处理AM无Hebb律反向模式存储ABAM无Hebb律反向信号处理CABAM无Hebb律反向组合优化FCM无Hebb律反向组合优化LM有Hebb律正向过程监控DR有Hebb律正向过程预测，控制LAM有Hebb律正向系统控制4.2.3人工神经网络的典型模型4.2神经计算18续前表：OLAM有Hebb律正向信号处理FAM有Hebb律正向知识处理BSB有误差修正正向实时分类Perceptron有误差修正正向线性分类，预测Adaline/Madaline有误差修正反向分类，噪声抑制BP有误差修正反向分类AVQ有误差修正反向数据自组织CPN有Hebb律反向自组织映射BM有Hebb/模拟退火反向组合优化CM有Hebb/模拟退火反向组合优化AHC有误差修正反向控制ARP有随机增大反向模式匹配，控制SNMF有Hebb律反向语音/图象处理4.2神经计算194.2.4基于神经网络的知识表示与推理1.基于神经网络的知识表示在这里，知识并不像在产生式系统中那样独立地表示为每一条规则，而是将某一问题的若干知识在同一网络中表示。例如，在有些神经网络系统中，知识是用神经网络所对应的有向权图的邻接矩阵及阈值向量表示的。4.2神经计算20002-1.51x1x2x3x4y11-11-11x1x2y000101011110“异或”逻辑问题真值表例1：表示“异或”问题的两层感知器模型21例2：基于B-P网络的医疗诊断系统–该医疗诊断系统只考虑6种症状、2种疾病、3种治疗方案•症状：对每一症状采集三种信息—有（1）、无（-1）、没有记录（0）•疾病：对每一疾病采集三种信息—有（1）、无（-1）、没有记录（0）•治疗方案：对每一治疗方案采集两种信息—是、否–每个病人的信息构成一个训练样例，用一批训练样例对网络进行训练（B-P算法），假设得到的是如图所示的神经网络•x1-x6为症状（输入）•x7,x8为疾病名•x9,x10,x11为治疗方案（输出）22232.基于神经网络的推理基于神经网络的推理是通过网络计算实现的。把用户提供的初始证据用作网络的输入，通过网络计算最终得到输出结果。一般来说，正向网络推理的步骤如下：–把已知数据输入网络输入层的各个节点。–利用特性函数分别计算网络中各层的输出。–用阈值函数对输出层的输出进行判定，从而得到输出结果。4.2神经计算24定义4.1模糊集合(FuzzySets)论域U到[0,1]区间的任一映射，即，都确定U的一个模糊子集F；称为F的隶属函数或隶属度。在论域U中，可把模糊子集表示为元素u与其隶属函数的序偶集合，记为：(4.7)F]1,0[:UF)(uF}|))(,{(UuuuFF4.3模糊计算4.3.1模糊集合、模糊逻辑及其运算F25若某模糊集是论域U中所有满足的元素u构成的集合，则称该集合为模糊集F的支集。当u满足，称为模糊单点。定义4.2模糊支集模糊单点0)(uF0.1F4.3模糊计算26设A和B为论域U中的两个模糊集，其隶属函数分别为和，则对于所有，存在下列运算：–A与B的并（逻辑或）记为，其隶属函数定义为：(4.10)–A与B的交（逻辑与）记为，其隶属函数定义为：(4.11)A的补（逻辑非）记为，其传递函数定义为：(4.12)定义4.3模糊集的运算4.3模糊计算ABUuBA)()()(uuuBABA)(),(maxuuBA)()()(uuuBABA)(),(minuuBABA)(1)(uuAAA27定义4.4直积（笛卡儿乘积，代数积）若分别为论域中的模糊集合，则这些集合的直积是乘积空间中一个模糊集合，其隶属函数为：(4.13)nUUU,,,21nAAA,...,,21nUUU21)(,),(min),,,(12111nAAnAAuuuuunn)()()(2121nAAAuuun定义4.5模糊关系若U，V是两个非空模糊集合，则其直积U×V中的模糊子集R称为从U到V的模糊关系，表示为：(4.14)VvUuvuvuVUR,|)),(),,((4.3模糊计算28式(4.9)中的*号可为三角范式内的任意一种算子，包括模糊交、代数积、有界积和直积等。其隶属函数为：，(4.16)定义4.6复合关系若R和S分别为U×V和V×W中的模糊关系，则R和S的复合是一个从U到W的模糊关系，记为：(4.15){[(,);sup(,)(,)]RSvVRSuwuvvw},,WwVvUu)),(),((),(wvvuwuSRVvSR)(),(WUwu4.3模糊计算29定义4.7正态模糊集、凸模糊集和模糊数以实数R为论域的模糊集F，若其隶属函数满足则F为正态模糊集；若对于任意实数x，axb，有则F为凸模糊集；若F既是正态的又是凸的，则称F为模糊数。1)(maxxFRx)(),(min)(baxFFF定义4.8语言变量一个语言变量可定义为多组。其中，x为变量名；为x的词集，即语言值名称的集合；U为论域；G是产生语言值名称的语法规则；M是与各语言值含义有关的语义规则。语言变量的每个语言值对应于U中的一个模糊数。),,),(,(MGUxTx)(xT4.3模糊计算304.3.2模糊逻辑推理模糊逻辑推理是建立在模糊逻辑基础上的不确定性推理方法，是在二值逻辑三段论基础上发展起来的。这种推理方法以模糊判断为前提，动用模糊语言规则，推导出一个近似的模糊判断结论。已经提出了Zadeh法，Baldwin法、Tsukamoto法、Yager法和Mizumoto法等方法。广义取式假言推理法(GMP)推理规则可表示为：前提1：x为A’前提2：若x为A，则y为B结论：y为B’4.3模糊计算31广义拒式假言推理法(GMT,GeneralizedModusTollens)的推理规则可表示为：前提1：y为B前提2：若x为A，则y为B结论：x为A’模糊变量的隐含函数基本上可分为三类，即模糊合取、模糊析取和模糊蕴涵。4.3模糊计算32例题：设X(火力)={a1,a2,a3,a4,a5},Y(阀门开度)={b1,b2,b3,b4,b5}，有模糊集与规则如下：–A1(小){(a1,