第四章 机器学习之基于知识和经验的学习

§4.3根据丰富德知识和经验提高推理效率•归纳学习是在没有先验知识的情况下，把多个样本的类似性和统计性质作为线索来生成新的知识。•效率化学习和基于解释的学习，则是对于少数的几个样本，在应用丰富的先验知识得到的实际推理结果基础上，获得的知识。§4.3.1效率化学习•同一个问题的求解，其解应该是相同的；或是在对一个问题的求解过程中，相同部分的问题也会反复出现。•在这些情况下，如果对于能解决部分的问题的解答存储起来，下次再利用，那么就可以避免进行无效地重复劳动。这种在初次经验的基础上进行第二次及以后的搜索，以取得比初次更好的问题解决的学习称为效率化学习。§4.3.2基于解释的学习(EBL)•解释学习是为了避免实例样本归纳学习所产生的不可靠性而产生的。它不考虑学习很多实例，而是采用演绎推理的方法。这种方法只用一个或几个实例，通过对其求解过程的分析，构造出求解过程的因果解释结构,并获取控制知识,以便用于指导以后求解类似问题。解释学习的发展历史•1983年美国Illinois大学的DeJong提出。•1986年,Mitchell,Keller和Kedar-Cabelli提出了解释的泛化(Explanation-BasedGeneralization,简称EBG)的统一框架,•1986年DeJong和Mooney提出全局取代解释泛化ExplanationGeneralizationusingGlobalSubstitutions,缩写EGGS)方法•1987年卡耐基-梅隆大学的Minton和Carbonell提出解释特化(Explanation-BasedSpecialization，简写EBS)学习方法EBL学习的形式：•给定：①目标概念要学习的概念②训练样本目标概念的一个样本③领域知识用于解释训练样本的一组规则④操作准则说明目标概念应具有的谓词表达公式•求解：①目标概念的充分性规则描述EBL学习的基本步骤：①解释。根据领域知识，解释训练样本(构建一棵证明树)，以证明它是目标概念的一个例子；②概括。对第①步的证明树进行泛化处理(将常量变量化)，以形成一般化的证明树；③选取。选择满足操作准则的规则，其结果作为学习得到的目标概念。例如：物体X可能前进的条件•给定的训练样本为：色(carA,红)发动机(carA,on)齿轮(carA,d)色(carB,黑)发动机(carB,on)齿轮(carB,p)色(信号,蓝)制动器(carA,off)前方障碍(carA,none)车灯(carA,on)制动器(carB,on)前方障碍(carB,carA)车灯(carB,off)daytime给定的领域知识：•前方安全(X)行驶可能(X)前进可能(X)•色(信号,蓝)前方障碍(X,none)视野良好(X)前方安全(X)•发动机(X,on)齿轮(X,d)制动器(X,off)行驶可能(X)•daytime(nighttime车灯(X,on))视野良好(X)给定的操作准则：•用谓词演算逻辑法来描述目标概念。根据给定的内容生成前进可能(X)的一棵证明树前进可能(carA)前方安全(carA)色(信号,蓝)daytime视野良好(carA)制动器(carA,off)前方障碍(carA,none)行驶可能(carA)发动机(carA,on)齿轮(carA,d)将该树进行一般化处理，得泛化证明树前进可能(X)前方安全(X)色(信号,蓝)daytime视野良好(X)制动器(X,off)前方障碍(X,none)行驶可能(X)发动机(X,on)齿轮(X,d)其谓词逻辑表示为：•色(信号,蓝)前方障碍(X,none)daytime发动机(X,on)制动器(X,off)齿轮(X,d)前进可能(X)又例如，学习一个物体x可以安全地放置到另一个物体y上的概念•给定的训练样本为：–on(a,b)–isa(a,brick)–isa(b,endtable)–volume(a,1)–density(a,1)–weight(endtable,5)–less(1,5)给定的领域知识•lighter(X,Y)safe-to-stack(X,Y)•volume(p,v)density(p,d)weight(p,v*d)•weight(p1,w1)weight(p2,w2)less(w1,w2)lighter(p1,p2)给定的操作准则•用谓词演算逻辑法表示目标概念。根据给定的数据构建一棵证明树safe-to-stack(a,b)lighter(a,b)weight(b,5)density(a,1)less(1,5)volume(a,1)weight(a,1)isa(b,endtable)weight(endtable,5)on(a,b)一般化后得到safe-to-stack(x,y)lighter(x,y)weight(y,w2)density(x,d1)less(w1,w2)volume(x,v1)weight(x,w1)isa(y,endtable)weight(endtable,w2)on(x,y)用谓词逻辑表示的目标概念•volume(X,v1)density(X,d1)isa(Y,endtable)weight(endtable,w2)on(X,Y)less(w1,w2)safe-to-stack(X,Y)•虽然演绎推理式的学习中，不用样本实例也可以生成证明树，但有了实例的指导，可以提取出解决实际问题时可以应用的部分，减少存储容量和搜索时间方面的浪费。样本实例在演绎学习中的作用EBL与SBL的对比：•通过演绎得到的知识，其正确性、健全性得到了保证；而通过归纳学习得到的知识，其正确性难以保证。•EBL的学习不需要很多的样本，就可以得到有效的规则；SBL学习的样本则越多越好。•EBL学习需要有丰富的先验知识和足以说明样本的有关内容；而SBL学习需要的先验知识少。EBL与SBL的对比：•EBL与SBL的最大不同，在于EBL学习的目的是提高问题解决的效率；而SBL学习的目的是形成一个新的概念。