15-非经典推理-part-2

西安电子科技大学ArtificialIntelligence(AI)人工智能主讲：罗林波Email：[e-mail]第四章：非经典推理西安电子科技大学内容提要第四章：非经典推理1.经典推理和非经典推理2.不确定性推理3.概率推理4.主观贝叶斯方法5.可信度方法6.证据理论西安电子科技大学回顾：概率推理概率论基础回顾条件概率：设A与B是两个事件，如果在事件B发生的条件下考虑事件A发生的概率，则称为事件A的条件概率，记为P(A|B)设A与B是两个事件，P(B)0，则：P(A|B)=P(A∩B)/P(B)西安电子科技大学回顾：概率推理概率论基础回顾全概率公式：设事件A1,A2,…,An满足：任意两个事件都互不相容，即当i≠j时，有Ai∩Aj=Φ；P(Ai)0(i=1,2,…,n);1niiDA则对任何事件B由下式成立：1()()(|)niiiPBPAPBA该公式称为全概率公式，它提供了一种计算P(B)的方法。A1A2A3An……西安电子科技大学回顾：概率推理概率论基础回顾贝叶斯（Bayes）公式：设事件A1,A2,…,An满足全概率公式的条件，则对任何事件B有下式成立：1()()()()(),1,2,,()()iiiiinjjjPBAPAPBAPAPABinPBPBAPA该定理称为Bayes定理，上式称为Bayes公式。Bayes定理给出了用逆概率P(B|Ai)求原概率P(Ai|B)的方法。西安电子科技大学回顾：概率推理概率推理方法设有如下产生式规则：IFETHENH其中，E为前提条件，H为结论。条件概率P(H|E)可以作为在证据E出现时结论H的确定性程度，即规则的静态强度。把贝叶斯方法用于不精确推理的思想已知前提E的概率P(E)和结论H的先验概率P(H)已知H成立时E出现的条件概率P(E|H)利用规则推出H在E出现的条件下的后验概率：()()()PEHPHPHEPE西安电子科技大学回顾：概率推理概率推理方法对于一组产生式规则：IFETHENHi一个前提条件E支持多个结论H1,H2,...,Hn同样有后验概率如下（Hi确定性的程度，或规则的静态强度）：1()(|)(|),1,2,...,()(|)iiinjjjPHPEHPHEinPHPEH西安电子科技大学回顾：概率推理概率推理方法对于有多个证据E1,E2,…,Em和多个结论H1,H2,...,Hn,并且每个证据都以一定程度支持结论的情况，上面的式子可进一步扩展为:1212121(|)()(|)(|)(|)()(|)(|)(|),1,2,...,imiiiminjjjmjjPHEEEPHPEHPEHPEHPHPEHPEHPEHin西安电子科技大学回顾：概率推理实际应用H1,H2,...,Hn当作一组可发生的疾病，E1,E2,…,Em和当作相应的症状，P(Hi)是从大量实践中统计得到的疾病Hi发生的先验概率，P(Ei|Hi)是在疾病Hi发生时观察到Ei的条件概率。可通过上述方法，求得某病人观察到E1,E2,…,Em时，病人患疾病Hi的可能性西安电子科技大学概率推理概率推理方法的特点优点：概率推理方法有较强的理论背景和良好的数学特性，当证据彼此独立时计算的复杂度比较低。缺点：概率推理方法要求给出结论Hi的先验概率P(Hi)及条件概率P(Ej|Hi)。在一些情况下，这些数据不易获得。西安电子科技大学内容提要第四章：非经典推理1.经典推理和非经典推理2.不确定性推理3.概率推理4.主观贝叶斯方法5.可信度方法6.证据理论西安电子科技大学主观贝叶斯方法使用概率推理方法求结论Hi在存在证据E时的条件概率P(Hi|E)，需要给出结论Hi的先验概率P(Hi)及证据E的条件概率P(E|Hi)。这对于实际应用是不容易做到的。Duda和Hart等人在贝叶斯公式的基础上，于1976年提出主观贝叶斯方法，建立了不精确推理的模型，并把它成功地应用于PROSPECTOR专家系统（PROSPECTOR是国际上著名的一个用于勘察固体矿的专家系统）。西安电子科技大学符号表示E代表用于推理的证据S代表在证据具有不确定的情况下，用户观察得到的相关信息。用P(E|S)代表证据的不确定性H代表想要证明的结论LS代表规则成立的充分性LN代表规则成立的必要性西安电子科技大学几率函数的概念几率函数可见，X的几率等于X出现的概率与X不出现的概率之比，O(X)与P(X)的变化一致，且有：即把取值为[0,1]的P(X)放大为取值为[0,+∞)的O(X))(1)()()()()(XPXPXOXPXPXO或1)(if0)(if0)(XPXPXO西安电子科技大学主观贝叶斯方法主观贝叶斯方法1.知识不确定性的表示2.证据不确定性的表示3.组合证据不确定性的计算4.不确定性的更新5.主观贝叶斯方法的推理过程西安电子科技大学知识不确定性的表示在主观Bayes方法中，知识是用产生式表示的，其形式为：即IFETHEN(LS,LN)HE表示规则前提条件，它既可以是一个简单条件，也可以是用AND或OR把多个简单条件连接起来的复合条件。H是结论，用P(H)表示H的先验概率，它指出没有任何专门证据的情况下结论H为真的概率，其值由领域专家根据以往的实践经验给出。LS,LNEH西安电子科技大学主观贝叶斯方法LS是规则的充分性度量。用于指出E对H的支持程度，取值范围为[0,+∞)，其定义为：LN是规则的必要性度量。用于指出E对H为真的必要程度，即﹁E对H的支持程度。取值范围为[0,+∞)，其定义为：(|)(|)PEHLSPEH(|)1(|)(|)1(|)PEHPEHLNPEHPEH西安电子科技大学主观贝叶斯方法讨论LS和LN的含义由Bayes公式可知：两式相除得：(|)()(|)()(|)()(|)()PEHPHPHEPEPEHPHPHEPE(|)(|)(|)(|)()()PEHPPHPHPHHEHEPELS西安电子科技大学主观贝叶斯方法讨论LS和LN的含义应用几率函数，得到关于LS的公式：E对H的支持程度同理得到关于LN的公式：﹁E对H的支持程度(|)()()(|)(|)=(|(|))()PEHLSPPHEOHEPHEPHOHPHEH(|()(|)(|)(|))()(()|)PEHPLNPEHOHPHEPHHOHEPHE西安电子科技大学主观贝叶斯方法LS的含义：公式O(H|E)=LS×O(H)可以看出:当LS1时，O(H|E)O(H)，P(X)和O(X)具有相同的单调性，有P(H|E)P(H)。表明由于证据E的存在，可增强H为真的程度（有利证据）当LS＝1时，O(H|E)＝O(H)，表明E与H无关（无关证据）当LS1时，O(H|E)O(H)，表明由于证据E的存在，减小了H为真的程度（不利证据）当LS＝0时，O(H|E)＝0，表明由于证据E的存在，导致H为假（否定性的证据）西安电子科技大学主观贝叶斯方法LN的含义：公式O(H|¬E)=LN×O(H)可以看出:当LN1时，O(H|¬E)O(H)，相应有P(H|¬E)P(H)，表明由于证据E不存在，增强了H为真的程度（¬E为有利证据）当LN＝1时，O(H|¬E)=O(H)，表明¬E与H无关。当LN1时，O(H|¬E)O(H)，表明由于证据E不存在，减小了H为真的程度（¬E为不利证据)当LN＝0时，O(H|¬E)=0，表明由于证据E不存在，导致H为假（表明了证据E的必要性）西安电子科技大学主观贝叶斯方法LS1:表明证据E是对H有利的证据。LN1：表明证据¬E是对H有利的证据。所以：不能出现LS1且LN1的取值。LS1:表明证据E是对H不利的证据。LN1：表明证据¬E是对H不利的证据。所以：不能出现LS1且LN1的取值。西安电子科技大学主观贝叶斯方法LS和LN的关系由于E和﹁E不会同时支持或同时排斥H，因此只有下述三种情况存在：①LS1且LN1(一般情况)②LS1且LN1③LS=LN=1LS和LN的值的确定以上的讨论可作为领域专家给LS和LN的赋值的依据。西安电子科技大学主观贝叶斯方法主观贝叶斯方法1.知识不确定性的表示2.证据不确定性的表示3.组合证据不确定性的计算4.不确定性的更新5.主观贝叶斯方法的推理过程西安电子科技大学证据不确定性的表示在主观Bayes方法中，证据E的不精确性是也用其概率来表示的。在实际应用中，若证据E是不可以直接观测的，则需要由用户根据观察S给出P(E|S)，即动态强度。用P(E|S)描述证据E的不确定性。在实际中，通常用可信度C(E|S)代替P(E|S)。例如，让用户从-5～5之间11个整数中根据实际情况选一个数作为初始证据的可信度西安电子科技大学证据不确定性的表示例如，C(E|S)取整数：{-5,….,5}C(E|S)=-5表示在观测S下证据E肯定不存在P(E|S)=0C(E|S)=0表示S与E无关,即:P(E|S)=P(E)C(E|S)=5表示在观测S下证据E肯定存在P(E|S)=1C(E|S)与P(E|S)的对应关系如下（分段线性插值）：0-55C(E/S)P(E/S)1P(E)(|)()(5(|))0(|)55(|)()(5(|))5(|)05CESPECESCESPESPECESCES55(|)()()(|)11()(|)(|)()0(|)()()PESPEPEPESPECESPESPEPESPEPE西安电子科技大学主观贝叶斯方法主观贝叶斯方法1.知识不确定性的表示2.证据不确定性的表示3.组合证据不确定性的计算4.不确定性的更新5.主观贝叶斯方法的推理过程西安电子科技大学组合证据不确定性的计算证据的基本组合方式包括合取和析取两种合取：当组合证据是多个单一证据的合取：E=E1ANDE2AND…ANDEn则：P(E|S)=min{P(E1|S),P(E2|S),…,P(En|S)}析取：当组合证据是多个单一证据的析取：E=E1ORE2OR…OREn则：P(E|S)=max{P(E1|S),P(E2|S),…,P(En|S)}西安电子科技大学主观贝叶斯方法主观贝叶斯方法1.知识不确定性的表示2.证据不确定性的表示3.组合证据不确定性的计算4.不确定性的更新5.主观贝叶斯方法的推理过程西安电子科技大学不确定性的更新不确定性的更新过程：根据证据E在观察S下的条件概率P(E|S)以及LS和LN的值，把H的先验概率P(H)或先验几率O(H)更新为后验概率P(H|S)或后验几率O(H|S)。分三种情况讨论证据肯定为真时：P(E|S)=1，即P(E)=1证据肯定为假时：P(E|S)=0，即P(E)=0证据不确定：0P(E|S)1西安电子科技大学不确定性的更新1.证据肯定为真时：P(E|S)=1已知充分性度量LS有如下关系：O(H|E)=LS×O(H)将上述公式的几率换成概率,可得由P(H)求解P(H|E)的公式:P(H|E)=LS×P(H)/[(LS-1)×P(H)+1]由O(H)求解P(H|E)的公式为:P(H|E)=O(H/E)/1+O(H/E)=LS×O(H)/1+LS×O(H)O(x)=P(x)/(1-P(x))P(x)=O(x)/(1+O(x))西安电子科技大学不确定性的更新2.证据肯定不存在的情况：P(E|S)=0已知必要性度量LN的有如下关系：O(H|¬E)=LN×O(H)将上述公式的几率换成概率,可得由P(H)求解P(H|¬E)的公式:P(H|¬E)=LN×P(H)/[(LN-1)×P(H)+1]由O(H)求解P(H|