第五讲基于概率论的方法

-20-第五讲基于概率论的处理方法§1引言迄今为止，我们用概率作为理想系统中的可重复事件的度量。然而，人类是计算许多不可重复事件（如医疗诊断、矿产勘探，在那里每一个患者和矿点都是唯一的）的专家。为了在这样一些领域建造专家系统，我们必须扩展仅涉及描述非真即假之命题的事件范围。例如，一个事件可能是，“一个患者浑身都是红斑点”，其相应的命题是，“一个患者出麻疹”。假定A是一命题，从传统意义上说来，如果事件和命题不能被重复，那么符号)B|A(p不见得是概率。代之，)B|A(p能被解释为：给定B，A是真的信任程（degreeofbelief）。如果)B|A(p=1，我们确信A无疑是真的。如果)B|A(p=0，我们确信A无疑是假的。如果0)B|A(p1，我们不能肯定A是真还是假。条件概率被看作似然或似真（likelihood），)E|H(p表示基于某证据E的假设H的似真性。虽然)E|H(p有条件概率的形式，但是它确实指与概率不同的事物——似然性或信任度（thelikelihoodorthedegreeofbelief）。概率指的是可重复事件，而似然性指的是我们对非重复事件的信任度。因为专家系统是人类专家的模型，所以)E|H(p通常是指：在某一证据E存在的条件下，专家对某一假设H为真的信任度。如果被讨论的事件是可重复的，那么)E|H(p自然就是概率。一种表达这种似然性的方式，是使用赌博中的几率（odds）。给定某证据C，则A相对于B的可能性是)C|B(P)C|A(Podds如果AB，则有)C|A(P1)C|A(P)C|A(P)C|A(Podds令)C|A(PP，则又有odds1oddsP,P1Podds用赌博中几率来说，如果把P解释为赢的可能性，那么1－P则应被解释为输的可能性。于是我们有：-21-输赢odds几率函数odds（简记为O）与概率函数显然有如下关系：当概率取值01时，必有几率函数取值0.PROSPECTOR是国际上著名的一个用于勘察固体矿的专家系统，1982年美国地质调查资源分析局利用PROSPECTOR预测了华盛顿州一个勘探地段的钼矿位置，随后的实际钻井证明了其预测的正确性。基于贝叶斯理论的PROSPECTOR采用规则表达领域知识，每条规则有两个规则强度，LS和LN.当领域专家和知识工程师在抽取规则时，LS和LN是由领域专家给出的，且有LS,LN0.一条规则，可表成如下形式：方框表示节点，E表示规则前提，H表示规则后件或结论，LS是规则的充分性度量，LN是规则的必要性度量。除初始节点（或曰叶节点）外，每个节点都有一个先验概率，记为P(H)，用图表达如下：这个先验概率P(H)是在抽取规则的同时，由领域专家给出的。PROSPECTOR的不确定性推理过程，就是根据证据的概率P(E)或P(E|S)，利用LS或LN，把结论H的先验概率P(H)更新为后验概率P(H|E)的过程。实现从叶节点到假说节点的逐步不确定性推理，称之为概率传播。LS,LNEHP(H)H-22-§2确定性证据的不确定性处理所谓确定性证据系指，P(E)=1，P(E)=0.●LS的定义贝叶斯定理是)()()|()|(EPHPHEPEHP（1）)()()|()|(EPHPHEPEHP（2）（1）式除以（2）式得)()|()()|()|()|(HPHEPHPHEPEHPEHP（3）定义H的先验几率（odds）和后验几率为)()()(HPHPHO，)|()|()|(EHPEHPEHO定义似然比（thelikelihoodratio）为)|()|(HEPHEPLS（4）则（3）式变成（5）式)()|(HOLSEHO（5）O(H|E)=(,)O(H)==P(H|E)=(,)P(H)●LS的意义当LS时，对于推出H为真，证据E是逻辑充分的，因此LS被称之为充分性度量。LS的取值对假设H的影响0当E是真，H为假，或者说要想推出H，E之存在是必须的。0LS1E之存在，对推出H是不利的。1E之存在对H的信任度没有影响。1LSE之存在，有利于推出H。∞E之存在，对推出H是逻辑充分的，或者说E之存在，意味着H必为真。表1-23-对LS，我们再给出不使用表格的解释：a.LS(H|E)越大，O(H|E)和P(H|E)也越大，就是说：E为真，对H的支持越强；b.当LS(H|E)时，则有O(H|E)，且有P(H|E)1。这说明：当E为真时，导致H为真，故E对推出H是充分的，由此我们把LS称之为充分性度量；c.当LS(H|E)=1时，E的存在与否与H之真假无关；d.当LS(H|E)1时，O(H|E)O(H)，LS越小，O(H|E)亦越小，或者说：在这种情况下E为真，对H的反对越强烈；e.当LS(H|E)=0时，E为真导致H为假（即O(H|E)=P(H|E)=0）。●LN的定义由贝叶斯定理：)()()|()|(EPHPHEPEHP（1*）)()()|()|(EPHPHEPEHP（2*）（1*）式除以（2*）式得)()|()()|()|()|(HPHEPHPHEPEHPEHP（3*）定义H的先验几率（odds）和后验几率为)|(EHP)|(EHO01图1之间的关系与)|()|(EHPEHO-24-)()()(HPHPHO，)|()|()|(EHPEHPEHO定义似然比（thelikelihoodratio）为)|()|(HEPHEPLN（4*）则（3*）式变成（5*）式)()|(HOLNEHO（5*）●LN的意义LN的取值对假设H的影响0当E不存在，H为假，或者说要想推出H，E之存在是必要的。0LN1E之缺席，对推出H是不利的。1E之缺席对H的信任度没有影响。1LNE之缺席，有利于推出H。E之缺席，对推出H是逻辑充分的，或者说E之缺席，意味着H必为真。表2对LN，我们再给出不使用表格的解释：a.LN(H|E)越大，O(H|E)和P(H|E)也越大，就是说：E为假，对H的支持越强；b.当LN(H|E)时，则有O(H|E)，且有P(H|E)1.这说明：当E为假，导致H为真；c.当LN(H|E)=1时，E的存在与否与H之真假无关；d.当LN(H|E)1时，O(H|E)O(H)，LN越小，O(H|E)和P(H|E)都亦越小，或者说：在这种情况下E为假，对H的反对越强烈；e.当LN(H|E)=0时，有O(H|E)=0并且有P(H|E)=0，这说明：E为假，导致H为假，故E对H是必要的，由此我们称LN为必要性度量。-25-●LS与LN的关系：若LS1，则必有LN1；若LS1，则必有LN1；若LS=1，则必有LN=1.证明：)H|E(P)H|E(Piff,)H|E(P1)H|E(P1iff,)H|E(P)H|E(Piff,1)H|E(P)H|E(Piff,1LS证毕,1LNiff,1)H|E(P)H|E(Piff■值得说明的是：尽管从数学上看，LS和LN取值分为上述三种情况是严格的，但这一结论在现实世界中并不总是有效的。在固体矿产勘探的专家系统PROSPECTOR中，地质勘探专家规定LS1且LN=1的情况并不是罕见的。地质专家们说某证据之存在对假设H为真是重要的，但该证据的缺席对假设H为真却没有影响。这说明，对于固体矿产的勘探问题基于贝叶斯概率论的似然理论是不完备的。也就是说，贝叶斯似然理论仅仅是能处理LS1且LN=1的情况的理论的一种近似。-26-●例：斑状铜矿模型PCDA的部分推理网络（图2）这里，规则R1，R2，R3和R4的LN都是1，所以E1=RCIB，E2=RCS，E3=RCAD和E4=RCVP不存在并不影响H=SMIR的后验几率O(H|Ej)，其中j=1,2,3,4；同样，规则R5的LS是1，所以E5=SMIRA之存在不影响H=SMIR的后验几率O(H|E5).E5=E1ORE2ORE3ORE4，所以E1，E2，E3和E4中只要有一个存在，就表示E5存在。规则R1，R2，R3和R4的LS都大于1，所以Ej之存在，将更新O(H)为O(H|Ej)，j=1,2,3,4.R5的LN1，所以E5之缺席将更把H的几率从O(H)变为O(H|E5).E5不存在系指E1，E2，E3，E4都不存在。假定E1存在（即P(E1)=1）,O(H|E1)=LS×O(H)=)()(HPHP120=200301030..=0.61855720,1R10.03火成岩侵入型SMIR1,0.0002R5ORSMIRA矿株RCSRCS=E2矿脉RCADRCAD=E3侵入岩角闪石RCIB=E1火山岩岩颈RCVP=E4图2PCDA的部分推理网络300,1R275,1R34,1R4-27-O(H)=)()(HPHP1=0.0309278P(H|E1)=)|()|(111EHOEHO=0.382166，由于E1之存在使H的概率增加了11.738866倍。假定E5不存在（即P(E5)=0）,O(H|E5)=LN×O(H)=030103000020100020...)()(.HPHP=0.000006185567P(H|E5)=)|()|(515EHOEHO0.00000618553，由于E5之不存在使H的概率削弱了约4849倍。●确定性证据Prospector的推理过程：计算H后验概率的过程当P(E)=1时，即证据存在时（1）计算O(H|E)=LS×O(H)=LS×)()(HPHP1（2）计算P(H|E)=)|(1)|(EHOEHO11)()()()|(HPLSHPLSEHP当P(E)=0时，即证据不存在时（1）计算O(H|E)=LN×O(H)=LN×)()(HPHP1（2）计算P(H|E)=)|(1)|(EHOEHO11)()()()|(HPLNHPLNEHP(9)-28-§3不确定性证据的不确定性推理前一小节，我们在利用LS，LN，O(H)(或P(H))计算O(H|E)(或P(H|E))或O(H|E)(或P(H|E))时，假定了P(E)=1(或O(E)=).那么对于一般的P(E),如何计算O(H|E)(或P(H|E))或O(H|E)(或P(H|E))呢？设在观察E之下，证据E有概率P(E|E)，现在的问题是如何求出P(H|E).由于E之存在，导致了E之存在程度的变化.E直接影响E，而E又直接影响了H，就是说E通过中间媒介E间接影响了H.解决思路：先解决P(E|E)取特殊值时，P(H|E)的对应取值。●P(E|E)取特殊值1，0，P(E)时，P(H|E)的对应取值仿照全概率公式：P(H|E)=P(H|E)P(E|E)＋P(H|E)P(E|E)(10)仿照全概率公式是一种合理的近似。①从P(E|E)=1,知P(E|E)=0,进而推知P(H|E)=P(H|E)；②从P(E|E)=0,知P(E|E)=1,进而推知P(H|E)=P(H|E)；③从P(E|E)=P(E),知P(E|E)=1－P(E|E)=1－P(E)=P(E)，在式(10)中，用P(E)代替P(E|E)，用P(E)代替P(E|E)，得到P(H|E)=P(H|E)P(E)＋P(H|E)P(E)，再用全概率公式P(H)=P(H|E)P(E)＋P(H|E)P(E)可得到P(H|E)=P(H)，进而推知E与E无关。上述①，②，③，可由下表表示：P(E|E)取特殊值与之对应的P(H|E)的取值1P(H|E)P(E)P(H)0P(H|E)当P(E|E)1，0，P(E)时，P(H|E)的对应取值Duda等人在合理的假设下，证明了P(H|E