主观贝叶斯方法

主观Bayes方法概述主观Bayes方法又称为主观概率论一种处理不确定性推理一种基于概率逻辑的方法以概率论中的贝叶斯公式为基础首先应用于地矿勘探专家系统PROSPECTOR5.3.1基本Bayes公式—概率论基础条件概率：设A，B是两个随机事件，，则是在B事件已经发生的条件下，A事件发送的概率。乘法定理:0)(BP)()()|(BPABPBAP)()|()(BPBAPABP5.3.1基本Bayes公式全概率公式：设事件满足：⑴两两互不相容，即当时，有⑵⑶样本空间则对任何事件B,有下式成立：称为全概率公式。jijiAA)1(0)(niAPiUniiAD1)|()()(1iniiABPAPBPnAAA,...,,215.3.1基本Bayes公式Bayes公式：设事件满足：⑴两两互不相容，即当时，有⑵⑶样本空间则对任何事件B,有下式成立：称为贝叶斯公式。jijiAA)1(0)(niAPiUniiAD1niBPABPAPBAPiii,...,2,1,)()|()()|(nAAA,,,215.3.1基本Bayes公式把全概率公式带入贝叶斯公式后，得如下公式:njjjiiiABPAPABPAPBAP1)|()()|()()|(ni,...,2,15.3.1基本Bayes公式又有产生式规则IFETHENHi用产生式中的前提条件E代替Bayes公式中的B，用Hi代替公式中的Ai,就可以得到公式：用来求得在条件E下，Hi的先验概率。niHPHEPHPHEPEHPnjjjiii,...,2,1,)()|()()|()|(15.3.1基本Bayes公式在有些情况下，有多个证据E1,E2,…,En和多个结论H1,H2,….,Hn，并且每个证据都以一定程度支持结论，这是可对上面的公式进行扩充，得：niHPHiEPHEPHPHEPHEPEEEHPnjjmjiimini,...,2,1,)()|(...)|()()|(...)|()...|(111215.3.1基本Bayes公式此时，只要知道Hi的先验概率P(Hi)以及Hi成立时证据E1,E2,…,Em出现的条件概率P(E1|Hi),P(E2|Hi),…P(Em|Hi)，就可以求得在E1,E2,...,Em出现情况下Hi的条件概率P(Hi|E1E2...Em)5.3.2主观Bayes方法主观Bayes方法的基本思想由于证据E的出现，使得P(H)变为P(H|E)主观Bayes方法,就是研究利用证据E，将先验概率P(H)更新为后验概率P(H|E)主观Bayes方法引入两个数值（LS，LN）用来度量规则成立的充分性和必要性。其中，LS:充分性量度LN:必要性量度5.3.3知识不确定性的表示1.知识表示方法在地矿勘探专家系统中，为了进行不确定性推理，把所有的知识规则连接成一个有向图，图中的各节点代表假设结论，弧代表规则。在主观Bayes方法中，知识的不确定性是以一个数值对（LS，LN）来进行描述的。其具体产生式规则形式表示为：IFETHEN(LS,LN)H(P(H))5.3.3知识不确定性的表示其中，(LS,LN)是为度量产生式规则的不确定性而引入的一组数值，用来表示该知识的强度，LS和LZ的表示形式如下。(1)充分性度量(LS)的定义)|()|(HEPHEPLS它表示E对H的支持程度，取值范围为[0,+∞)。5.3.3知识不确定性的表示(2)必要性度量的定义它表示~E对H的支持程度，即E对H为真的必要程度，取值范围[0,+∞)。)|(1)|(1)|()|(HEPHEPHEPHEPLN5.3.3知识不确定性的表示结合Bayes公式，得：P(﹁H|E)=P(E|﹁H)P(﹁H)/P(E)Bayes公式除以上式得：)()()|()|()|()|(HPHPHEPHEPEHPEHP5.3.3知识不确定性的表示为了讨论方便，引入几率函数又则可以化为)(1)()(xPxPxO)(1)()(xOxOxP)|()|(HEPHEPLS)()()|()|()|()|(HPHPHEPHEPEHPEHP)()|(HOLSEHO5.3.3知识不确定性的表示上式被称为Bayes公式的几率似然性形式。LS称为充分似然性，如果LS-+∞，则证据E对于推出H为真是逻辑充分的。同理，可得关于LN的公式：O(H|﹁E)=LN×O(H)其被称为Bayes公式的必率似然性形式。LN称为必然似然性，如果LN=0，则有O(H|﹁E)=0。这说明当~E为真时，H必为假，即E对H来说是必然的。5.3.3知识不确定性的表示2.LS和LN的性质(1)LS的性质LS表示证据E的存在，影响结论H为真的概率：O(H|E)=LS×O(H)当LS1时，P(H|E)P(H),即E支持H，E导致H为真的可能性增加；当LS-+∞时,表示证据E将致使H为真；当LS=1时，表示E对H没有影响，与H无关；当LS1时，说明E不支持H，E导致H为真的可能性下降；当LS=0时，E的存在是H为假；5.3.3知识不确定性的表示(2)LN的性质表示证据E的不存在，影响结论H为真的概率：O(H|﹁E)=LN×O(H)当LN1时，P(H|~E)P(H),即~E支持H，~E导致H为真的可能性增加；当LN-+∞时,表示证据~E将致使H为真；当LN=1时，表示~E对H没有影响，与H无关；当LN1时，说明~E不支持H，~E导致H为真的可能性下降；当LN=0时，~E的存在是H为假；5.3.3知识不确定性的表示(3)LS与LN的关系由于E和~E不会同时的支持或者同时排斥H，因此只有以下三种情况：LS1且LN1LS1且LN1LS=1=LN5.3.4证据不确定性的表示1.单个证据不确定性的表示方法证据通常可以分为全证据和部分证据。全证据就是所有的证据，即所有可能的证据和假设，他们组成证据E。部分证据S就是E的一部分，这部分证据也可以称之为观察。在主观Bayes方法中，证据的不确定性是用概率表示的。全证据的可行度依赖于部分证据，表示为P(E|S)，为后验概率。5.3.4证据不确定性的表示2.组合证据的不确定性的确定方法当证据E由多个单一证据合取而成，即如果已知P(E1|S),P(E2|S),…,P(En|S)，则P(E|S)=min{P(E1|S),P(E2|S),…,P(En|S)}若证据E由多个但以证据析取而成，即P(E|S)=max{P(E1|S),P(E2|S),…,P(En|S)}对于非运算，P(~E|S)=1-P(E|S)nEEEE...21nEEEE...215.3.5不确定性推理计算1.确定性证据(1)证据确定出现时证据E肯定出现的情况下，吧结论H的先验概率P(H)更新为后验概率P(H|S)的计算公式为：(2)证据确定不出现时证据E肯定不出现的情况下，把结论H的先验概率P(H)更新为后验概率P(H|~E)的计算公式为：1)()1()()|(HPLSHPLSEHP1)()1()()|~(HPLNHPLNEHP5.3.5不确定性推理计算(2)不确定性证据在现实中,证据往往是不确定的,即无法肯定它一定存在或一定不存在用户提供的原始证据不精确用户的观察不精确推理出的中间结论不精确假设S是对E的观察,则P(E|S)表示在观察S下,E为真的概率,值在[0,1]；5.3.5不确定性推理计算此时0P(E|S)1，故计算后验概率P(R|S),不能使用Bayes公式可以采用下面的公式修正（杜达公式）)|()|()|()|()|(SEPEHPSEPEHPSHP1）E肯定存在，即P(E|S)=1,且P(﹁E|S)=0，杜达公式简化为：1)()1()()|()|(HPLSHPLSEHPSHP5.3.5不确定性推理计算2）E肯定不存在，即P(E|S)=0,P(﹁E|S)=1，杜达公式简化为：1)()1()()|()|(HPLNHPLNEHPSHP3）P(E|S)=P(E)，即E和S无关,利用全概率公式（公式7），杜达公式可以化为：)()()|()()|()|(HPEPEHPEPEHPSHP5.3.5不确定性推理计算4)当P(E|S)为其它值（非0，非1，非P(E)）时，则需要通过分段线形插值计算：1)|()()],()|([)(1)()|()()()|(0),|()()|()()|()|(SEPEPEPSEPEPHPEHPHPEPSEPSEPEPEHPHPEHPSHP5.3.6结论不确定性的合成和更新算法1.结论不确定性的合成算法n条规则都支持同一结论R,这些规则的前提条件E1,E2,…,En相互独立每个证据所对应的观察为S1,S2,…,Sn先计算O(H|Si)，然后再计算所有观察下，H的后验几率计算方法:)()()|()()|()()|(),...,,|(2121HOHOSHOHOSHOHOSHOSSSHOnnL5.3.6结论不确定性的合成和更新算法2.结论不确定性的更新算法其思想是，按照顺序使用规则对先验概率进行更新，再把得到的更新概率当做先验概率，更新其他规则，这样继续更新直到所有的规则使用完。小结主观Bayes方法（条件概率）当一个事件发生后，先验概率如何转变为后验概率推理前知道结论的先验概率信息证据不确定时，必须采用杜达等推导公式:P(R|S)=P(R|E)×P(E|S)+P(R|﹁E)×P(﹁E|S)