主观贝叶斯方法

第2章主观贝叶斯方法~wjluo/aai/中国科大计算机学院内容•规则的不确定性•证据的不确定性•推理计算主观贝叶斯方法•R.O.Duda等人于1976年提出的一种不确定性推理模型。–在这个模型中，他们称推理方法为主观Bayes方法。–成功地应用于地矿勘探系统PROSPECTOR中。•在这种方法中，引入了两个数值（LS，LN）。•IFATHEN(LS,LN)B–LS体现规则成立的充分性,–LN体现规则成立的必要性。–这种表示既考虑了事件A的出现对其结果B的支持，又考虑了A的不出现对B的影响。内容•规则的不确定性•证据的不确定性•推理计算几率函数•几率函数O(X)：)(1)()(XPXPXO−=•O(X)表示证据X的出现概率和不出现的概率之比。•显然O(X)是P(X)的增函数。∞====)(,1)(1500)(0)(XOXP，O(X)＝.P(X)＝XOXP，•几率函数实际上表示了证据X的不确定性。规则的不确定性•对规则A→B的不确定性度量f(B,A)以因子（LS，LN）来描述。•充分性因子LS：表示A真时对B的影响，即规则成立的充分性。•必要性因子LN：表示A假时对B的影响，即规则成立的必要性。•实际应用中，概率值不可能求出，所以采用的都是专家给定的LS,LN值，而不是依LS，LN的定义来计算的。)|~()|(BAPBAPLS=)|~(~)|(~BAPBAPLN=充分性因子•因此，LS表征的是A的发生对B发生的影响程度。•若LS为无穷大，则P(~B|A)=0，即P(B|A)=1，说明证据A对于得出B为真的逻辑是充分的。•LS也称为充分似然性因子。得由)(~)()|(~)|~(,)()()|()|(BPAPABPBAPBPAPABPBAP==)()|()(~)()|(~)|()|~()|(BOABOBPBPABPABPBAPBAPLS===必要性因子•因此，LN表征的是A不发生对B发生的影响程度。•若LN为0，则P(B|～A)=0，说明证据A不存在时，B必为假，即A对B是必然的。得由)(~)(~)|~(~)|~(~,)()(~)|~()|(~BPAPABPBAPBPAPABPBAP==)()|~()(~)()|~(~)|~()|~(~)|(~BOABOBPBPABPABPBAPBAPLN===几率函数与LS,LN的关系⎪⎩⎪⎨⎧==BA)()|(1BA)()|(1BA)()|(1不支持支持没影响对BOABOBOABOBOABOLS⎪⎩⎪⎨⎧==BA)()|(1BA)()|(1BA)()|(1不支持～～支持～～没影响对～～BOABOBOABOBOABOLN)()|()()|(BOLSABOBOABOLS⋅=⇒=)()|~()()|~(BOLNABOBOABOLN⋅=⇒=几率函数与LS,LN的关系•注意：–LS、LN≥0，且LS、LN是不独立的。–LS,LN可以同时＝1。–LS,LN不能同时＞1或＜1。•如果LS1，则P(A|B)P(A|~B)，两边同时减1，可得1－P(A|B)1－P(A|~B)由于P(~A|B)=1－P(A|B)，且P(~A|~B)=1－P(A|~B)，所以1)|~(1)|(1)|~(~)|(~LN−−==BAPBAPBAPBAP几率函数与LS,LN的关系•理论上，LS、LN的取值可以是如下几个范围：①LS1，且LN1②LS1，且LN1③LS=LN=1LS、LN与证据的关系A为假时（观察不到A时），对B是逻辑充分的∞A为假时，对B是有利的1LNA为假时，对B是无影响1A为假时，对B是不利的0LN1A为假时，B为假，或者说A对B是必然的0LNA为真时，对B的逻辑是充分的，或者说A为真时（观察到A时），必有B为真∞A为真时，对B是有利的1LSA为真时，对B是无影响1A为真时，对B是不利的0LS1A为真时，B为假，或者说～A对B是必然的0LS影响取值例题•例1、PROSPECTOR专家系统中的一条规则：如果有石英硫矿带，那么，必有钾矿。对于这条规则来说，有LS=300，LN＝0.2。•相关解释：–LS=3001，观察到石英硫矿带非常有用，而若不能观察到石英硫矿带则没有什么意义。–LN1，那么，缺乏硫矿带将强烈表明假设是错误的。•例2、如果有玻璃褐铁矿，那么有最佳的矿产结构。–其中LS＝1000000，LN=0.01内容•规则的不确定性•证据的不确定性•推理计算证据的不确定性•证据的不确定性度量用几率函数来描述：•虽然几率函数与概率函数有着不同的形式，但是变化趋势是相同的。9当A为真的程度越大（P(A)越大）时，几率函数的值也越大。⎪⎩⎪⎨⎧∞∞=−=一般情况真当假当),0(AA0)(1)()(APAPAO证据的不确定性•几率函数是用概率函数定义的。•在推理过程中，经常需要通过几率函数值计算概率函数值时。)(1)()(AOAOAP+=)(1)()(APAPAO−=内容•规则的不确定性•证据的不确定性•推理计算推理计算•主观贝叶斯方法的不精确推理过程就是根据前提A的概率P(A)，利用规则的LS和LN，把结论B的先验概率P(B)更新为后验概率P(B|A)的过程。•由于是不确定性推理，所以必须讨论证据发生的各种可能性。①A必出现②A不确定③证据的合成④证据组合A必出现•A必出现时，即P(A)＝1，此时可以直接使用如下公式计算：O(B|A)=LS·O(B)O(B|~A)=LN·O(B)从而求得使用规则AÆB后，O(B)的更新值O(B|A)和O(B|~A)。•如果需要概率表示，可再由公式P(A)=O(A)/(1+O(A))计算出P(B|A)和P(B|~A)。A不确定•A不确定，即P(A)≠1时，设A'代表与A有关的所有证据（A'是系统中所有对A能够产生影响的观察）。•对于规则AÆB，杜达(Duda)给出了公式(1976年)P(B|A')=P(B|A)P(A|A')+P(B|～A)P(～A|A')•三种特殊情况：①当P(A|A')=1时，证据A必然出现②当P(A|A')=0时，证据A必然不出现③当P(A|A')=P(A)时，观察A'对A没有影响A不确定①当P(A|A')=1时，证据A必然出现，此时有1)()1()()|()'|(+×−×==BPLSBPLSABPABP1)(1)|~()|()()|~()|(1)()1()(+⎟⎟⎠⎞⎜⎜⎝⎛−=+×−×BPBAPBAPBPBAPBAPBPLSBPLS说明：)|~()()|~()()(BAPBPBAPABPABP+−=)()|(~)()|()()|()~()()(APABPAPABPAPABPBAPABPABP+=+=)|()|(~)|()|(ABPABPABPABP=+=A不确定②当P(A|A')=0时，证据A必然不出现，此时有1)()1()()|~()'|(+×−×==BPLNBPLNABPABP③当P(A|A')=P(A)时，观察A'对A没有影响，对B也没有影响，则)()'|(BPABP=P(B|A')=P(B|A)P(A|A')+P(B|～A)P(～A|A')=P(B|A)P(A)+P(B|～A)P(～A)=P(A|B)P(B)+P(~A|B)P(B)=P(B)说明：A不确定•由此，可以得到以上3种特殊情况时，A'对B的不同影响，即可以根据A与A'的关系计算P(B|A')值。⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧==+×−×=+×−×=)()'|()(0)'|(1)()1()(1)'|(1)()1()()'|(APAAPBPAAPBPLNBPLNAAPBPLSBPLSABPA不确定•这样可得P(A|A')为0，P(A)，1时相应的P(B|A')的值，根据这三点可以得到线性插值图。•对于P(A|A')的其它取值，P(B|A')可根据此图通过线性插值法得到。A不确定•线性插值公式⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧≤−×−−+≤×−+=)'|()()]()'|([)(1)()|()()()'|(0)'|()()|~()()|~()'|(AAPAPAPAAPAPBPABPBPAPAAPAAPAPABPBPABPABPA不确定•当证据不确定时，证据理论推理的基本原理是：①从该证据A往前看，即寻找A的出处。②如果A是由A'导出的，即A'→A→B,则当A不清楚的时候，采用A'的相关信息进行计算。③如果还不行，就再往前推。④是一个递归推导的过程。•A'是指从A向前看的各个相关证据，所以有时可能存在多个相关证据。证据的合成•当出现两个证据，即在证据A′之下，有证据A1和A2存在时，设证据A1和A2单独受影响的概率分别为P(A1|A′)和P(A2|A′)，那么)}'|(),'|(max{)'|()}'|(),'|(min{)'|(21212121AAPAAPAAAPAAPAAPAAAP=∨=∧)}'|(,),'|(),'|(max{)'|()}'|(,),'|(),'|(min{)'|(21212121AAPAAPAAPAAAAPAAPAAPAAPAAAAPnnnnLLLL=∨∨=∧∧•当有2个以上的证据存在时，有证据组合•简单情况：一个原因，一个结果。¾AÆB，A为原因，B为结果•实际情况：证据是复合的。•例如，聪明A1而且努力学习A2，考上大学B。证据组合•若A1→B，A2→B，而A1，A2相互独立，对A1，A2的观察分别为A1'，A2')()()|()()|()|('2'1'2'1BOBOABOBOABOAABO××=I)()()|()()|()()|()|(''2'1'2'2'1BOBOABOBOABOBOABOAAABOn××××=LILII例题1•例1、已知P(A)=1,P(B1)=0.04,P(B2)=0.02，R1:A→B1LS=20LN=0.1R2:B1→B2LS=300LN=0.001要求计算P(B2|A)。•分析：当使用规则R2时，证据B1并不是确定的发生了，即P(B1)≠1，因此要采用插值方法。•解：先依照A必然发生，由定义和R1得：O(B1)=0.04/(1-0.04)=0.0417O(B1|A)=LS*O(B1)=0.83P(B1|A)=0.83/(1+0.83)=0.454然后，由于P(B1|A)=0.454大于P(B1)，假设P(B1|A)=1,计算：P(B2|B1)=300*0.02/((300－1)*0.02+1)=0.857最后，进行插值：P(B2|A)=0.02+[(0.857-0.02)/(1-0.04)]*(0.454-0.04)=0.410例题2•例2、已知证据A1，A2必然发生，且P(B1)=0.03，规则如下：R1：A1→B1LS=20LN=0.1R2：A2→B1LS=300LN=0.1求B1的更新值。•解：依据R1，P(B1)=0.03，0309.003.0103.0)(P1)(P)(111=−=−BBBO＝61855.00309.020)()|(111=×=×=BOLSABO382.061855.0161855.0)|(1)|()|(111111=+=+=ABOABOABP例题2（续）使用规则R1后，B1的概率从0.03上升到0.382。依据R2，565.185)|(300)|(11211=×=ABOAABO99464.0565.1851565.185)|(211=+=AABP使用规则R2后，B1的概率从0.382上升到0.99464。因此，B1的概率为0.99464。例题3•例3、已知：证据A必然发生，且有P(B1)=0.03，P(B2)=0.01，规则如下:R1：A→B1LS=20LN=0.1R2：B1→B2LS=300LN=0.0001求B2的更新值。•解：由于B1不确定，所以讨论其前项证据A的影响使用插值法。例题3（续）①A必然发生，依据R1，P(B1)=0.03，②当P(B1|A)=1时，382.0)|(1)|()|(61855.0030928.020)()|(030928.003.0103.0)(1)()(11111111=+==×=