人工智能4--Bayes方法

华东理工大学EastChinaUniversityofScienceAndTechnology主观Bayes方法陈志华主要内容1.概率论基础2.主观Bayes方法的基本理论3.主观Bayes方法的基本模型前言主观Bayes方法–一种不确定性推理算法–以概率论中的Bayes公式为基础–首先应用于专家系统PROSPECTOR系统和前述推理方法的区别不确定性推理–当一个或多个新证据出现时，根据推理规则，计算结论的可信度–推理前不知道结论的概率信息主观Bayes方法（条件概率）–当一个事件发生后，先验概率如何转变为后验概率–推理前知道结论的先验概率信息–规则的表示不一样1.概率论基础条件概率：设A，B是两个随机事件，，则是在B事件已经发生的条件下，A事件发生的概率。乘法定理:0)(BP)()()|(BPBAPBAP)()|()(BPBAPBAP全概率公式：设事件满足：⑴两两互不相容，即当时，有⑵⑶样本空间则对任何事件B,有下式成立：称为全概率公式。jijiAA)1(0)(niAPiniiAD1)|()()(1iniiABPAPBPnAAA,,21根据全概率公式及乘法定理可以得到Beyes公式:njjjiiiABPAPABPAPBAP1)|()()|()()|(ni,,2,12.基本理论主观Bayes方法的基本思想–由于证据E的出现，使得P(R)变为P(R|E)–主观Bayes方法,就是研究利用证据E，将先验概率P(R)更新为后验概率P(R|E)先验概率P(R),即不考虑证据E出现的前提下，结论结论R成立的概2.基本理论一.知识不确定性的表示（产生式规则）其中–LS:充分性量度–LN:必要性量度–P(R):R的先验概率))((),(RPRLNLSTHENEIF二.基本算法证据E有三种情形–1)肯定存在，即P(E)=1–2)肯定不存在，P(E)=0–3)不确定，0P(E)1在不同的情形下，后验概率的计算方法不同1)证据E肯定存在假设规则如下：–IFETHENR根据乘法定理，得到–P(R|E)=P(E|R)P(R)/P(E)（式1）P(﹁R|E)=P(E|﹁R)P(﹁R)/P(E)两式相除，得到：)()()|()|()|()|(RPRPREPREPERPERP定义几率函数：则设：则式1变为)(1)()(xPxPxO)(1)()(xOxOxP)|(/)|(REPREPLS)()|(ROLSERO（式3）（式2）2)证据E肯定不存在P(E)=0同样可以推导出–O(R|﹁E)=LN×O(R)其中)|(1)|(1)|()|(REPREPREPREPLN（式4）将O(x)重新替换成概率，得到：1)()1()()|(RPLSRPLSERP1)()1()()|(RPLNRPLNERP（式5）（式6）讨论：O(x)与P(x)的单调性O(x)与P(x)的单调性相同,即可从数学上推导出：)()|()()|()()|()()|(ROERORPERPROERORPERP当且仅当当且仅当LS和LN的讨论LS表示证据E的存在，影响结论R为真的概率：为假。导致时，当为真的可能性下降；导致时，当无关；与时，当为真的可能性增加；导致即时，可证明当为真；将使得时，证据当RELSRELSRELSRERPERPLSRELS011),()|(1)()|(ROLSEROLN表示证据E的不存在，影响结论R为真的概率：O(R|﹁E)=LN×O(R)为假。导致时，当为真的可能性下降；导致时，当无关；与时，当为真的可能性增加；导致时，当为真；将使得时，当RELNRELNRELNRELNRELN0111上述结论也可以直接从公式5,6推导出来–LS1，使得P(R|E)P(R)–LS1,使得P(R|E)P(R)–LN1，使得P(R|﹁E)P(R)–LN1,使得P(R|﹁E)P(R)例子假设有如下规则:–规则1:IFE1THEN(10,1)R1(0.03)–规则2:IFE2THEN(20,1)R2(0.05)–规则3:IFE3THEN(1,0.002)R3(0.3)–求(1)当E1,E2,E3都存在时,P(Ri|Ei)–(2)当E1,E2,E3都不存在时,P(Ri|﹁Ei)分析：利用公式5，6答案:00086.0)3|3(05.0)2|2(03.0)1|1(3.0)3|3(51.0)2|2(24.0)1|1(ERPERPERPERPERPERP练习设有如下推理规则：–R1:IFE1THEN(2,0.5)H1–R2:IFE2THEN(1,0.2)H2–R3:IFE3THEN(5,0.1)H3并且已知P(H1)=0.2,P(H2)=0.1,P(H3)=0.4计算当证据E1,E2,E3存在或不存在时，P(Hi|Ei)或P(Hi|﹁Ei)的值各是多少？(i=1,2,3)3)证据E不确定在现实中,证据往往是不确定的,即无法肯定它一定存在或一定不存在–用户提供的原始证据不精确•用户的观察不精确–推理出的中间结论不精确假设S是对E的观察,则P(E|S)表示在观察S下,E为真的概率,值在[0,1]；此时0P(E|S)1，故计算后验概率P(R|S),不能使用Bayes公式可以采用下面的公式修正（杜达公式）)|()|()|()|()|(SEPERPSEPERPSRP（式7）后验概率P(R|S)的计算-1针对杜达公式，分四种情况讨论1）E肯定存在，即P(E|S)=1,且P(﹁E|S)=0，杜达公式简化为：注意：同时利用了公式51)()1()()|()|(RPLSRPLSERPSRP后验概率P(R|S)的计算-22）E肯定不存在，即P(E|S)=0,P(﹁E|S)=1，杜达公式简化为：注意：同时利用了公式61)()1()()|()|(RPLNRPLNERPSRP后验概率P(R|S)的计算-33）P(E|S)=P(E)，即E和S无关,利用全概率公式（公式7），杜达公式可以化为：)()()|()()|()|(RPEPERPEPERPSRP后验概率P(R|S)的计算-4当P(E|S)为其它值（非0，非1，非P(E)）时，则需要通过分段线形插值计算：1)|()()],()|([)(1)()|()()()|(0),|()()|()()|()|(SEPEPEPSEPEPRPERPRPEPSEPSEPEPERPRPERPSRP当当公式8后验概率P(R|S)的线性插值图)|(SRP)|(SEP)(RP)(EP)|(ERP)|(ERP1杜达公式的说明P(E|S)–由用户给定，但是P(E)和P(E|S)很难区分和取值解决方法:替代法–对于原始证据，由用户给定可信度C(E|S)，对应P(E|S)–C(E|S)取值从-5到5的整数)|(SEP)|(SEC)(EP-5-4-3-2-1012345P(E|S)=1P(E|S)=00)|(),|(51))()|(()(0)|(),1)|(51()|()(()|()|(SECSECRPERPRPSECSECERPRPERPSRP此时公式8变换为公式9公式93.推理模型一.组合证据不确定性的计算–组合证据为多个证据的合取时,即E=E1ANDE2AND…En–组合证据为多个证据的析取时,即E=E1ORE2OR…En)}(),...,(),(min{)(21nECFECFECFECF)}(),...,(),(max{)(21nECFECFECFECF二.证据不确定性的传递(1)对于叶结点证据E的传递该公式基于R-E-S的推理链0)|(),|(51))()|(()(0)|(),1)|(51()|()(()|()|(SECSECRPERPRPSECSECERPRPERPSRP公式9RES叶结点不确定性的传递三.结论不确定性的合成–n条规则都支持同一结论R,–这些规则的前提条件E1,E2,…,En相互独立–每个证据所对应的观察为S1,S2,…,Sn先计算O(R|Si)，然后再计算所有观察下，R的后验几率计算方法:(公式11))()()|()()|()()|(),,,|(2121ROROSROROSROROSROSSSROnn例题设有如下规则：–规则1:IFE1THEN(2,0.001)R–规则2:IFE2THEN(100,0.001)R–且O(R)=0.1,C(E1|S1)=2,C(E2|S2)=1试画出推理树，并计算O(R|S1,S2)RE1S1E2S2推理树2)1|1(SEC1)2|2(SEC)001.0,2()01.0,100(1.0)1(ROP(R|S1,S2)O(R|Si)P(R|Si)公式9解题步骤：(1)先计算P(R|S1),并计算O(R|S1);–利用公式2，公式5，公式9(2)两条规则支持同一个结论，计算O(R|S1,S2);–利用公式1114.0122.01122.0)1|(1)1|()1|(122.0251)09.017.0(09.0)1|1(51))()1|(()()1|(0)1|1(17.01.0211.02)(11)(1)1|(09.01.011.0)(1)()()|()|(1SRPSRPSROSECRPERPRPSRPSECROLSROLSERPRORORPSiROSiRP所以因为和：计算步骤43.0542.01542.0)2|(1)2|()2|(542.0151)09.019.0(09.0)2|2(51))()2|(()()2|(0)2|2(91.01.010011.0100)(21)(2)2|(SRPSRPSROSECRPERPRPSRPSECROLSROLSERP所以因为476.01.01.034.01.0139.0)()()2|()()1|()2,1|()2,1|(:2ROROSROROSROSSROSSRO规则的合成，计算步骤小结主观Bayes方法（条件概率）–当一个事件发生后，先验概率如何转变为后验概率–推理前知道结论的先验概率信息证据不确定时，必须采用杜达等人推导的公式:–P(R|S)=P(R|E)×P(E|S)+P(R|﹁E)×P(﹁E|S)传递公式:公式9和公式10设有如下规则：–规则1:IFE1THEN(2,0.1)R–规则:IFE2THEN(10,1)R–且P(R)=0.01,C(E1|S1)=2,–试根据主观Bayes方法，计算O(R|S1,S2)练习练习设有如下规则：–规则1:IFE1THEN(2,0.1)R–规则2:IFE2THEN(100,0.1)R–且已知O(R)=0.1,C(E1|S1)=3,C(E2|S2)=-1,试用主观Bayes方法计算：O(R|S1,S2)=?