第五章人工智能蔡自兴

《人工智能原理》第五章不确定性推理1第五章不确定性推理•概述•概率论基础•Bayes网络•主观Bayes方法•确定性方法•证据理论《人工智能原理》第五章不确定性推理2第五章不确定性推理•概述•概率论基础•Bayes网络•主观Bayes方法•确定性方法•证据理论《人工智能原理》第五章不确定性推理3概述•不精确思维并非专家的习惯或爱好所至，而是客观现实的要求。–很多原因导致同一结果–推理所需的信息不完备–背景知识不足–信息描述模糊–信息中含有噪声–规划是模糊的–推理能力不足–解题方案不唯一在人类的知识和思维行为中，精确性只是相对的，不精确性才是绝对的。知识工程需要各种适应不同类的不精确性特点的不精确性知识描述方法和推理方法。《人工智能原理》第五章不确定性推理4概述-表示的3方面问题•不确定问题的数学模型表示的3方面问题–表示问题：表达要清楚。表示方法规则不仅仅是数，还要有语义描述。–计算问题：不确定性的传播和更新。也是获取新信息的过程。《人工智能原理》第五章不确定性推理5不确定性推理例子例如，对于如下的推理过程：•R1：A1∧A2→B1•R2：A2∨A3→B2•R3：B1→B•R4：B2→B在描述这些规则时采用的都是不确定性知识表示方式《人工智能原理》第五章不确定性推理6推理树结果图A1A2A3ORANDB1B2BR1R2R3R4f1f4f3f2《人工智能原理》第五章不确定性推理7概述-表示的3方面问题–语义问题：将各个公式解释清楚。语义问题：如何解释表示和计算的含义，目前多用概率方法。如：f（B，A）可理解为当前提A为真时结论B为真的一种影响程度，C（A）可理解为A为真的程度。特别关心的是f（B，A）的值：(T：True，F：False)1）A(T)→B(T),f（B，A）=?2）A(T)→B(F),f（B，A）=?3）B独立于A，f（B，A）=?对C（A）关心的是：1）A为TRUE，C（A）＝？2）A为FALSE,C（A）＝？《人工智能原理》第五章不确定性推理8概述-分类（1）不确定性推理方法可分为形式化方法和非形式化方法。•形式化方法有逻辑法、新计算法和新概率法。•逻辑法是非数值方法，采用多值逻辑和非单调逻辑来处理不确定性。传统的有基于概率理论的贝叶斯网络等。•新计算法认为概率法不足以描述不确定性，从而出现了证据理论（也叫Dempster－Shafter，D-S方法），确定性方法（CF法）以及模糊逻辑方法。•新概率法试图在传统的概率论框架内，采用新的计算方法以适应不确定性描述。《人工智能原理》第五章不确定性推理9概述-分类（1）不确定性推理方法可分为形式化方法和非形式化方法。•非形式化方法是指启发性方法，对不确定性没有给出明确的概念。《人工智能原理》第五章不确定性推理10概述-分类（2）不确定推理方法：工程方法、控制方法和并行确定性法。•工程法是将问题简化为忽略哪些不确定性因素。•控制法是利用控制策略来消除不确定性的影响，如启发式的搜索方法。•并行确定性法是把不确定性的推理分解为两个相对独立的过程：一个过程不计不确定性采用标准逻辑进行推理；另一过程是对第一个过程的结论加以不确定性的度量。前一过程决定信任什么，后一过程决定对它的信任程度。《人工智能原理》第五章不确定性推理11第五章不确定性推理•概述•概率论基础•Bayes网络•主观Bayes方法•确定性方法•证据理论《人工智能原理》第五章不确定性推理12第五章不确定性推理•概述•概率论基础•Bayes网络•主观Bayes方法•确定性方法•证据理论《人工智能原理》第五章不确定性推理13概率论基础•概率论是研究随机现象中数量规律的科学。所谓随机现象是指在相同的条件下重复进行某种实验时，所得实验结果不一定完全相同且不可预知的现象.众所周知的是掷硬币的实验。•人工智能所讨论的不确定性现象，虽然不完全是随机的过程，但是实践证明，采用概率论的思想方法考虑能够得到较好的结果。在这节中我们简单给出概率论的基本概念和贝叶斯定理。《人工智能原理》第五章不确定性推理14概率论基础（随机事件）•随机实验：随机实验是一个可观察结果的人工或自然的过程，其产生的结果可能不止一个，且不能事先确定会产生什么结果。•样本空间：样本空间是一个随机实验的全部可能出现的结果的集合，通常记作Ω，Ω中的点（即一个可能出现的实验结果）成为样本点，通常记作ω。•随机事件：随机事件是一个随机实验的一些可能结果的集合，是样本空间的一个子集。常用大写字母A,B,C,…表示。《人工智能原理》第五章不确定性推理15概率论基础（事件间的关系与运算）•两个事件A与B可能有以下几种特殊关系：–包含：若事件B发生则事件A也发生，称“A包含B”，或“B含于A”，记作或。–等价：若且，即A与B同时发生或同时不发生，则称A与B等价，记作A=B。–互斥：若A与B不能同时发生，则称A与B互斥，记作AB=φ–对立：若A与B互斥，且必有一个发生，则称A与B对立，记作或，又称A为B的余事件，或B为A的余事件。•任意两个事件不一定会是上述几种关系中的一种。ABÉBAÌABÉBAÌAB=:BA=:《人工智能原理》第五章不确定性推理16概率论基础（事件间的关系与运算）•设A，B，A1，A2，…An为一些事件，它们有下述的运算：–交：记C=“A与B同时发生”，称为事件A与B的交，C={ω|ω∈A且ω∈B}，记作C=A∩B或C=AB。类似地用表示事件“n个事件A1,A2,…An同时发生”。1212...1...ninniAAAAAAA==乔?I《人工智能原理》第五章不确定性推理17概率论基础（事件间的关系与运算）•设A，B，A1，A2，…An为一些事件，它们有下述的运算：并：记C=“A与B中至少有一个发生”，称为事件A与B的并，C={ω|ω∈A或ω∈B}，记作C=A∪B。类似地用表示事件“n个事件A1,A2,…An中至少有一个发生”。121...niniAAAA==热U《人工智能原理》第五章不确定性推理18概率论基础（事件间的关系与运算）•设A，B，A1，A2，…An为一些事件，它们有下述的运算：–差：记C=“A发生而B不发生”，称为事件A与B的差，C={ω|ω∈A但}，记作C=A\B或C=A-B。–求余：AA\~BwÏ《人工智能原理》第五章不确定性推理19概率论基础（运算的性质）•事件的运算有以下几种性质：–交换率：–结合律：–分配律：–摩根率：•事件计算的优先顺序为：求余，交，差和并。ABBABAAB)()(CBACBA)()(BCACAB)()()(BCACCBA))(()(CBCACABiniiniAA~)(~11iniiniAA~)(~11《人工智能原理》第五章不确定性推理20概率论基础（概率定义）•定义：设Ω为一个随机实验的样本空间，对Ω上的任意事件A，规定一个实数与之对应，记为P(A)，满足以下三条基本性质，称为事件A发生的概率：–①②③若二事件A和B互斥，即，则•以上三条基本规定是符合常识的。1)(0AP，1)(P0)(P)()()(BPAPBAPABf=《人工智能原理》第五章不确定性推理21概率论基础（概率性质）•定义：设{An,n=1,2,…}为一组有限或可列无穷多个事件，两两不相交，且，则称事件族{An,n=1,2,…}为样本空间Ω的一个完备事件族，又若对任意事件B有BAn=An或φ,n=1,2,…，则称{An,n=1,2,…}为基本事件族。，nnA《人工智能原理》第五章不确定性推理22概率论基础（概率性质）•完备事件族与基本事件族有如下的性质：定理：若{An,n=1,2,…}为一完备事件族，则，且对于一事件B有又若{An,n=1,2,…}为一基本事件族，则，nnAnnBAPBP)()(BAnnAPBP)()(《人工智能原理》第五章不确定性推理23概率论基础（统计概率性质）•对任意事件A，有•必然事件Ω的概率P(Ω)=1，不可能事件φ的概率P(φ)=0•对任意事件A，有•设事件A1，A2，…An（k≤n）是两两互不相容的事件，即有，则•设A，B是两事件，则1)(0AP)(1)(~APAP)(...)()()(211kikiAPAPAPAP)()()()(BAPBPAPBAP()ijAAijf=枪《人工智能原理》第五章不确定性推理24概率论基础（条件概率）•定义：设A，B为事件且P(A)0，称为事件A已发生的条件下，事件B的条件概率，P(A)在概率推理中称为边缘概率。简称P(B|A)为给定A时B发生的概率。P(AB)称为A与B的联合概率。有联合概率公式：)()()|(APABPABP)()|()(APABPABP《人工智能原理》第五章不确定性推理25概率论基础（条件概率性质）••,•若,则•乘法公式：•全概率公式：设A1，A2，…An互不相交，，且，则对于任意事件A有1)|(0ABP1)|(AP0)|(AP21BB)|()|()|(2121ABPABPABBP)|()()(ABPAPABP)...|()...|()|()()...(12121312121nnnAAAAPAAAPAAPAPAAAPiiAniAPi,...,2,1,0)(iiiAAPAPAP)|()()(《人工智能原理》第五章不确定性推理26概率论基础（事件独立性）定义：设A,B为两个事件，满足P(AB)=P(A)P(B),则称事件A与事件B是相互独立的，简称A与B独立。事件独立性的性质有：①若P(A)=0或1，则A与任一事件独立；②若A与B独立，且P(B)0,则P(A|B)=P(A);③若A与B独立，则A与～B，～A与B，～A与～B都是相互独立的事件对；《人工智能原理》第五章不确定性推理27概率论基础（事件独立性）定义：设A1,A2,…An为n个事件，满足下述条件：P(AiAj)=P(Ai)P(Aj)1≤ij≤nP(AiAjAk)=P(Ai)P(Aj)P(Ak)1≤ijk≤n……P(AiAj…An)=P(Ai)P(Aj)…P(An)则称事件A1,A2,…An相互独立。N个事件相互独立的性质有：①若n个事件A1,A2,…An相互独立，则对于mn,其中任意m个事件也是相互独立的。②若n个事件A1,A2,…An相互独立，则对于0≤m≤n,其中任意m个事件与其余n-m个事件的对立事件构成n个相互独立的事件。《人工智能原理》第五章不确定性推理28概率论基础（贝叶斯定理）•设A，B1，B2，…，Bn为一些事件，P(A)0，B1，B2，…，Bn互不相交，P(Bi)0,i=1,2,…,n，且，则对于k=1,2,…,n，有：贝叶斯公式容易由条件概率的定义、乘法公式和全概率公式得到。在贝叶斯公式中，P(Bi),i=1,2,…,n称为先验概率，而P(Bi|A)i=1,2,…,n称为后验概率也是条件概率。1)(iiBPiiikkkBAPBPBAPBPABP)|()()|()()|(《人工智能原理》第五章不确定性推理29概率论基础（贝叶斯定理），•贝叶斯原理的含义可解释如下：B1，B2，…，Bn为n个互不相容的“原因”，而A为“结果”，在实际问题中，“原因”发生的概率(P(A|Bi))(也是条件概率)都是可以事先估计的,则可以用贝叶斯反过来计算已知“结果”的某一“原因”产生的条件概率(P(Bk|A)).当某个P(Bk|A)比较大时，则一观察到A就首先考虑到是由Bk引起的；另一方面，即使P(Bk|A)的值不大，但它与P(Bk)相比大大增加了，这现象说明Bk与A有很紧密的联系，因而需要加以充分的重视。《人工智能原理》第五章不确定性推理30第五章不确定性推理•概述•概率论基础•Bayes网络•主观Bayes方法•确定性方法•证据理论《人工智能原理》第五章不确定性推理31第五章不确定性推理•概述•概率论基础•Bayes网络•主观Bayes方法•确定性方法•证据理论《人工智能原理》第五章不确定性推理32贝叶