人工智能第5章不确定性推理

不确定性推理方法非经典逻辑和非经典推理与经典逻辑和经典推理的区别•推理方法上，经典逻辑采用演绎逻辑推理，非经典逻辑采用归纳逻辑推理。•辖域取值上，经典逻辑都是二值逻辑，而非经典逻辑都是多值逻辑。•运算法则上，非经典逻辑背弃了经典逻辑的一些重要特性。•逻辑算符上，非经典逻辑具有更多的逻辑算法。•经典逻辑是单调的，引用非单调逻辑进行非单调推理是非经典逻辑与经典逻辑的又一重要区别。内容简介5.1概述5.2概率论基础5.3贝叶斯网络5.4主观贝叶斯方法5.5确定性方法5.6证据理论（D-Stheory）5.1概述人类的知识和思维行为中，确定性只是相对的，不确定性才是绝对的。智能主要反映在求解不确定性问题的能力上。推理是人类的思维过程，是从已知实事出发，通过运用相关的知识逐步推出某个结论的过程。不确定性推理是指建立在不确定性知识和证据的基础上的推理，是从不确定性的初始证据出发，通过运用不确定性的知识，最终推出具有一定程度的不确定性但却是合理或者近乎合理的结论的推理过程。5.1.1不确定性不确定性推理方法产生的原因很多原因导致同一结果；推理所需信息不完备；背景知识不足；信息描述模糊；信息中含有噪声；推理能力不足；解题方案不唯一等。不确定性的性质随机性；模糊性；不完全性；时变性不确定性的存在不确定推理中，规则前件（证据）、后件（结论）以及规则本身在某种程度上都是不确定的。证据的不确定性、规则的不确定性、推理的不确定性5.1.1不确定性证据规则推理证据是智能系统的基本信息，是推理的依据。歧义性、不完全性、不精确性、模糊性、可信性、随机性、不一致性通常来源于专家处理问题的经验，存在着不确定性因素。证据组合、规则自身、规则结论规则之间的冲突影响、不确定的参数、优先策略由于知识不确定性的动态积累和传播过程所造成的。推理过程要通过某种不确定的度量，寻找尽可能符合客观世界的计算，最终得到结论的不确定性度量。5.1.2不确定性推理的基本问题基于规则的专家系统中，不确定性表现在证据、规则和推理3个方面，需要对专家系统中的事实（证据）和知识（规则）给出不确定性描述，并在此基础上建立不确定性的传递计算方法。因此，要实现对不确定性知识的处理，必须解决不确定知识的表示问题，不确定信息的计算问题，以及不确定表示和计算的语义解释问题。表示问题指用什么方法描述不确定性，这是解决不确定性推理关键的一步。通常有数值表示和非数值的语义表示方法。知识的不确定性表示(A→B)：P(B,A)证据的不确定性表示(A)：P(A)计算问题指不确定性的传播和更新，即获得新的信息的过程。不确定性的传递问题：已知规则A→B，P(A)和P(B,A)，如何计算结论P(B)结论不确定性的合成：用不同的知识进行推理得相同结论，但可信度度量不同，如P1(A)和P2(A)，如何计算最终的P(A)组合证据的不确定性算法：已知证据A1和A2的可信度度量P(A1)、P(A2)，求证据析取和合取的可信度度量P(A1∧A2)和P(A1∨A2)初始命题的不确定性度量一般由领域内的专家从经验得出。语义问题指如何解释上述表示和计算的含义。对于规则P(B,A)：A(T)→B(T)，P(B,A)=?A(T)→B(F)，P(B,A)=?B独立于A，P(B,A)=?对于证据P(A)：A为T，P(A)=?A为F，P(A)=?5.1.3不确定性推理方法的分类形式化逻辑法：多值逻辑、非单调逻辑新计算法：证据理论、确定性方法、模糊方法新概率法：主观Bayes方法、Bayes网络方法非形式化在控制策略一级处理不确定性，其特点是通过识别领域中引起不确定性的某些特征及相应的控制策略来限制或减少不确定性对系统产生的影响。分为工程法、控制法、并行确定性法在推理一级上扩展确定性推理，其特点是把不确定的证据和不确定的知识分别与某种度量标准对应起来，并且给出更新结论不确定性的算法。内容简介5.1概述5.2概率论基础5.3贝叶斯网络5.4主观贝叶斯方法5.5确定性方法5.6证据理论（D-Stheory）5.2.1随机事件随机事件的定义样本空间的定义一个随机实验的全部可能出现的结果的集合，通常记作Ω，Ω中的点称为样本点，通常记作ω。随机实验的定义一个可观察结果的人工或自然的过程，其产生的结果可能不止一个，且不能事先确定会产生什么结果。一个随机实验的一些可能结果的集合，是样本控件的一个子集，常用大写字母A，B，C，…表示。简称为事件。事件常用一句话描述，当实验结果属于某事件所对应的子集时，称该事件发生。例如将一枚硬币连掷两次，观察硬币落地后是花面向上还是字面向上。分析这是一个随机实验，用H记花面向上，W记字面向上，则共有4个可能出现的结果：样本点ω1=HHω2=HWω3=WHω4=WW样本空间Ω=｛ω1ω2ω3ω4｝事件A=“花面字面各出现一次”=｛ω2,ω3｝B=“第一次出现花面”=｛ω1,ω2｝C=“至少出现一次花面”=｛ω1,ω2,ω3｝D=“至多出现一次花面”=｛ω2,ω3,ω4｝两个事件A与B可能有以下几种特殊关系包含：若事件B发生则事件A也发生，称“A包含B”，或“B含于A”，记作A⊃B或B⊂A等价：若A⊃B且B⊂A，即A与B同时发生或同时不发生，则称A与B等价，记作A=B互斥：若A与B不能同时发生，则称A与B互斥，记作AB=φ对立：若A与B互斥，且必有一个发生，则称A与B对立，记作A=~B或B=~A，又称A为B的余事件，或B为A的余事件事件间的关系任意两个事件不一定会是上述几种关系中的一种。事件间的运算设A，B，A1，A2，…An为一些事件，它们有下述的运算•交：记C=“A与B同时发生”，称为事件A与B的交，C={ω|ω∈A且ω∈B}，记作C=A∩B或C=AB。类似地用∩Ai=A1A2…An表示事件“n个事件A1,A2,…An同时发生”。•并：记C=“A与B中至少有一个发生”，称为事件A与B的并，C={ω|ω∈A或ω∈B}，记作C=A∪B。类似地用∪Ai=A1∪A2∪…∪An表示事件“n个事件A1,A2,…An中至少有一个发生”。•差：记C=“A发生而B不发生”，称为事件A与B的差，C={ω|ω∈A但ωB}，记作C=A\B或C=A-B。•求余：~A=Ω\A事件运算的性质–交换率：–结合律：–分配律：–摩根率：•事件计算的优先顺序为：求余，交，差和并。11~()~nniiiiAA11~()~nniiiiAABAAB)()(BCACABA∪B=B∪A(A∪B)∪C=A∪(B∪C)(A∪B)C=(AC)∪(BC)(AB)∪C=(A∪C)(B∪C)5.2.2事件的概率•设Ω为一个随机实验的样本空间，对Ω上的任意事件A，规定一个实数与之对应，记为P(A)，满足以下三条基本性质，称为事件A发生的概率：–0≤P(A)≤1–P(Ω)=1，P(φ)=0–若二事件AB互斥，即AB=φ,则P(A∪B)=P(A)+P(B)•以上三条基本规定是符合常识的。例如设一个随机实验两个可能，记为ω0,ω1，则所有可能的事件只有4个：Ω={ω0,ω1},{ω0},{ω1},空集φ概率的性质•定义：设{An,n=1,2,…}为一组有限或可列无穷多个事件，两两不相交，且，则称事件族{An,n=1,2,…}为样本空间Ω的一个完备事件族•又若对任意事件B有BAn=An或φ,n=1,2,…，则称{An,n=1,2,…}为基本事件族•完备事件族与基本事件族有如下的性质：定理：若{An,n=1,2,…}为一完备事件族，则且对于一事件B有•又若{An,n=1,2,…}为一基本事件族，则nnA1)(nnAPnnBAPBP)()(BAnnAPBP)()(事件A出现的概率描述为：n是进行试验的总次数，m是试验中事件A发生的次数。nmAfn)(事件A的统计概率如果事件A出现的频率fn(A)总是在区间[0,1]上的一个确定常数p附近摆动，并且稳定于p，则称p为事件A的统计概率。统计概率的性质•对任意事件A，有0≤P(A)≤1•必然事件Ω的概率P(Ω)=1，不可能事件φ的概率P(φ)=0•对任意事件A，有P(~A)=1-P(A)•设事件A1，A2，…An（k≤n）是两两互不相容的事件，即有，，则•设A，B是两事件，则P(A∪B)=P(A)+P(B)-P(A∩B)121()()()...()kikiPAPAPAPA)(jiAAji条件概率•定义：设A，B为事件且P(A)0，称为事件A已发生的条件下，事件B的条件概率，P(A)在概率推理中称为边缘概率。•简称P(B|A)为给定A时B发生的概率。P(AB)称为A与B的联合概率。有联合概率公式：P(AB)=P(B|A)P(A))()()|(APABPABP事件B的条件概率设B与A是某个随机实验中的两个事件，如果在事件A发生的条件下，考虑事件B发生的概率，就称它为事件B的条件概率。条件概率例子•袋子中有白球2个黑球3个，从中依次取出2个，求取出两个都是白球的概率条件概率的性质•0≤P(B|A)≤1•P(Ω|A)=1，P(φ|A)=0•若B1B2=φ，则P(Bi+Bj|A)=P(Bi|A)+P(Bj|A)•乘法公式：P(AB)=P(A)P(B|A)•全概率公式：设A1，A2，…An互不相交，，且P(Ai)0,i=1,2,…,n，则对于任意事件A有P(A)=∑iP(Ai)P(A|Ai))...|()...|()|()()...(12121312121nnnAAAAPAAAPAAPAPAAAPiiA全概率例子•某商场出售的灯泡来自甲、乙、丙三个工厂，甲厂产品占80%，合格率为90%，乙厂产品占10%，合格率为95%，丙厂产品占10%，合格率为80%。某顾客购买了一灯泡，求它是合格品的概率。联合概率•可按条件概率链表达一个联合概率•其一般规则形式为：)()|()|()|()(DPDCPCDBPBCDAPABCDPniiiinAAAAPAAAP112121)...|()...(事件的独立性•设A，B为两个事件，满足P(AB)=P(A)P(B)，则称事件A与事件B是相互独立的，简称A与B独立。•事件独立的性质–若P(A)=0或1，则A与任一事件独立–若A与B独立，且P(B)0，则P(A|B)=P(A)–若A与B独立，则A与~B，~A与B，~A与~B都是相互独立的事件对N个事件相互独立性•设A1，A2，…An为n个事件，满足下述条件：–1≤ij≤n,–1≤ijk≤n,……–则称事件A1，A2，…An相互独立•N个事件相互独立的性质)()...()()...(njinjiAPAPAPAAAP)()()(jijiAPAPAAP)()()()(kjikjiAPAPAPAAAP5.2.3贝叶斯定理•设A，B1，B2，…，Bn为一些事件，P(A)0，B1，B2，…，Bn互不相交，P(Bi)0,i=1,2,…,n，且，则对于k=1,2,…,n，•贝叶斯公式容易由条件概率的定义，乘法公式和全概率公式得到。在贝叶斯公式中，P(Bi),i=1,2,…,n称为先验概率，而P(Bi|A)i=1,2,…,n称为后验概率也是条件概率。iiikkkBAPBPBAPBPABP)|()()|()()|(1)(iiBP5.2.4信任几率•P(B|A)可被解释为当A成立时B的可信度。•概率适用于重复事件，而似然性适用于表示非重复事件中信任的程度。•在某事件A的前提下，事件发生B与不发生~B的概率的相对比值称作几率Ο，其定义为：，为后验几率•事件X的几率，称为先验几率)|(1)|()|(ABPABPAB)(~)()(XPXPX内容简介5.1概述5.2概率论基础5.3贝叶斯网络5.4主观贝叶斯方法5.5确定性方法5.6证据理论（D-Stheory）5.3.1贝叶斯网络基本概念贝叶斯网络：•一系列变量的联合概率分布的图形表示。•一个表示变量之间的相互依赖关系的数据结构；图论与概率论的结合。•两个部分–贝叶斯网络结构图，这是一个有向无环图（DAG:DirectedAcyclicG