贝叶斯推理(1)

贝叶斯推理概述贝叶斯推理是一种统计融合算法，主要是基于贝叶斯法则来进行推理的。该方法需要根据观测空间的先验知识来实现对观测空间里的物体的识别。在给定证据的条件下，贝叶斯推理能提供一种计算条件概率即后验概率的方法。一.贝叶斯法则)()()|(HpEHpHEp)|(HEp1.条件概率假设在某一条件H发生的条件下，求任意另一事件E发生的概率，可以用如下公式：（1）我们称为在发生事件H的条件下事件E的概率。2.乘法公式将（1）式改写成如下形式：)()|()(HPHEpEHp（2）我们将此公式称为概率的乘法公式。3.全概率公式假设事件的并集是整个样本空间，即nHHH,,,21是事件jH交集的并集，即：nHHH,,,21H的一个划分，则任一事件E可以表示为与所有假设事件nEHEHEHE21(3)因为各jEH是互斥的，所以可以把各jEH所对应事件的概率求和：njjEHPEP1)()(（4）在式（2）中用jHH代替njjjHPHEPEP1)()|()(，并对所有的j求和，代入式（4）中，有：（5）上式即为全概率公式。4.贝叶斯法则在贝叶斯推理中，我们主要关心的是在给定证据E的情况下，假设事件jH)()()|(EPEHPEHPiijjjiiiHPHEPHPHEPEHP)()|()()|()|(发生的概率，可用如下的数学式子表示：（6）将式（2）和式（5）代入式（6）中，就导出了贝叶斯推理法则：（7）)|(EHPi)|(iHEP)(iHPjjjHPHEP)()|(式中——在给定证据E的情况下，假设事件iH发生的后验概率；——在假设事件iH发生的条件下证据E出现的概率；——假设事件iH发生的先验概率；——出现证据E的全概率，即在各假设事件iH都可能发生的情况下，证据E出现的概率和。贝叶斯公式举例例：某工厂有4条流水线生产同一种产品，4条流水线的产量分别占总产量的15%，20%，30%，35%，且这4条流水线的不合格品率依次为0.05，0.04，0.03及0.02。（1）现在从该厂产品中任取一件，问恰好抽到不合格品的概率为多少？（2）若该厂规定，出了不合格品要追究有关流水线的经济责任。现在在出厂产品中任取一件，结果为不合格品，但该件产品是哪一条流水线生产的标志已脱落，问厂方如何处理这件不合格品比较合理？第4条流水线应该承担多大责任？解：（1）设：A=｛任取一件，恰好抽到不合格品｝；=｛任取一件，恰好抽到第i条流水线的产品｝（i=1，2，3，4）；于是由全概率公式可得：其中，由题意可知，分别为0.05，0.04，0.03及0.02。在实际问题中，这些数据可以从过去生产的产品中统计出来。)|(iBAPiB。3.15%=0.0315=0.02×0.35+0.03×0.30+0.04×0.20+0.05×0.15)()|()(41iiiBPBAPAP（2）从贝叶斯推理的角度考虑，可以根据)|(ABPi41444)()|()()|()|(iiiBPBAPBPBAPABP007.035.002.0)()|(44BPBAP222.00315.0007.0)|(4ABP的大小来追究第i条流水线的经济责任。如对于第四条流水线，由贝叶斯公式可知：而：从而得：由此可知，第4条流水线应负22.2％的责任。同理可以计算出，第1，2，3条流水线分别负23.8％25.4%,28.6%的责任。二.用来自两个传感器的不同类型的量测数据提高矿物的检测率通过融合来自多个传感器的数据可以提高对矿物的检测率，这些传感器能够响应各独立物理现象所产生的信号，在这个例子中使用金属检测器和地下探测雷达这两种传感器就能达到此目的。金属检测器（MD）能检测出大于1cm且只有几克重的金属碎片的存在，地下探测雷达（GPR）能利用电磁波的差异从土壤和其他背景中发现大于10cm的物体。尽管金属检测器只能简单地区分物体是否含有金属，但是地下探测雷达却具有物体地分类功能，因为它能对物体地多个属性有所响应，如尺寸，形状，物体类型及内部结构等。可以用贝叶斯推理来计算被测物体是属于哪类的后验概率。因为这里主要检测矿物，所以简单地将物体的类别限定为矿物和非矿物。设矿物类为1O2O8.0)(2.0)(21OPOP非矿物类为。并假设：物体为矿物的概率为0.2物体为非矿物的概率为0.8并且假设金属检测器和地下探测雷达这两个传感器所观测到的数据均为：1：代表矿物0：代表非矿物再进一步假设：05.0)|1(9.0)|1(1.0)|1(8.0)|1(2121OPOPOPOPGPRGPRMDMD用贝叶斯方法来进行数据融合可以其过程如如下图所示:MDGPR传感器联合报表在T时间段内物体的类型在T－1时间段内物体的类型)O|(jMDP数据)|(jGPROP数据)|(jOP数据ijijOPOP)|()|(数据数据)()()|()|(数据数据数据POPOPOPjjj)()|()(jjOPOPP数据数据因为两传感器产生的信号相互独立，所以传感器联合报表概率为：其中，i即为MD和GPR。最后利用贝叶斯法则来计算物体是第j类的后验概率：其中：为全概率。)|()|(027.0)|(973.0005.08.02.072.02.072.0)|(005.005.01.0)|1()|1()|(72.09.08.0)|1()|1()|(1.121,111,121,112221,11111,1OPOPOPOPOPOPOPOPOPOPGPRMDGPRMD当观测到的数据为（1，1）时，计算可得：所以，根据贝叶斯推理可知，当观测到的数据为（1，1）时，可以判断该物体类型为矿物。)|()|(8261.0)|(1739.08.0095.02.008.02.008.0)|(095.095.01.0)|0()|1()|(08.01.08.0)|0()|1()|(0,110,120,120,112220,11110,1OPOPOPOPOPOPOPOPOPOPGPRMDGPRMD当观测到的数据为（1，0)时，计算可得：所以，根据贝叶斯推理可知，当观测到的数据为（1，0）时，可以判断该物体类型为非矿物。三.贝叶斯推理在过滤垃圾邮件中的应用贝叶斯推理在过滤垃圾邮件中也发挥着非常重要的作用，下面主要讲解一下贝叶斯过滤算法的基本步骤，然后再举一个简单的例子再次加深大家对贝叶斯推理的认识。贝叶斯推理在处理垃圾邮件过程中的基本步骤：1)收集大量的垃圾邮件和非垃圾邮件，建立垃圾邮件集和非垃圾邮件集；2)提取邮件主题和邮件体中的独立字串例如ABC32，￥234等作为TOKEN串并统计提取出的TOKEN串出现的次数即字频。按照上述的方法分别处理垃圾邮件集和非垃圾邮件集中的所有邮件；3)每一个邮件集对应一个哈希表，hashtable_good对应非垃圾邮件集，而hashtable_bad对应垃圾邮件集。表中存储TOKEN串到字频的映射关系；4)计算每个哈希表中TOKEN串出现的概率P=（某TOKEN串的字频）/（对应哈希表的长度）；5)综合考虑hashtable_good和hashtable_bad，推断出当新来的邮件中出现某个TOKEN串时，该新邮件为垃圾邮件的概率。数学表达式为：事件A----邮件为垃圾邮件;t1,t2……tn代表TOKEN串；则P（A|ti）表示在邮件中出现TOKEN串ti时，该邮件为垃圾邮件的概率。设P1（ti）：（ti在hashtable_good中的值）P2（ti）：（ti在hashtable_bad中的值）则P（A|ti）=P2（ti）/[（P1（ti）+P2（ti）]；6)建立新的哈希表hashtable_probability存储TOKEN串ti到P（A|ti）的映射；7)根据建立的哈希表hashtable_probability可以估计一封新到的邮件为垃圾邮件的可能性。当新到一封邮件时，按照步骤2）生成TOKEN串。查询hashtable_probability得到该TOKEN串的键值。假设由该邮件共得到N个TOKEN串，t1,t2…….tn,hashtable_probability中对应的值为P1，P2，……PN，P(A|t1,t2,t3……tn)表示在邮件中同时出现多个TOKEN串t1,t2……tn时，该邮件为垃圾邮件的概率。由复合概率公式可得P(A|t1,t2,t3……tn)=（P1*P2*……PN）/[P1*P2*……PN+（1-P1）*（1-P2）*……（1-PN）]当P(A|t1,t2,t3……tn)超过预定值时，就可以判断邮件为垃圾邮件。贝叶斯推理过滤垃圾邮件举例：例如：一封含有“法轮功”字样的垃圾邮件A和一封含有“法律”字样的非垃圾邮件B1)根据邮件A生成hashtable_bad,该哈希表中的记录为:法：1次轮：1次功：1次计算得在本表中：法出现的概率为0.3轮出现的概率为0.3功出现的概率为0.32)根据邮件B生成hashtable_good,该哈希表中的记录为：法：1律：1计算得在本表中：法出现的概率为0.5律出现的概率为0.53)综合考虑两个哈希表，共有四个TOKEN串：法轮功律4)当邮件中出现“法”时,该邮件为垃圾邮件的概率为：P=0.3/（0.3+0.5）=0。375出现“轮”时：P=0.3/（0.3+0）=1出现“功“时：P=0.3/（0.3+0）=1出现“律”时P=0/（0+0.5）=0；5)由此可得第三个哈希表:hashtable_probability其数据为：法：0.375轮：1功：1律：0当新到一封含有“功律”的邮件时，我们可得到两个TOKEN串:功律查询哈希表hashtable_probability可得P（垃圾邮件|功）=1P（垃圾邮件|律）=0此时该邮件为垃圾邮件的可能性为：P=（0*1）/[0*1+（1-0）*（1-1）]=0由此可推出该邮件为非垃圾邮件。本章小结•贝叶斯推理的优点:•1、使用贝叶斯推理融合算法与没有进行数据融合前相比,提高了推理的可信度；•2、不需要各传感器的概率密度函数,可以用主观概率代替事件的先验概率；•3、各传感器给出不同判决结果后,能够推理得到一个判决结果；•4、能够用测量结果对先验概率进行更新。•贝叶斯推理的缺点:•1、需要先验概率和似然函数•2、要求各个假设事件互斥•3、当多个假设事件和各事件条件相关时,计算复杂•4、不能处理不确定性问题可以从传统的条件概率，即假设某一证据发生时另一事件发生的概率来推导出贝叶斯法则。贝叶斯的条件概率公式由于以下几个原因而令人满意:首先当给定某一证据时，它能提供一种计算某一假设事件概率的方法。其次，贝叶斯公式允许嵌入一些关于假设事件发生的先验知识。最后，贝叶斯推理允许使用主观概率，这些主观概率包括假设事件发生的先验概率，以及在假设事件发生的条件下出现证据的概率（似然函数）。贝叶斯推理的最后这个特性使它能适用于多传感器的数据融合，因为它不需要各传感器的概率密度函数。然而，此时的处理结果只能接近输入是先验概率数据时的结果。作业:1.自己查阅三篇论文2.写一篇阅读五篇关于贝叶斯推理的参考文献的读后感3.准备讲述的ppt课件