第三章-贝叶斯决策

1第三章贝叶斯决策贝叶斯公式基于最小错误率的贝叶斯决策基于最小风险的贝叶斯决策在限定一类错误率条件下使另一类错误率为最小的两类别决策最小最大决策关于贝叶斯决策的探讨2)|(1wxp)|(2wxp类条件概率密度贝叶斯公式3用一个癌细胞识别的例子说明解决问题的过程。假设每个要识别的细胞已做过预处理，抽取出d个表示细胞基本特性的特征，成为一个d维空间的向量x，识别的目的是要将x分类为正常或异常细胞。贝叶斯公式4)|(1wxp)|(2wxp类别的状态用一个随机变量表示，表示正常，表示异常时。，是状态的先验概率。是正常状态下细胞特征x的类条件概率密度。是异常状态下细胞特征x的类条件概率密度。类条件概率密度)|(1wxp)|(2wxpw)(1wp)(2wp1ww=2ww=贝叶斯公式5贝叶斯公式利用贝叶斯公式可求出状态的后验概率。基于最小错误率的贝叶斯决策规则为：如果，x归类于正常状态，反之,如果，x归类于异常状态。å==21)()|()()|()|(jjjiiiPxpPxpxP)|(2xPw)|(2xPw)|(1xPw)|(1xPw1w2w)22(则),|(max)|(如果上面规面规则可简写2,1-Î==ijjixxPxP)|(1xpw)|(2xpw后验概率贝叶斯公式7利用贝叶斯公式(2-1)还可以得到几种最小错误率贝叶斯决策规则的等价形式：（2）如果上式利用贝叶斯公式代入（2-2）消去共同的分母而得出的。（3）若其中l(x)在统计学中称为似然比，而称为似然比阈值。)32(则),()|(max)()|(2,1-Î==ijjjiixPxPPxp)42(,)()()|()|()(211221-îíìÎ=则)(/)(12wwPP贝叶斯公式8)52(则,)()(ln)|(ln)|(ln)](ln[)(若122121-îíìÎ+-=-=（4）对式（2-4）的l(x)取自然对数的负值，可写为上式中h(x)是把似然比写成负对数的形式，他在计算时比利用式（2-4）似然比本身更为方便。贝叶斯公式9基于最小错误率的贝叶斯决策在对于一个问题，如果使用前述后验概率进行决策（分类）：1、在这个思路下，默认为将本应属于第一类的样本（对象）错分为第二类、将本应属于第二类的样本（对象）错分为第一类，都是重要性相同的错误2、实际上追求的是分类的总错误率最小。理论上，也可以做到总的分类错误率最小3、将利用后验概率进行决策（分类）的规则，成为基于最小错误率的贝叶斯决策10假设在某个局部地区细胞识别中正常和异常两类的先验概率分别为正常状态：异常状态：现有一待识别的细胞，其观察值为x，从类条件概率密度分布曲线上查得试对该细胞x进行分类。)(1w)(2w9.0)(1=wP1.0)(2=wP4.0)|(,2.0)|(21==wwxpxp基于最小错误率的贝叶斯决策的一个例子11解：利用贝叶斯公式，分别计算出及的后验概率1w2w182.0)|(1)|(818.01.04.09.02.09.02.0)()|()()|()|(1221111=-==´+´´==å=xPxPpxppxpxPjjj根据贝叶斯决策规则（2-2），有182.0)|(818.0)|(21==xPxPww所以合理的决策规则是把x归类于正常状态。基于最小错误率的贝叶斯决策的一个例子12从这个例子可见，决策结果取决于实际观察到的类条件概率密度和先验概率两者。在这个例子中由于状态1的先验概率比状态2的先验概率大好几倍，使先验概率在作出决策中起了主导作用。我们在前面只是给出了最小错误率贝叶斯决策规则，但尚未证明按这种规则进行分类确实使错误率最小。现在仅以一维情况来完成这一证明，其结果不难推广到多维。基于最小错误率的贝叶斯决策的一个例子13所谓错误率是指平均错误率，以P(e)表示，其定义为（2-6）其中表示在整个d维空间上的积分。令t为两类的分界面，则在特征向量x是一维时，t是x轴上一个点，且将x轴分为两个区域。，这样就有òò+¥¥-+¥¥-==dxxpxePdxxePeP)()|(),()(ò+¥¥-dx()ïîïíì=)|()|(),|()|()|(),|()|(212121xPxPxPxPxPxPxeP),(),,(21¥-¥tRtR为为错误率--证明按后验概率决策规则实现的分类可是使得错误率最小14)92()()()()()|()()|()()()|()()|(),(),()()82()()|()()|()()|()()|()(11221122112221122111221221-+=+=Î+Î=Î+Î=-+=+=òòòòòò¥¥-¥¥-ePPePPdxxPPdxxPPPRxPPRxPRxPRxPePdxPxPdxPxPdxxpxPdxxpxPePRRtttt中斜线面积为，纹线面积，两者之和为。以上讨论可推广到d维特征空间的情况。决策规则式（2-2）实际是对每个x都使取小者，这就使（2-6）的积分也必然达到最小，即使平均错误率达到最小。这就证明了最小错误率的贝叶斯决策规则确实使错误率最小。)()(11ePPw)()(22ePPw)(eP)|(xeP)(eP错误率--证明按后验概率决策规则实现的分类可是使得错误率最小17在多类决策过程中（假设有c类），很容易写出相应的最小错误率的贝叶斯决策规则。如果利用贝叶斯定理也可以将其写成先验概率和类条件概率相联系的形式，即如果[多类别决策过程中，要把特征空间分割成个区域，可能错分的情况很多，平均错误概率将由c(c-1)项组成。即)102(),|(max)|(,,1-Î==ijcjixxPxP则!)112(则),()|(max)()|(，,1-Î==ijjcjiixPxPPxp!cRRR，，，!21)(eP错误率--证明按后验概率决策规则实现的分类可是使得错误率最小18åå=¹=-Î=Î++Î+Î+Î++Î+Î+Î++Î+Î=cicijjiijcccccccPRxPPRxPRxPRxPPRxPRxPRxPPRxPRxPRxPeP11121222321111312)()]|()()]|()|()|([)()]|()|()|([)()]|()|()|([)(!!!!!C行每行c-1项可见直接求的计算量较大。)(eP错误率--证明按后验概率决策规则实现的分类可是使得错误率最小19如果我们代之计算平均正确分类概率，则式中求和号内只有c项而，比直接计算要简单得多。])(cP)(eP)(1)(cPeP-=)122()()|()()|()(11-=Î=åòå==dxPxpPRxPcPcjjRjcjjjji基于最小风险的贝叶斯决策如上所述在模式分类的决策中，使错误率达到最小是重要的。但实际上有时需要考虑一个比错误率更为广泛的概念--风险，而风险又是和损失紧密相连的。以癌症诊断为例，诊断中，正常细胞被误判成异常细胞会给病人带来精神负担，而异常细胞若被误判正常细胞则可能造成早期患者失去进一步检查治疗的机会，这两种误判有不同程度的损失，但显然后者的损失比前者更严重。最小风险贝叶斯决策正是考虑各种错误造成损失不同而提出的一种决策规则。下面用决策论的观点进行讨论。21在决策论中称采取的决定为决策或行动（预测），所有可能采取的各种决策组成的集合称决策空间或行动空间。而每个决策都可能带来一定损失（决策对了，损失很小或者损失为0）。我们可以用损失系数表来表示以上的关系。基于最小风险的贝叶斯决策22损失系数表状态损失决策实际状态1a2aiaaa1w2wjwcw••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••),(11wal),(21wal),(1jwal),(1cwal),(12wal),(1wali),(1wala),(2wala),(cawal),(jawal),(22wal),(2wali),(2jwal),(ciwal),(2cwal),(jiwal基于最小风险的贝叶斯决策23以上概念可用数学符号表示，我们设（1）观察x是d维随机向量其中为d维随机变量。（2）状态空间由个自然状态（c类）组成。（3）决策空间由个决策组成。这里与c不同是由于除了对c个类别有c种不同的决策外，还允许采取其他决策，如采取“拒绝”的决策，这时就有a=c+1。Tdxxxx],,[21!=dxxx!,,21},,,{21c!=WWaii,,2,1,!=a},,,{21aAaaa!=aa基于最小风险的贝叶斯决策24cjaiji,,2,1;,,2,1),,(!!==wal)142()()|()()132()()()|()|(21-=-=å=iiijjjPxpxpxpPxpxP由于引入了“损失”的概念，在考虑错判所造成的损失时，就不能只根据后验概率的大小来作决策，而必须考虑所采取的决策是否使损失最小。对于给定的x，如果我们采取决策,从损失系数表可见，对应于决策𝛂i，（理论上）𝛌可以在c个值中任取一个，其相应后验概率为。因此在采取决策𝛂i情况下的条件期望损失为iacjji,,2,1),,(!=wal)|(xpjw[]）（152)|(),()()|(1,-==å=xPExRjjcjijiiwwalwala基于最小风险的贝叶斯决策26在决策论中又把采取决策𝛂i的条件期望损失称为条件风险。由于x是随机向量的观察值，对于x的不同取值，采取决策𝛂i时，其条件风险的大小是不同的。所以，究竟采取哪一种决策将随x的具体取值而定。这样决策𝛂可以看成随机向量x的函数，记为𝛂(x)，它本身也是一个随机向量，我们可以定义期望风险R为式中dx是d维特征空间的体积元，积分是在整个特征空间进行。注意：2-16期望风险公式是一个理论表达式)|(xRiaò-=)162()()|)((dxxpxxRRa基于最小风险的贝叶斯决策27期望风险R反映对整个特征空间上所有x的取值采取相应的决策所带来的平均风险；而条件风险只是反映了对某一具体的x采取决策所带来的风险。显然我们要求采取的一系列决策行动使期望风险R最小。在考虑错判带来的损失时，我们希望期望损失最小。如果在采取每一个决策或行动时，都使其条件风险最小，则对所有的x作出决策时，其期望风险也必然最小。这样的决策就是最小风险贝叶斯决策。我们希望追求的，是期望风险R最小，但无法直接做到。改为：对每一个具体的x，我们追求其条件风险最小。通过这种方式，间接实现期望风险R最小。这是一个更“紧”的思路。)|(xRia)(xa)(xaia基于最小风险的贝叶斯决策28最小风险贝叶斯决策规则如果=，则我们就应该做出决策：𝛂=𝛂k对于实际问题，最小风险贝叶斯决策可按下列步骤进行；（1）在已知P(),,j=1,…,c及给出待识别的x的情况下，根据贝叶斯公式计算出后验概率：，，j=1,…,c（2）利用计算出的后验概率及决策表，按下式计算出采取，i=1,…,a的条件风险，i=1,…,a（3）对（2）中得到的a个条件风险值进行比较，找出使条件风险最小的决策，即=则就是最小风险贝叶斯决策。)|(xRkaai,...1min=)|(xRiajw)|(jxpw)|(xpjwia[])|(),()()|(1,xPExRjjcjijiiwwalwalaå===)|(xRiaka)|(xRka)|(xRiaai,...1min=ka29再给一个例子：在上一个例子的条件（已知先验概率、两类的类条件概率密度、给定了具体的x，可计算出x属于两类的后验概率）的基础上，利用表