模式识别-第二章 - 贝叶斯决策理论1

第三讲贝叶斯决策理论参考书：中文教材：第二章p9-34，p42-432011-2012学年第二学期第二章贝叶斯决策理论2第二章贝叶斯决策理论2.1引言2.2贝叶斯决策理论2.3最小错误率分类2.4最小风险决策2.5分类器、判别函数及决策面2.6正态密度2.7正态分布的判别函数2.8错误率与积分第三讲第四讲第二章贝叶斯决策理论3知识点52贝叶斯理论总结153贝叶斯理论总结254贝叶斯理论总结355贝叶斯理论总结4TheBayesianclassifierisoptimalwithrespecttominimizingtheclassificationerrorprobability.56贝叶斯理论总结5.57贝叶斯理论总结6.58证明：错误概率最小在C类别情况下，很容易写成相应的最小错误率贝叶斯决策规则也可将其写成用先验概率与类条件概率密度相联系的形式，得：如果59证明：错误概率最小至于计算多类别决策过程中的错误率，需把特征空间分割成R1，R2，…，Rc个区域，在每个区域Ri统计将所有其它类错误划为该区域对应的i类的概率，则每个区域共有c-1项错误率，总共有c(c-1)计算项，计算是很繁琐的。为此，可以改成计算平均正确分类概率P(c)即由于上式中只有c项，计算要简单得多。然后通过式子P(e)=1-P(c)，就可计算出平均错误率。60最小风险决策使错误率最小并不一定是一个普遍适用的最佳选择；根据不同性质的错误会引起不同程度的损失，这一考虑出发，我们宁肯扩大一些总的错误率，但也要使总的损失减少。——风险。在作出决策时，要考虑所承担的风险。--------基于最小风险的贝叶斯决策规则。61最小风险决策在分类时所作的判决(称之为决策)单纯取决于观测值X对各类(也称自然状态)的后验概率中之最大值，因而也就无法估计作出错误决策所带来的损失。为此不妨将作出判决的依据从单纯考虑后验概率最大值，改为对该观测值X条件下各状态后验概率求加权和的方式，表示成62最小风险决策我们见到一个病理切片X，要确定其中有没有癌细胞(用ω1表示正常，ω2表示异常)，则P(ω1|X)与P(ω2|X)分别表示了两种可能性的大小。如果X确实是癌细胞(ω2)，但被判作正常(ω1)，则会有损失，这种损失用表示，X确实是正常(ω1)，却被判定为异常(ω2)，则损失表示成，另外为了使式子写的更方便，我们也可以定义与，是指正确判断也可有损失。那么把X判作ω1引进的损失应该与以及都有关，哪一个占主要成分，则取决于P(ω1|X)与P(ω2|X)。因此变成了一个加权和63最小风险决策-概念(1)自然状态与状态空间。其中自然状态是指待识别对象的类别，而状态空间Ω则是由所有自然状态所组成的空间，Ω={ω1，ω2，…，ωc}(2)决策与决策空间。在决策论中，对分类问题所作的判决，称之为决策，由所有决策组成的空间称为决策空间。决策不仅包括根据观测值将样本划归哪一类别(状态)，还可包括其它决策，如“拒绝”等，因此决策空间内决策总数a可以不等于类别数c,表示成64最小风险决策-概念(3)损失函数λ(αi|ωj)(或写成λ(αi,ωj))。这就是前面我们引用过的。它明确表示对自然状态ωj，作出决策αi时所造成的损失。(4)观测值X条件下的期望损失R(αi|X),,i=1,2,…,a(2-14)Ri称为条件风险。最小风险贝叶斯决策规则可写成如,则α=αk65最小风险决策-概念引入一个期望风险R它表示对所有X取值所作的决策α(X)所带来的平均风险。与上一节证明基于最小错误概率的贝叶斯决策方法相类似，当所采取的每一个决策都使其条件风险最小，则对所有的X所作的决策，其期望风险也必然最小。66最小风险决策一般损失函数可由决策表给出：自然状态12…j…c1(1,1)(1,2)…(1,j)…(1,c)2(1,1)(2,2)…(2,j)…(2,c)…………………i(i,1)(i,2)…(i,j)…(i,c)…………………a(a,1)(a,2)…(a,j)…(a,c)损失决策状态67最小风险决策-步骤•计算后验概率。在已知P(ωi)，P(X|ωi)，i=1,…，c及给出待识别的X的情况下，计算后验概率：•计算风险：利用计算出的后验概率及决策表，计算出采取αi,i=1,…，a的条件风险•决策：得到的a个条件风险值R(αi|X),i=1,…，a进行比较，找出使条件风险最小的决策αk，即则αk就是最小风险贝叶斯决策。1(|)(|)(|)ciijjjRPxx，i=1,…,a1,,(|)(|)kiiaRRminxx1(|)()(|),,(|)()iiicjjjpPPi1cpPxxx68最小风险决策例题：假设在某个局部地区细胞识别中正常和异常两类的先验概率分别为0.9和0.1，现有一待识别的细胞，其观察值为x，从类条件概率密度分布曲线上查得试用最小错误率分类器对该细胞进行分类。4.0)/(2.0)/(21xpxp69最小风险决策解：利用贝叶斯公式，分别计算两类后验概率182.0)/(1)/(818.022.018.01.04.09.02.09.02.0)()/()()/()()/()()/()()/()/(1222111121111xPxPPxpPxpPxpPxpPxpxPjjj第二章贝叶斯决策理论70最小风险决策根据贝叶斯决策规则，因为P(1|x)＝0.818P(2|x)＝0.182所以，将x归类于正常状态。71最小风险决策在上述条件的基础上，利用下面的决策表，按最小风险贝叶斯决策进行分类。保守态度（延误病情损失严重）1210621072最小风险决策解：•由以上计算结果知后验概率为：P(1|x)＝0.818，P(2|x)＝0.182•再计算条件风险：类。为即判断，采取行动)/()/(818.0)/()/(092.1182.06)/()/()/()/(222112122121112111xxRxRxPxRxPxPxPxRjjj73最小风险决策改变决策表激进态度（误判有病损失严重）12101250第二章贝叶斯决策理论74最小风险决策解：类。为即判断，采取行动111212122121)/()/(09.4818.05)/()/(182.0)/()/(xxRxRxPxRxPxR第二章贝叶斯决策理论75分析-两种决策方法之间的关系设损失函数为假定对C类只有C个决策，即不考虑“拒绝”等其它情况，公式表明，当作出正确决策(即i=j)时没有损失，而对于任何错误决策，其损失均为1。这样定义的损失函数称为0—1损失函数。第二章贝叶斯决策理论76分析-两种决策方法之间的关系条件风险为也恰恰是将X判为ωi时的错误概率。因此基于最小风险的贝叶斯决策结果，在0—1损失函数情况下，也就是基于最小错误概率的贝叶斯决策结果。由此可见，最小错误率贝叶斯决策就是在0—1损失函数条件下的最小风险贝叶斯决策。换句话说，前者是后者的特例。实际上，因此，当最大时最小。第二章贝叶斯决策理论77分析-两种决策方法之间的关系如果我们只考虑两类别问题，并只有一维特征向量的情况，我们可以画出一张下图，用来表示最小风险贝叶斯决策方法的分类结果。第二章贝叶斯决策理论78贝叶斯决策理论将上述思想形式化，在以下四个方面进行扩展：•使用多种特征——标量变向量•类别数大于两个——处理多类问题•不仅仅只判断类别，还可以有其他行动——拒识•引入更一般的损失函数来代替错误概率——处理错误代价不相等的情况第二章贝叶斯决策理论79贝叶斯决策理论令{1,2,…,c}为c个类别的有限集合令{1,2,…,a}为a种可能采取的行动的有限集合令(i|j)为损失函数，表示类别是j时采取行动i所招致的损失令x为特征向量，它是一个d维随机变量令p(x|j)为类条件概率密度函数令P(j)为先验概率80贝叶斯决策理论后验概率可由贝叶斯公式计算得到其中：(|)()(|)()jjjpPPpxxx1()(|)()cjjjppPxx81贝叶斯决策理论假定我们观测到某个特定的模式x并将采取行动i，如果真实的类别为j,则由定义知我们将有损失(i|j).由于P(j|x)代表类别是j的概率，因此与行动i相关联的损失为：1(|)(|)(|)ciijjjRPxx第二章贝叶斯决策理论82贝叶斯决策理论用决策论的术语来表达，一个预期的损失称为风险R(i|x)称为条件风险(conditionalrisk)我们可以选择使条件风险最小化的行动来使预期的损失最小化下面来说明贝叶斯决策是一种最优的决策方式83贝叶斯决策理论一般的判决规则是一个函数，它告诉我们对于每次观测应该采取哪个行动对于每个x，决策函数确定了a个值中的某一个总体风险R是与某一给定判决规则相关联的预期损失由于是与行动相关联的条件损失，又因为行动是由决策规则指定的，因此，总风险可以表示为显然，如果对于每个x我们都选择使得最小，则总风险将被最小化xxxxdpRR)()|)(()(x)(xa,,1)|(xiR)(x)|(xiR84贝叶斯决策理论贝叶斯决策规则：为使总风险最小，对i=1,…,a计算条件风险并采取使R(i|x)最小的行动i最小化的总风险称为贝叶斯风险，记为R*，是能够获得的最优结果1(|)(|)(|)ciijjjRPxx第二章贝叶斯决策理论85贝叶斯决策理论两类问题1:deciding12:deciding2ij=(i|j)为真实类别为j却误判为i时所引起的损失则条件风险:R(1|x)=11P(1|x)+12P(2|x)R(2|x)=21P(1|x)+22P(2|x)86贝叶斯决策理论其他表述最小风险决策的方式•用后验概率：Decide1if(21-11)P(1|x)(12-22)P(2|x)；Otherwise2•用先验概率和条件密度Decide1if(21-11)p(x|1)P(1)(12-22)p(x|2)P(2)；Otherwise2•用“似然比”：在合理假设2111的条件下，Decide1if；Otherwise2p(x|1)/p(x|2)称为似然比（likelihoodratio）)()(.)|()|(121121221221PPppxx第二章贝叶斯决策理论88分类器、判别函数与决策面在两类别问题中，按最小错误率作决策时，决策规则的一种形式是则相应的判别函数就是gi(X)＝P(ωi|X),i=1,2而决策面方程则可写成g1(X)＝g2(X)此时决策规则也可以写成用判别函数表示的形式如果gi(X)＞gj(X)i,j=1,2且i≠j则X∈ωi，否则否则第二章贝叶斯决策理论89分类器、判别函数与决策面至于多类别情况，则对应于一种决策规则要定义一组判别函数gi(X)，i=1,2,…，c而决策规则可表示成如果，则将X归于ωi类多类别情况下的决策面方程比两类问题复杂，并且只有在特征空间中具有相邻关系的决策域的边界面才是有意义的决策面。当ωi的决策域与ωj的决策域相邻时，以下关系决定了相应的决策面gi(X)＝gj(X)第二章贝叶斯决策理论90分类器、判别函数与决策面决策面是一种统称，当特征空间只是一维时，一个决策面实际上只是一个点。在二维特征空间里，决策面是一条曲线。三维则是一曲面，超过三维的空间，决策面是一个超曲面。图2.5(a)表示了一个三类别问题用一维特征空间时的所有决策边