贝叶斯决策理论

第2章贝叶斯(Bayes)决策理论2.1引言（已知条件、欲求解的问题）2.2几种常用的决策规则2.3正态分布时的统计决策2.4离散情况的贝叶斯决策2.5分类器的错误率问题2.1引言模式识别的分类问题：根据待识别对象的特征观察值，将其分到某一个类别中Bayes决策理论的基本已知条件①已知决策分类的类别数为c，各类别的状态为：②已知各类别总体的概率分布（各个类别出现的先验概率和类条件概率密度函数）,1,...,iic(),(x|),1,...,iiPpicBayes决策理论欲解决的问题如果在特征空间中观察到某一个（随机）向量x=(x1,x2,…,xd)T那么，应该将x分到哪一个类才是最合理的？2.2几种常用的决策规则2.2.1基于最小错误率的Bayes决策2.2.2基于最小风险的Bayes决策2.2.3Neyman-Pearson决策2.2.4最小最大决策2.2.5序贯分类方法2.2.1基于最小错误率的Bayes决策利用概率论中的Bayes公式进行分类，可以得到错误率最小的分类规则已知条件①类别状态的先验概率②类条件概率密度()iP(x|)1,...,ipic根据Bayes公式得到状态的后验概率1(x|)()(|x)(x|)()iiicjjjpPPpP基本决策规则if1,...,(|x)max(|x)ijjcPPthenix将x归属后验概率最大的类别后验=似然x先验/证据因子两类情况下的Bayes决策规则及其变型①Bayes决策规则1,2(|x)max(|x),ijijPP如果则x1122(|x)(|x)xPP如果则②变型1（消去相同的分母）111222(x|)()(x|)()xpPpP如果则1(x|)()(|x)(x|)()iiicjjjpPPpP1,2(|x)max(|x),ijijPP如果则x1,2(x|)()max(x|)(),iijjijpPpP如果则x③变型2④变型3（取似然比的自然对数的负值）112221(x|)()(x)x(x|)()pPlpP如果则似然比似然比阈值111222(x)ln((x))()ln((x|))ln((x|))ln()x()hlPppP如果则111222(x|)()(x|)()xpPpP如果则两类的后验概率相等时，采取的策略：归属其中一类拒绝（设置一个拒绝类，供进一步分析）例：某地区细胞识别中，正常和异常细胞的先验概率：P(ω1)=0.9，P(ω2)=0.1有未知细胞x，对应的类条件概率密度：P(x|ω1)=0.2，P(x|ω2)=0.41112121(|)()0.20.9(|)0.8180.20.90.40.1(|)()(|)1(|)0.182jjjpxPPxpxPPxPx判别该细胞属于正常细胞还是异常细胞？解：先计算后验概率：属于正常细胞，注意：先验概率起主导作用如果先验概率相等，则属于异常细胞正确分类与错误分类•正确分类：将样本归属到样本本身所属的类别•错误分类：将样本归属到非样本本身所属的类别123以一维、两类情况为例，证明Bayes规则使分类错误率最小（平均）错误率定义为()(,)(|)()PePexdxPexpxdx条件错误概率121if(|x)(|x)thenxPPBayes决策规则：此时，x(ω2)的条件错误概率2(|)Px212if(|x)(|x)thenxPP此时，x(ω1)的条件错误概率1(|)Px2(|)Px1(|)Px121212(|),(|)(|)(|)(|),(|)(|)PxifPxPxPexPxifPxPx1()(|)()ciiipxpxP1(x|)()(|x)(x|)()iiicjjjpPPpP11212212(|)(),(|)(|)(|)()(|)(),(|)(|)pxPifPxPxPexpxpxPifPxPx()(|)()PePexpxdx条件错误概率Bayes公式全概率公式平均错误率(|x)(x)(x|)()iiiPppP2211()(|)()(|)()ttPepxPdxpxPdxt是两类的分界点，x轴分成两个区间只有当t取两类后验概率相等的点时，错误率才是最小的（黄颜色区域变成零）红＋黄绿1222112211()()(|)()(|)()()()()PePpxdxPpxdxPPePPe2.2.2基于最小风险的Bayes决策•在医学诊断上，有误诊（无病说有病）、漏诊。在雷达防空中，有虚警、漏警（有飞机说成无飞机）。这些错误判断会造成不同的后果和损失。•基于最小风险的Bayes决策是：在考虑各种错误可能造成不同的损失的情况下的Bayes决策规则基本概念•决策（行动）：所采取的决定•决策（行动）空间：所有可能决策所构成的一个集合•损失：每一个决策将付出的代价，通常为决策和自然状态（类）的函数状态决策…1c1a11(,)(,)ac1(,)c1(,)ac个自然状态（类）a个决策损失一般决策表说明：状态空间由c个自然状态（c个类）组成：12(,,...,)c决策空间由a个决策组成：12(,,...,)aa=c或者a=c＋1（拒绝类）损失函数有a×c个值：(,)1,...,,1,...,ijijoriajc含义：当真实状态为ωj而所采取的决策为αi时所造成的损失大小(),(x|),1,...,iiPpic已知(x|)()(|x)(x)iiipPPp后验概率1(x)(x|)()cjjjppP最小错误率Bayes决策取后验概率的最大者对于给定的模式向量x在决策表中，每一个决策αi对应存在c个损失。对于x，定义在采取决策αi时的条件期望损失（条件风险）为：1(|),)(,)(|)1,2,...,ciijijjjRxEPxia•x是随机向量的观察值，对于其不同观察值，采取不同的决策αi时，对应不同的条件风险。所以，不同的x，将会采用不同的决策•决策可以看成随机向量x的函数，记为α(x)（随机变量），可以定义期望风险为注：积分在整个特征空间上进行(x|x)xxRRpd差别：•条件风险R(αi|x)只反映出，对某一个x取值，采取决策行动αi所带来的风险•期望风险R则反映，在整个特征空间中不同的x取值，采取相应的决策α(x)所带来的平均风险目标：所采取的一系列决策行动应该使期望风险达到最小手段：如果在采取每一个决策时，都使其条件风险最小，则对所有的x作决策时，其期望风险也必然达到最小决策：最小风险Bayes决策最小风险Bayes决策规则：1,2,...,(|x)min(|x),kikiaRRx若则1(|)(,)(|),1,2,...,ciijjjRxPxia其中采取决策k最小风险Bayes决策的步骤①在已知类先验概率和类概率密度函数的情况下，计算待识x的后验概率（Bayes公式）1(x|)()(|x)(x|)()iiicjjjpPPpP②根据决策表，计算每一个决策的条件风险③找出条件风险最小值所对应的决策，对x采取该决策（归属到该类）1(|)(,)(|),1,2,...,ciijjjRxPxia1,2,...,(|x)min(|x),kikicRRx若则111121()0.9(|)0.201Ppx12(|)0.818(|)0.182PxPx例：区分正常与异常细胞正常细胞221222()0.1,(|)0.460Ppx异常细胞后验概率21112212211(|)(|)(|)1.092(|)(|)0.818jjjRxPxPxRxPx条件风险决策：归属到异常细胞原因：损失起主导作用0610正常异常归正常归异常两种决策规则之间的关系定义0-1损失函数0,(|),1,...,1,jjijijijcij意义：正确决策没有损失，错误决策损失都为1附件条件：c个类别对应c个决策（无拒绝类）1(|)(,)(|)(|)ciijjjjjiRxPxPx对x采取决策（归属）ωi时的条件错误概率结论：在0-1损失函数的条件下，使风险最小的Bayes决策等价于使错误率最小的Bayes决策，后者是前者的特例(|)iRx(|)jjiPx最小最小(|)1(|)ijjiPxPx最大2.2.3Neyman-Pearson(聂曼-皮尔逊)决策在限定一类错误率条件下，使另一类错误率为最小的两类别决策2.2.4最小最大决策考虑先验概率变化的情况下，如何使最大可能的风险为最小，即在最差的条件下争取最好的结果•有时我们需要设计在整个先验概率范围内都能很好操作的分类器。一种合理的设计方法就是使先验概率取任何一种值时所引起的总风险的最坏情况尽可能小，也就是说最小化最大可能的风险。•我们以R1表示分类器判为1时的特征空间的区域，同样的有R2和2,总风险的形式可表示为2222,2111,21222,1111,1))|()()|()())|()()|()(RRdxxpPxpPdxxpPxpPR结合公式与)(1)(12PPdxxpdxxpRR)|(1)|(1211122,22,1211,11,22,21,11112,21,12,21)|()()|()()()()|()())((RRRdxxpdxxpPdxxpPR可以得到等式表明一旦判别边界确定后，总风险与成线形关系。如果能找到一个边界使比例为0，那么风险将与先验概率独立。这就是极小极大化求解。)(1PdxxpRRmm)|()(122,22,12,2风险2.2.5序贯分类方法原因：获取特征需要付出一定的代价（成本），我们要衡量，增加特征所付出的代价，减少错误率所得到的好处序贯分类方法：先用一部分特征来分类，逐步加入特征以减少分类损失每步都要衡量加入新特征所花代价与所降低分类损失的大小，以便决定是否继续增加新特征2.2.6分类器设计要点：•判别函数•决策面（分类面）•分类器设计决策面（分类面）对于c类分类问题，按照决策规则可以把d维特征空间分成c个决策域，我们将划分决策域的边界面称为决策面（分类面）判别函数用于表达决策规则的某些函数，则称为判别函数判别函数可以取为决策规则的单调增函数，最简单的形式就是决策规则本身决策面与判别函数的关系判别函数决定决策面方程分两类和多类情况来讨论判别函数、决策面方程、分类器设计2.2.6.1多类情况设c类问题和d维模式（随机）向量为12T12{,,...,}x[,,...,]cdxxx最小错误率Bayes决策规则：(1)(|x)(|x),1,...,,xijiPPjcji(2)(|)()(|)(),1,...,,xiijjipxPpxPjcji()(|)(3)(x)=,1,...,,(|)()xjijiiPpxljcjipxP(4)ln(|)ln()ln(|)ln(),1,...,,xiijjipxPpxPjcji判别函数定义一组（c个）判别函数gi(x),i=1,…,c来表示c类决策规则，可以取(1)(x)(|x)(2)(x)(x|)()(4)(x)ln(x|)ln()iiiiiiiigPgpPgp