模式识别-第3讲-贝叶斯决策理论2

1模式识别授课教师：薛耀红[e-mail]2第二讲贝叶斯决策理论（2）3贝叶斯决策理论几种常用的决策规则基于最小错误率的贝叶斯决策基于最小风险的贝叶斯决策在限定一类错误率条件下使另一类错误率为最小的两类别决策最小最大决策序贯分类方法分类器设计421()(|)()jjjpxpxP已知状态先验概率：||()iiipxPPxpx对于两类的全概率为：,1,2;iPi类条件概率密度函数：|,1,2ipxi。利用贝叶斯公式：得到的条件概率称为状态的后验概率。iPω|x1.基于最小错误率的贝叶斯决策5似然先验后验(分布或密度)全概率类条件概率密度=似然6P(error|x)=P(2|x)判定为1(错误选择2);基于后验分布的判别规则存在一个观察值x(特征)如果P(1|x)P(2|x)类别状态=1如果P(1|x)P(2|x)类别状态=2因此，无论何时观测到某一个特定值x，概率误差为：P(error|x)=P(1|x)判定为2(错误选择1);7四种基于最小错误率的Bayes决策形式1122(x)(x)PPx111222()()()()pxPpxPx112221()()()()()pxPlxxpxP2121()ln(())()ln(/)ln(/)ln()()hxlxPpxpxP12x1.后验形式2.先验形式3.似然比4.似然对数8设{1,2,…,c}是c个类别的集合(状态)。设{1,2,…,a}是a种采取的决策行为。记(i,j)(损失函数)是类别状态为j时采用决策行为i的风险。对于i=1,…,a，条件风险R(i|x)定义为：1|,|,1,2,ciijjjRxPxia它是在c个类别状态中任取某个状态j时，采用决策i的风险(i,j)相对于后验概率P(j|x)的条件期望。2.基于最小风险的贝叶斯决策9观察值x是随机向量，不同的观察值x，采取决策i时，其条件风险的大小是不同的。所以，究竟采取哪一种决策将随x的取值而定。决策看成随机向量x的函数，因此，它也是一个随机变量。条件风险R(i|x)反映给定的观察值x，采取决策i时，所有类别状态下带来风险的平均值。1(|)[(|)](,)(|),1,2,....,iijcijjjRxEPxia10条件风险是反映了对于给定观察值x,采取决策i所带来的风险。对于i=1,…,a所有的决策行动中，能否根据最小条件风险来决定判别规则？1,...,(x)minxkkikRIfthenR如果在采取每一个决策或行动时，都使其条件风险最小，则对给定的观察值x作出决策时，其期望风险也必然最小。这样的决策就是最小风险贝叶斯决策。其规则为：11将两类分类的风险条件代入上述决策规则，其等价于：如果：(21-11)p(x|1)P(1)(12-22)p(x|2)P(2)则：判决1；否则为：2相似比(Likelihoodratio)为：112222221111(|)().(|)()pxPpxP即：似然比大于某个阈值，则采取行动决策1(判决1)；否则为：2。第2章Bayes决策理论本节课内容–在限定一类错误率条件下使另一类错误率为最小的两类别决策(Neyman—Pearson决策)–最小最大决策–分类器设计第2章Bayes决策理论3.Neyman—Pearson决策Neyman—Pearson决策即限定一类错误率条件下使另一类错误率为最小的两类别决策。1R2RHA11()()pPx22()()pPx122()()RpPdxx211()()RpPdxx第2章Bayes决策理论2121211221112211221122()()()()()()()(,)(,)()()()()()()()()()()()()ttRRPePexpxdxPxpxdxPxpxdxPxRPxRPxRPPxRPPpxdxPpxdxPPePPe第2章Bayes决策理论2111220()()()()RRPepxdxPepxdx120()()PePe用Lagrange乘子法建立其数学模型:第2章Bayes决策理论120()()PePe2111111120120021021()()1()()1()()1()()RRRRRRRpxdxpxdxpxdxpxdxpxdxpxdxpxpxdx12211111()()1()1()RRRRpxdxpxdxpxdxpxdx第2章Bayes决策理论1122012()0()0()()()RptppxdxRtRttt取得极小值的边界条件10211()()Rpxpxdx第2章Bayes决策理论与最小错误率Bayes决策的比较：112221()()()()pxPxpxP1122()()pxxxpx与最小风险Bayes决策的比较：11122222221111(|)().(|)()pxPxpxP第2章Bayes决策理论212211212211122112()()0min()()0()()0()()0()()()()pxpxxRpxpxxRpxpxxpxpxxpxxpxpxxpx第2章Bayes决策理论4最小最大决策有时我们必须设计在整个先验概率范围上都能很好的进行操作的分类器。比如，在我们的有些分类问题中可能设想尽管模式的有些物理属性恒定不变，然而先验概率可能变化范围很大，并且以一种不确定的方式出现。或者，我们希望在先验概率不知道的情况下使用此分类器，那么一种合理的设计分类器的方法就是使先验概率取任何一种值时所引起的总风险的最坏的情况尽可能小，也就是说，最小化所有可能总风险的最大值。以二类模式识别问题为例，进行讨论。第2章Bayes决策理论以两类情况下的最小风险Bayes决策为例进行讨论损失状态211211122122自然状态分类决策(,)ijij11111221212211222122()()()()()()()()()()RPPRRRPPRRxxxxxxxxxx(())()RRpdxxxx总风险公式第2章Bayes决策理论1212()()()()RRRRpdRpdxxxxxx假定决策域已经确定，我们以表示分类器判为时的特征空间中的区域，同样有和，于是总风险用条件风险的形式表示为1R12R212111122211222()()()()()()RRRPPpdPPpdxxxxxxxx11111222211222()()()()()()RPPRPPxxxxxx第2章Bayes决策理论121111122221112222()()()()()()()()RRRPpPpdPpPpdxxxxxx122111()1()()()1RRPPpdpdxxxx1212212222112221111122221()()()()()()()()RRRpdpRPdpdxxxxxx第2章Bayes决策理论1211221222211222111112222()()()()()()()()RRRRabPapdbpdpdxxxxxx一旦和确定，风险就是先验概率的线性函数，可表示为1R2RR1()P12(|)(|)pxpx决策阀值2122221111().()PP第2章Bayes决策理论R1()P011()PRR1()P011()PR第2章Bayes决策理论R1()P01()PR第2章Bayes决策理论综上所述，可以得出：在作最小风险Bayes决策时，若考虑有可能改变或对先验概率毫无所知，则应选择使最小Bayes风险为最大值时的来设计分类器，它相对于其它的为最大，但能保证在不管如何变化时，使最大风险将为最小，我们称其为最小最大决策。其任务就是寻找使Bayes风险为最大时的决策域和，它对应于下式然后确定R1()P1()P1()P1()P2111222111112222()()()()()0RRpdpdxxxx1R2R1222221111()()()()PtP1()P第2章Bayes决策理论5.分类器设计——利用决策规则对观测的特征向量进行分类第2章Bayes决策理论涉及分类器设计及实现的几个术语决策面：按照决策规则可以将d维特征空间分成c个决策域（因为X必然要属于c个类别中的某个类别），我们将划分决策域的边界面称为决策面.决策面在一维特征空间(X为一维,d=1)中是一分界点,在二维特征空间(X为二维,d=2)中是一曲线,在三维特征空间(X为三维,d=3)中是一曲面,在多维特征空间(X为d维,d3)中是一超曲面.在数学上以决策面方程的形式表示。判别函数：以函数的形式来表达决策规则，这样的函数叫判别函数。决策面方程:在数学上用解析形式可以表示成决策面方程。相邻两个决策域在决策面上其判别函数值是相等的.第2章Bayes决策理论第2章Bayes决策理论用判别函数的形式表达Bayes决策规则(1)判别函数：对于c类别情况，定义一组判别函数gi(x),i=1,2,…,c如果有对于一切j≠i均有gi(x)gj(x),则。(2)决策面方程：如果Ri和Rj是相邻的两个决策域,则分割它们的决策面方程应满足:gi(x)=gj(x)。(3)分类器设计ix第2章Bayes决策理论分类器的设计两类分类器第2章Bayes决策理论分类器的设计可看成是由硬件或软件组成的“机器”.其功能是:先计算c个判别函数gi(x),再从中选出对应于判别函数为最大值的类作为决策结果.样本x1x2……xng1(x)g2(x)gc(x)MAX最大值选择器决策()x多类分类器第2章Bayes决策理论第2章Bayes决策理论四种基于最小错误率的Bayes决策形式1122(x)(x)PPx111222()()()()pxPpxPx112221()()()()()pxPlxxpxP2121()ln(())()ln(/)ln(/)ln()()hxlxPpxpxP12x1.后验形式2.先验形式3.似然比4.似然对数第2章Bayes决策理论一、两类情况1.判别函数：2.决策规则：1211221122()()()()()()()()()()()lnln()()gPPgpPpPpPgpPxxxxxxxxx12()0gxx3.决策面方程：()0gx第2章Bayes决策理论g(x)12...dxxxx