模式识别-Bayes决策方法

模式识别PatternClassification第三章:Bayes决策方法模式识别，第三章3Bayes决策方法•原理•根据Bayes决策理论，由先验知识来推断后验概率•保证错误概率最小或风险最小模式识别，第三章4Bayes决策方法•先验知识•先验概率P(ωi)•类概率密度P(X/ωi)1)(1ciiP1)/(dxXPi模式识别，第三章5Bayes决策方法•根据考虑问题的角度Bayes决策法最小错误概率的Bayes决策法最小风险的Bayes决策法模式识别，第三章6最小错误概率的Bayes决策•一维二类情况设两类模式分别1和2，其类概率密度分别为P(x/1)和P(x/2),先验概率为P(1)和P(2)P(x/1)P(x/2)x模式识别，第三章7最小错误概率的Bayes决策•一维二类情况显然：由Bayes公式（联合概率密度知）：1)/(1)/(21dxxPdxxP)()/()()/(),(1111xPxPPxPxP模式识别，第三章8•一维二类情况则后验概率同理可得其中最小错误概率的Bayes决策)()()/()/(111xPPxPxP)()()/()/(222xPPxPxP)()/()()/()(2211PxPPxPxP模式识别，第三章9最小错误概率的Bayes决策•一维二类情况合理的决策为：对待识样本x若P(1/x)P(2/x)，则判x∈1类若P(2/x)P(1/x)，则判x∈２类模式识别，第三章10最小错误概率的Bayes决策•一维二类情况上述决策等价于：对待识样本x若P(x/1)P(1)P(x/2)P(２)，则判x∈1类若P(x/2)P(2)P(x/1)P(1)，则判x∈２类即由先验知识推断后验概率模式识别，第三章11最小错误概率的Bayes决策•一维二类情况或：，则判x∈1类上述分类准则称为Bayes决策准则)()()/()/(1221PPxPxP似然比模式识别，第三章12最小错误概率的Bayes决策•特殊情况下，若P(1)=P(２)，则分类决策完全由类概率密度函数决定。即：若P(x/1)P(x/2)，则判x∈1类若P(x/2)P(x/1)，则判x∈２类模式识别，第三章13最小错误概率的Bayes决策•以鱼自动分类为例，假设仅选取鱼的长度作为特征，则两类鱼的类概率密度函数P(x/1)和P(x/2)如下：模式识别，第三章14最小错误概率的Bayes决策类概率密度来源来统计直方图鲈鱼鲑鱼模式识别，第三章15最小错误概率的Bayes决策•两条曲线描述了两类鱼的长度区别•概率密度函数已归一化，因此每条曲线下的面积为１，即：1)/(1)/(21dxxPdxxP模式识别，第三章16最小错误概率的Bayes决策•若先验概率P(1)=2/3，P(２)=1/3，则其后验概率P(1/x)和P(2/x)如下图所示特征值x=14的模式如何分类？0.920.08模式识别，第三章17最小错误概率的Bayes决策•错误概率最小？错误概率P(x/1)P(1)P(x/2)P(2)xR1R221)()/()()/(1122RRedxPxPdxPxPP模式识别，第三章18最小错误概率的Bayes决策•错误概率最小？无论判别从哪个方向调整，均导致错误概率的增加！P(x/1)P(1)P(x/2)P(2)xR1R2模式识别，第三章19最小错误概率的Bayes决策•多类多维情况设Ω={1，2，﹒﹒﹒，ωc}是C个类别状态的有限集合，X=[x1，x2，﹒﹒﹒，xd]T是d维特征向量，P(x/i)为第i类的类概率密度函数，P(i)为第i类的先验概率，则有：其中)()()/()/(XPPXPXPiiiCiiiPXPXP1)()/()(模式识别，第三章20最小错误概率的Bayes决策•多类多维情况Bayes决策准则为：类则判其中或若ijjiiji：ＸCjPXPPXPXPXP,,2,1,)}()/(max{)()/(:)}/(max{)/(:模式识别，第三章21最小错误概率的Bayes决策•举例设某地区细胞识别中正常(1)和异常(2)两类的先验概率分别为：P(1)=0.9P(2)=0.1且知1和2两类的类概率密度函数为P(x/1)和P(x/2)现有一待识细胞其特征值为x，从概率密度函数曲线查得：P(x/1)=0.2P(x/2)=0.4试用Bayes决策准则对待识样本进行分类。模式识别，第三章22最小错误概率的Bayes决策•解：P(x/1)P(1)=0.2×0.9=0.18P(x/2)P(2)=0.1×0.4=0.04可见：P(x/1)P(1P(x/2)P(2)由Bayes决策准则得：x∈1类，为正常细胞模式识别，第三章23最小风险（损失）的Bayes决策•损失的概念•基于最小错误概率的Bayes决策，仅考虑如何保证错误概率最小，而未考虑决策所带来的损失。•例如：自动灭火系统，乙肝诊断，鱼的分类等，则应考虑错判造成的损失。可利用决策论的理论和方法来解决上述问题。模式识别，第三章24最小风险（损失）的Bayes决策•损失的概念•设Ω={1，2，﹒﹒﹒，ωc}表示c个有限的类别状态的集合，A={a1，a2，﹒﹒﹒，ak}表示k个有限的决策（行为）的集合•则定义为模式自然状态为ωj时，采取决策ai所造成的损失)/(jia模式识别，第三章25最小风险（损失）的Bayes决策•损失的概念•例如，对于细胞正常或异常的分类问题，可得如下损失表1（正常）2（异常）a1（正常）11=012=10a2（异常）21=222=0自然状态损失决策模式识别，第三章26最小风险（损失）的Bayes决策•风险函数（损失函数）•设P(j)是自然状态为j的先验概率，X为d维特征向量，则由Bayes决策理论知，后验概率：•由于每一类后验概率P(X)均相同，可将其视为一标量因子)()/()()()/()/(jjjjjPXPXPPXPXP模式识别，第三章27最小风险（损失）的Bayes决策•风险函数（损失函数）•假定我们观测某个特定模式X并且采取行为ai，如果真实的类别状态为j，通过定义我们将有损失(ai/j)•显然，与行为ai相关的总的损失为)()/()/()/()/()/(11jcjjjicjjjiiPXPaXPaXaR模式识别，第三章28最小风险（损失）的Bayes决策•风险函数（损失函数）•上式称为作出决策ai的风险函数，简记为：cjjjiiXPaXaR1)/()/()/(cjXPXRcjjjii,......,2,1)/()(1模式识别，第三章29最小风险（损失）的Bayes决策•决策过程•当待识样本X到来时，将其判为各类所带来的风险分别为R1(X)，R2(X)，﹒﹒﹒，Rc(X)•则基于最小风险的Bayes决策准则为：类则判其中或若ijjijiji：ＸCjPXPXRXRXR,,2,1,)}()/(min{)(:)}(min{)(:模式识别，第三章30最小风险（损失）的Bayes决策•问题：如何合理、科学、准确地定义ij?•带有主观因素模式识别，第三章31最小风险（损失）的Bayes决策•特殊情况：两类问题则基于最小风险（损失）的Bayes决策为：若R1(X)R2(X)，则判X∈1类)()/()()/()()()/()()/()(222211212221211111PXPPXPXRPXPPXPXR模式识别，第三章32最小风险（损失）的Bayes决策•特殊情况：两类问题•上述决策等价于：对待识样本x若：，则判x∈1类aPPXPXP)()()()()/()/(111212221221似然比模式识别，第三章33最小风险（损失）的Bayes决策模式识别，第三章34最小风险（损失）的Bayes决策特殊情况：两类问题若：12-22=21-11，即对称损失，则最小风险Bayes决策与最小错误概率Bayes决策是等价的。模式识别，第三章35最小风险（损失）的Bayes决策•例：1(乙肝)2(健康)P(1)=0.05P(2)=0.95P(x/1)=0.5P(x/2)=0.211=22=0，12=1，21=10试分别用最小风险和最小错误概率Bayes决策对模式X分类模式识别，第三章36最小风险（损失）的Bayes决策•解：最小错误概率Bayes决策P(x/1)P(1)=0.05×0.5=0.025P(x/2)P(2)=0.2×0.95=0.19可见：P(x/1)P(1）P(x/2)P(2)由Bayes决策准则得：x∈2类，为健康模式识别，第三章37最小风险（损失）的Bayes决策•解：最小风险Bayes决策似然比：5.22.05.0)/()/(21XPXP9.1)010(05.0)01(95.0)()()()(1112122212PP模式识别，第三章38最小风险（损失）的Bayes决策•解：最小风险Bayes决策可见：根据最小风险（损失）的Bayes决策准则：x∈1类，为乙肝)()()()()/()/(111212221221PPXPXP模式识别，第三章39（0-1）损失条件下的最小风险Bayes决策•最小风险Bayes决策若定义：cjXPXRcjjjii,......,2,1)/()(1ij=0i=j1i=j（0-1）损失模式识别，第三章40（0-1）损失条件下的最小风险Bayes决策则最小风险Bayes决策等价于：可见，min{Ri(X)}等价于max{Ri(X)}，即（0-1）损失条件下，最小风险Bayes决策等价于最小错误概率的Bayes决策。)/(1)/()/()(1XPXPXPXRiicjji模式识别，第三章41•何种准则更具一般意义？模式识别，第三章42分类器、判别函数与判别界•Bayes分类器等价于：•定义一组判别函数gi(x),i=1,…,c•若：gi(x)gj(x)ji•则判待识样本x属于i类模式识别，第三章43分类器、判别函数与判别界•对最小错误概率Bayes决策gi(x)=P(i/x)或gi(x)=P(x/i)P(i)gi(x)=lnP(x/i)+lnP(i)•对最小风险Bayes决策gi(x)=-R(i/x)模式识别，第三章44分类器、判别函数与判别界基于判别函数的分类器模式识别，第三章45分类器、判别函数与判别界•上述判别函数将特征空间划分为c个判别区域R1,R2,…,Rc各个判别区域满足：如果gi(x)gj(x)ji则x位于判别区域Ri模式识别，第三章46分类器、判别函数与判别界R1R2R3R4g1(X)g4(X)g3(X)g2(X)模式识别，第三章47分类器、判别函数与判别界•两类情况分类器仅需考虑两个判别函数g1(x)和g2(x)定义：g(x)g1(x)–g2(x)=P(x/1)P(1)-P(x/2)P(2)基于判别函数的决策为：如果g(x)0，则x属于1类;若g(x)0，则x属于2类模式识别，第三章48分类器、判别函数与判别界•两类情况g(X)0g(X)0g(X)0模式识别，第三章49正态分布条件下的Bayes决策•一维正态分布均值：方差：一维正态分布可以简写为：221exp21)(xxPdxxxpxE)(}{dxxpxxE)()(}){(222),()(2Nxp模式识别，第三章50正态分布条件下的Bayes决策•一维正态分布的统计特性••95%