模式识别_孙即祥_第四章统计判决g.

1模式识别主讲：蔡宣平教授电话：73441（O）,73442（H）E-mail：[e-mail]单位:电子科学与工程学院信息工程系随机模式分类识别，通常称为Bayes(贝叶斯)判决。（基础复习）第四章统计判决主要依据类的概率、概密，按照某种准则使分类结果从统计上讲是最佳的。准则函数不同，所导出的判决规则就不同，分类结果也不同。本章主要论述分类识别的一般原理、几种重要的准则和相应的判决规则，正态分布模式类的判决函数以及它们的性能。Bayes公式：设实验E的样本空间为S，A为E的事件，B1,B2,…,Bn为S的一个划分，且P(A)0，P(Bi)0，(i=1,2,…,n)，则:)()()|()()|()()|()|(1APBPBAPBPBAPBPBAPABPiinjjjiii“概率论”有关概念复习)()()()(iiiBAPBPABPAPB1SB2B3B4A划分示意图“概率论”有关概念复习)()()()(iiiBAPBPABPAP条件概率“概率论”有关概念复习)()()()(iiixpPxPxp)()()()(iiiBAPBPABPAP先验概率：P(i)表示类i出现的先验概率，简称类i的概率。后验概率：P(i|x)表示x出现条件下类i出现的概率,称其为类别的后验概率，对于模式识别来讲可理解为x来自类i的概率。类概密：p(x|i)表示在类i条件下的概率密度，即类i模式x的概率分布密度，简称为类概密。为表述简洁，我们将随机矢量X及它的某个取值x都用同一个符号x表示，在以后各节中出现的是表示随机矢量还是它的一个实现根据内容是可以清楚知道的。“概率论”有关概念复习nXiixdxpxgxgE)()()(条件期望(某个特征)因不涉及x的维数,可将Xn改写为特征空间W。WxdxpxgxgEii)()()(对于两类1，2问题，直观地，可以根据后验概率做判决：121122(|)(|)(|)(|)pωxpωxxpωxpωxx若则若则21(|)()(|)()(|)()(|)()iiiiiiiipxPpxPpxpxpxP式中，p(x|i)又称似然函数(likelihoodfunctionofclassi)，可由已知样本求得。Bayes法则－最大后验概率准则根据Bayes公式，后验概率可由类i的先验概率P(i)和条件概率密度来表示，即(/)ipx(/)ipx将P(i|x)代入判别式，判别规则可表示为1122111222(|)()(|)()(|)()(|)()pxωPpxωPxpxωPpxωPx若则若则或改写为212122112112122112)()()|()|()()()|()|(xPPxpxplxPPxpxpl则则l12称为似然比（likelihoodratio），12称为似然比的判决阀值。原则：要确定x是属于ω1类还是ω2类，要看x是来自于ω1类的概率大还是来自ω2类的概率大。已知：（统计结果）先验概率：P(1)=1/3（鲈鱼出现的概率）P(2)=1-P(1)=2/3（鲑鱼出现的概率）条件概率：p(x|1)见图示（鲈鱼的长度特征分布概率）p(x|2)见图示（鲑鱼的长度特征分布概率）求：后验概率：P(|x=10)=?（如果一条鱼x＝10，是什么类别？）解法1：111111122(10|)()(|10)()(|)()(|)()(|)()0.051/30.0480.051/30.502/3pxPPxpxpxPpxPpxP10101010利用Bayes公式写成似然比形式1122212112122(|)0.05100.1(|)0.50()2/32()1/3,,pxlxpxPPlxx10（）10判决阀值（10）即是鲑鱼。解法2：例题1图示)(1xP)(2xPx条件概率密度分布)(ixP鲈鱼鲑鱼100.050.55.58.5例题1图示)(1xP)(2xPx2.04.06.08.00.1后验概率分布)(xPi1016最小误判概率准则判决最小损失准则判决最小最大损失准则N-P(Neyman—Pearson)判决第四章统计判决174·1最小误判概率准则判决第四章统计判决18图例：最小误判概率准则P(x/w1)p(w1)P(x/w2)p(w2)tΩ1Ω2P(w2)ε21P(w1)ε12x)()(11Pxp)()(22Pxp212)(P121)(P最小误判概率准则下的判决规则：如果，则判)()(11xpP)()(22xpP21x12x)()()(2112xpxpxl)()(12PP或等价地，如果，则判)(1xP)(2xP21x另一个等价形式是：如果则判)()()()(iiixpPxPxp由贝叶斯定理对于多类问题，最小误判概率准则有如下几种等价的判决规则:⑵若，则判⑴若，，则判)()(xPxPjiijix)(xPi)(maxxPjjix（后验概率形式）⑶若，，则判⑷若，则判（条件概率形式）)()()()(jjiiPxpPxpijix)()(iiPxp)()(maxjjjPxpix⑸若，,则判ijijjiijPPxpxpxl)()()()()(ijix（似然比形式）⑹如果，，则判（条件概率的对数形式）)(ln)(ln)(ln)(lnjjiiPxpPxpijix例：对一批人进行癌症普查，患癌症者定为属1类，正常者定为属2类。统计资料表明人们患癌的概率，从而。设有一种诊断此病的试验，其结果有阳性反应和阴性反应之分，依其作诊断。化验结果是一维离散模式特征。统计资料表明：癌症者有阳性反映的概率为0.95即，从而可知，正常人阳性反映的概率为0.01即,可知。005.0)(1P995.0)(2P95.0)(1阳xP05.0)(1阴xP01.0)(2阳xP99.0)(2阴xP问有阳性反映的人患癌症的概率有多大？)()()()()()(221111PxPPxPPxP阳阳阳995.001.0005.095.0005.095.0323.0)()()()(111阳阳阳xPPxPxP解：说明有阳性反应的人其患癌的概率有32.3%写成似然比形式：9501.095.0)()()(2112阳阳xPxPxl197005.0995.0)()(1212PP1212)(xl2x27)()(21ln21)(ln)(1iiiiiixxPxdci,,2,1上式中去掉与类别无关的项并不影响分类判决结果：ici,,2,11()(/)()11()ln()ln(2)ln()()222iiiiiiiiidxpxPndxPxx或对数形式类的判决函数可以表示为：)()(21ln21)(ln)(1iiiiiixxPxdci,,2,1i(1)当时iiiiiiiixxxPxxPxd11112121)(ln)()(21)(ln)(ij当和相邻时xPPxdxdjijiji1)()(ln)(ln)()(0)(2121011xxwijjjiiij当和相邻时xPPxdxdjijiji1)()(ln)(ln)()(0)(2121011xxwijjjii式中：)(1jiijw)()()()()(ln)(2110jijijijijiPPx显然，该判别界面为一超平面。此决策超平面过点，是该超平面的法矢量。0xijw若各类的概率相等，由判别式)()(21)(ln)(1iiiixxPxd可简化为马氏距离的平方，即：)()()(1iiixxxd因此的类别就由到各类的均矢的马氏距离决定，应判属于马氏距离最小的那一类。xxxx1x2122112w21决策超平面过点，矢量是该超平面的法矢量。通常不与方向相同，所以决策界面不与正交。0xijw)(1jiijw)(ji)(jix1x2122112w221II为单位阵，2为分量的方差，显然有矢量ijw和矢量)(ji方向相同，此时决策平面垂直于两类中心的连线若)()(jiPP此时决策界面还过i和j连线的中点(2)i)()(21ln21)(ln)(1iiiiiixxPxdci,,2,10iiiwxwxWx这是一般的情况。i类模式的判决函数为:121iiWiiiw1iiiiiiPw1021ln21)(ln其中0)()()()()(00jijijijiwwxwwxWWxxdxd相邻两类的决策界面为:二维模式，12的几种情况W1W2(a)圆，2类的方差小W1W2(b)椭圆，2类的方差小W1W2(c)抛物线，2类的方差小W1W2(d)双曲线(e)直线，两类的分布关于一直线是对称W1W2例：模式分布如图所示，两类的均矢和协方差阵可用下式估计。iNjijiiixNm1)(1iiijNjijiiimmxxNCi)(1)(1)((0,1,1)(1,1,1)(1,0,0)(1,0,1)(0,0,1)(0,0,0)12x2x1x321(0,1,1)(1,1,1)(1,0,0)(1,0,1)(0,0,1)(0,0,0)12x2x1x321)1,1,3(411m)3,3,1(412m31113111316121CCC8444844481C两类均作为正态分布，并假设，故判决式为)()(21PPiiiimCmmCxxd1121)(234)(11xxd211884)(3212xxxxd8444844481C)1,1,3(411m)3,3,1(412m04888)()(32121xxxxdxd01222321xxx40考虑两类问题，设两类模式为协方差阵相等的多变量正态分布，它们的密度函数分别为:4.1.3正态模式分类的误判概率)(ixp),(iN)()(21)()(2111jjiixxxx)()(21)(11jijijix)(jxp),(jN)(ln)(ln)(ln)(jiijijxpxpxlxL对数似然比～～)()(21)()(21)(111jijijijijiiijiLE221ijijijirL