3-模式识别原理课件-第4章--概率分类法解析

4.1研究对象及相关概率4.2贝叶斯决策4.3贝叶斯分类器的错误率4.4聂曼-皮尔逊决策4.5概率密度函数的参数估计4.6概率密度函数的非参数估计4.7后验概率密度分类的势函数方法第4章基于统计决策的概率分类法获取模式的观察值时，有二种情况：*确定性事件：事物间有确定的因果关系。第三章内容。*随机事件：事物间没有确定的因果关系，观察到的特征具有统计特性，是一个随机向量。只能利用模式集的统计特性进行分类，使分类器发生分类错误的概率最小。1.两类研究对象2.相关概率1）概率的定义设Ω是随机试验的基本空间（所有可能的实验结果或基本事件的全体构成的集合，也称样本空间），A为随机事件，P(A)为定义在所有随机事件组成的集合上的实函数，若P(A)满足：4.1研究对象及相关概率（3）对于两两互斥的事件A1，A2，…有2121APAPAAP（1）对任一事件A有：0≤P(A)≤1。（2）P(Ω)=1，Ω——事件的全体则称函数P(A)为事件A的概率。设A、B是两个随机事件，且P(B)0，则称为事件B发生的条件下事件A发生的条件概率。3）条件概率定义BPABPBAP|APAP12）（ABPBPAPBAP）（3（1）不可能事件V的概率为零，即P(V)=0。2）概率的性质联合概率P(AB)：A，B同时发生的概率(4-1)（1）概率乘法公式：如果P(B)0，则联合概率P(AB)=P(B)P(A|B)=P(A)P(B|A)=P(BA)（3）贝叶斯公式：在全概率公式的条件下，若P(B)0，则将(4-2)，(4-3)式代入(4-1)式中，有：niiiiiiABPAPABPAPBAP1|||(4-4)4）条件概率的三个重要公式：niAPΩAinii,1,2,0,,1则对任一事件B有：iniiABPAPBP|1（2）全概率公式：设事件A1，A2，…，An，两两互斥，且)14(|BPABPBAP(4-2)(4-3)今后的分类中常用到类概率密度p(X|ωi)：ωi类的条件概率密度函数，通常也称为ωi的似然函数。设随机样本向量X，相关的三个概率：（2）后验概率P(ωi|X)：相对于先验概率而言。指收到数据X（一批样本）后，根据这批样本提供的信息统计出的ωi类出现的概率。表示X属于ωi类的概率。5）模式识别中的三个概率（1）先验概率P(ωi)：根据以前的知识和经验得出的ωi类样本出现的概率，与现在无关。（3）条件概率P(X|ωi)：已知属于ωi类的样本X，发生某种事件的概率。例对一批得病患者进行一项化验，结果为阳性的概率为95%，ω1代表得病人群，则X化验为阳性的事件可表示为95.0|1阳XPP(ω2|X)表示试验呈阳性的人中，实际没有病的人的概率。若用某种方法检测是否患有某病，假设X表示“试验反应呈阳性”。则：例如：一个2类问题，ω1诊断为患有某病，ω2诊断为无病，P(ω2)表示该地区人无此病的概率。则：P(ω1)表示某地区的人患有此病的概率，P(X|ω2)表示无病的人群做该试验时反应呈阳性(显示有病)的概率。值低/高√值低/高√P(X|ω1)表示患病人群做该试验时反应呈阳性的概率。P(ω1|X)表示试验呈阳性的人中，实际确实有病的人的概率。？？通过统计资料得到（4）三者关系：根据(4-4)贝叶斯公式有MiiiiiiiiPpPppPpP1||||XXXXX（4-5）niiiiiiABPAPABPAPBAP1|||M：类别数2.决策规则类则若ijiMjPPXXX,,2,1,)|(max)|(4.2.1最小错误率贝叶斯决策讨论模式集的分类，目的是确定X属于那一类，所以要看X来自哪类的概率大。在下列三种概率中：先验概率P(ωi)类(条件)概率密度p(X|ωi)后验概率P(ωi|X)采用哪种概率进行分类最合理？1.问题分析后验概率P(ωi|X)4.2贝叶斯决策设有M类模式，(4-6)——最小错误率贝叶斯决策规则XXXpPpPiii||虽然后验概率P(ωi|X)可以提供有效的分类信息，但先验概率P(ωi)和类概率密度函数p(X|ωi)从统计资料中容易获得，故用Bayes公式，将后验概率转化为类概率密度函数和先验概率的表示。由：可知，分母与i无关，即与分类无关，故分类规则又可表示为：类则若ijjiiMjPpPpXXX,,,2,1)()|(max)|((4-7)类则若ijiMjPPXXX,,2,1,)|(max)|(几种等价形式：对两类问题，(4-7)式相当于)()|()|(2211PpPpXX1X若，则)()|()|(2211PpPpXX2X若，则可改写为：统计学中称l12(X)为似然比，为似然比阈值。)()(12PP对(4-9)式取自然对数，有：21X(4-7)，(4-8)，(4-9)都是最小错误率贝叶斯决策规则的等价形式。21X)|()|()(2112XXXppl12)(PP若，则（4-8）)|(ln)|(ln21XXpp)(ln)(12XXlh若)()(ln12PP，则（4-9）2111)(|)()|()|(iiiPpPpPXXX16.02.095.05.005.005.05.0884.02.095.05.005.095.02.0)|(2XP)|()|(12XXPP2X例4.1假定在细胞识别中，病变细胞的先验概率和正常细胞的先验概率分别为。现有一待识别细胞，其观察值为X，从类条件概率密度发布曲线上查得：95.0)(,05.0)(21PP5.0)|(1Xp2.0)|(2Xp试对细胞X进行分类。解：[方法1]通过后验概率计算。[方法2]：利用先验概率和类概率密度计算。025.005.05.0)|(11PpX19.095.02.0)|(22PpX)()|()|(1122PpPpXX2X，是正常细胞。最小风险贝叶斯决策基本思想：以各种错误分类所造成的平均风险最小为规则，进行分类决策。4.2.2最小风险贝叶斯决策1.风险的概念*自动灭火系统：*疾病诊断：不同的错判造成的损失不同，因此风险不同，两者紧密相连。考虑到对某一类的错判要比对另一类的错判更为关键，把最小错误率的贝叶斯判决做一些修改，提出了“条件平均风险”的概念。对M类问题，如果观察样本X被判定属于ωi类，则条件平均风险ri(X)指将X判为属于ωi类时造成的平均损失。MjjijiPLr1)|()()(XXX2.决策规则时正值时或负值jijiLij0X式中，i——分类判决后指定的判决号；j——样本实际属于的类别号；Lij——将自然属性是ωj类的样本决策为ωi类时的是非代价，即损失函数。自然属性为j类的样本，被划分到i类中，在i类中产生一错误分类，风险增加。Lij对P作加权平均Mirrik,,1,minXX若kX则每个X都按条件平均风险最小决策，则总的条件平均风险也最小。总的条件平均风险称为平均风险。条件平均风险与平均风险的区别平均风险：对模式总体而言。条件平均风险：对某个样本而言。1）多类情况设有M类，对于任一X对应M个条件平均风险：对每个X有M种可能的类别划分，X被判决为每一类的条件平均风险分别为r1(X)，r2(X)，…，rM(X)。决策规则：MjjijiPLr1)|()()(XXX，i=1,2,…,MMjjjijMjjijipPpLPLr11)(|)|()(XXXXMjjjijPpLp1)()|()(1XX用先验概率和条件概率的形式：∵p(X)对所有类别一样，不提供分类信息。，i=1,2,…,MMjjjijiPpLr1)()|()(XX决策规则为：kiMirrik;,,2,1),()(XXkX，则若)(|)(|)(222211212PpLPpLrXXX)(|)(|)(221211111PpLPpLrXXX2）两类情况：对样本X121)()(XXX则若rr221)()(XXX则若rr当X被判为ω1类时：当X被判为ω2类时：（4-15）（4-16）)(|)(|)(|)(|2222112122121111PpLPpLPpLPpLXXXX)(|)(|111121222212PpLLPpLLXX)()()()()|()|(111212221221PLLPLLppXX由（4-15）式：MjjjijiPpLr1)()|()(XX决策规则：令：)|()|()(2112XXXppl，称似然比；)()()()(111122222112PLLPLL，为阈值。②计算。12③计算。X12l①定义损失函数Lij。判别步骤：112)(XX则，若l④任意判决，若1212)(Xl212)(XX则，若l)()()()()|()|(111122222121PLLPLLppXX类概率密度函数p(X|ωi)也称ωi的似然函数95.0)(,05.0)(21PP2.0)|(,5.0)|(21XXpp解：计算和得：X12l125.22.05.0)|()|()(2112XXXppl1212Xl1X例4.2在细胞识别中，病变细胞和正常细胞的先验概率分别为现有一待识别细胞，观察值为X，从类概率密度分布曲线上查得损失函数分别为L11=0，L21=10，L22=0，L12=1。按最小风险贝叶斯决策分类。为病变细胞。9.105.0)010(95.0)01()()()()(111212221212PLLPLL0iiLjiLij,1损失函数为特殊情况：3.(0-1)损失最小风险贝叶斯决策1)多类情况)()|()()|()(1iijjMjiPpPprXXX)()|()(iiPppXX(0-1)情况下，可改写成：Xir)()|()()()|()(iikkPppPppXXXX时，应满足当kX，i=1,2,…,Mkirrik),()(XXkX，则若MjjjijiPpLr1)()|()(XX一般形式：)()|()()|(iikkPpPpXX——最小错误率贝叶斯决策1,021122211LLLL)()|()(111PpdXX)()|()(222PpdXX2)两类情况)()|()()|(iikkPpPpXX决策规则为121)()(XXX则，若dd(4-20)212)()(XXX则，若ddkiMiddik,,,2,1),()(XX若MiPpdiii,,2,1),()|()(XX判别函数等价形式：决策规则的等价形式为：kX则的情况：对1X)()|()()|(2211PpPpXX)()()|()|(122PPppXX或从式(4-20)导出似然比形式：)()(,)|()|()(1212212PPpplXXX式中：11212)(XX则，若l决策规则：21212)(XX则，若l类似地，的情况有：对2X)()()|()|(122PPppXX)()|()(iiiPpdXX121)()(XXX则，若dd212)()(XXX则，若d