第3章 Bayes决策理论(2)

1最小风险的Bayes决策•让错误率最小的Bayes决策是重要的•但，错误率最小的Bayes决策是否最佳？–正常细胞误判为癌细胞–癌细胞误判为正常细胞不同性质的错误会引起不同程度的损失（后果）评价决策的优劣：总损失比总错误率更恰当最小风险的Bayes决策就是把各种分类错误而引起的损失考虑进去的Bayes决策法则2风险的表示•例：–病理切片X，要确定其中有没有癌细胞(用ω1表示正常，ω2表示异常)–P(ω1|X)与P(ω2|X)分别表示了两种可能性的大小–若X为正常细胞，判断为ω2，损失为21–若X为癌细胞，判断为ω1，损失为12–X判断为ω1，其风险R1(X)=12P(ω2|X)–X判断为ω2，其风险R2(X)=21P(ω1|X)损失和误判概率的加权和可以有效的表示决策风险3决策空间的相关符号观察向量11[,...,],,...,Tddxxxxx为一随机向量状态空间11[,...,],,...,Tccc为个自然状态决策空间11[,...,],,...,Taaa为个决策状态A损失函数():),jijiji真实状态为而判断为的损失(期望损失（条件风险）1(|)[(,)](,)(|)iijcijjjRXEPX（A）4最小风险的Bayes决策规则最小风险的Bayes决策规则：使期望损失最小的决策状态即为最小风险的Bayes决策(|)iRXi定义期望风险：()()(|)()RXRXpdXXX最小风险的Bayes决策使平均风险最小！期望风险R反映对整个特征空间上所有的X的取值采用相应的决策α(x)所带来的平均风险5最小风险的Bayes决策规则步骤（1）在已知P(ωj)，P(X|ωj)，j=1,…，c及给出待识别的X的情况下，根据贝叶斯公式计算出后验概率：1(|)()(|),1,...,(|)()jjjcjjjpXPPXjcpXP（2）利用计算出的后验概率及决策表，计算出采取αi,i=1,…，a的条件风险1(|)(,)(|),1,...,ciijjjRXPXia（3）对(2)中得到的a个条件风险值R(αi|X),i=1,…，a进行比较，找出使条件风险最小的决策αk，则αk就是最小风险贝叶斯决策1...(|)min(|)kiiaRXRX6例状态损失决策ω1ω2α1α20061决策表在例1条件的基础上，并且已知λ11=0,(λ11表示λ(1,ω1)的简写)，λ12=6,λ21=1，λ22=0，按最小风险贝叶斯决策进行分类。P(ω1)＝0.9,P(ω2)＝0.1p(X|ω1)＝0.2,p(X|ω2)＝0.47计算后验概率：P(ω1|X)＝0.818,P(ω2|X)＝0.182计算条件风险：2111(|)(|)1.092jjjRXPX2212(|)(|)0.818jjjRXPX找最小的条件风险：12(|)(|)RXRX最小风险的Bayes决策为2！8决策规则的进一步探讨二类问题的决策规则：21(|)(|)RXRX1222221111()(|)()(|)PXPX另一种决策规则：先验概率的决策规则：122222211111()()()()()()pPpPXX112222221111()()()()()()pPpPXX似然比9最小错误决策和最小风险决策二类问题中，若，则两种判决方式等价12222111多类问题中，若0,(,)1,,,1,2,,ijijijijc则有11,(|)(,)()()ciijjjcjjjiRXPPXX所有错误代价相同！两种判决方式等价！0-1·损失函数103.3Bayes分类器和判别函数决策面：划分决策域的边界面决策面方程：决策面的数学解析形式判别函数：表达决策规则的函数维特征空间d个决策域c决策规则分类器设计：利用决策规则对观察向量X进行分类决策面方程和判别函数由相应的决策规则所决定！11判别函数和决策面方程类的情况下，对应的判别函数为ci()igx若()(),1,...,,.ijgxgxjcji则属于第类xi分割它们的决策面方程应满足：()()ijgxgx对于多类：通常定义一组判别函数(),1,2...,igxic12最小错误概率决策判别函数的不同形式：()(|)iigxPx()()()iiigxPxP()log()log()iiigxPxP13最小风险决策判别函数()(|)iigxRx判别函数不唯一，更一般地，（其中为单调增函数）均可作为判别函数(())ifgx()fx14Bayes分类器15决策界同一决策规则下判别函数形式可以不同，但决策界相同！()()ijgxgx16决策界同一决策规则下判别函数形式可以不同，但决策界相同！()()ijgxgx17二类分类器12()(|)(|)gxPxPx1122()()()loglog()()pxPgxpxP12()()()gxgxgx18例有一家医院为了研究癌症的诊断，对一大批人作了一次普查，给每人打了试验针，然后进行统计，得到统计数字：（1）这批人中，每1000人有5个癌症病人；（2）这批人中，每100个正常人有1人对试验的反应为阳性；（3）这批人中，每100个癌症病人有95人对试验的反应为阳性。假如正常人用表示，癌症病人用表示。以试验结果作为特征，特征值为阳或阴。根据统计数字，得到如下概率：1205.0)(95.0)(99.0)(01.0)(,005.0)(,995.0)(221121阴，阳，阴阳pppppp现在有一某甲，试验结果为阳性，按最小错误率贝叶斯决策规则，问诊断结果是什么？1911112222()()()()0.010.9950.00995()()()()0.950.0050.00475pxppppxppp阳阳后验概率：1122(|)()(|)()pxppxp判决比较判断正常概率1111122()()()()()()()0.010.99567.7%0.010.9950.950.005ppppppp阳阳阳阳20风险评估假设λ11=0，λ12=3,λ21=1，λ22=0，按最小风险贝叶斯决策为某甲诊断：00995.0)()()()()(01425.0)()()()()(222211212221211111pxppxpxRpxppxpxR由于R1(X)＞R2(X)即决策为ω2的条件风险小于决策为ω1的条件风险，因此诊断某甲为癌症病人。采用最小风险贝叶斯决策，各种损失的确定是关键问题：λ11=0，λ12=2,λ21=1，λ22=0，按最小风险贝叶斯决策的诊断又如何呢？21分别写出两种情况的决策面方程•1.•2.112212()(|)()(|)()0.995(|)0.005(|)gxpxppxppxpx决策面方程g(x)=012199(|)(|)0pxpx212111222111122212()(|)(|)(|)(|)(|)()(|)()199(|)3(|)0gxRxRxPxPxPxPPxPPxPx22前面介绍了在一般的概率统计分布情况下的统计决策理论，这一节我们要讨论最常用的正态分布情况在模式识别中，正态分布假设是对各种随机变量使用得最普遍的假设这主要有两方面的原因：1）正态分布在数学上比较简便2）正态分布在物理上的合理性正态分布的Bayes决策法则23数学上简便性正态分布是数学上最简单的一种分布。它的一些特殊情况揭示了统计判别方法中许多重要的性质在模式识别技术的研究中，需要用训练样本集来设计分类器，还需用测试样本集来检验分类器的分类效果，并对不同的分类器的性能进行比较用正态分布模型描述训练样本集与测试样本集在数学上实现起来也比较方便24物理上的合理性如果同一类样本在特征空间内的确较集中地分布在其类均值的附近，远离均值处分布较少，那么一般情况下以正态分布模型近似往往是比较合理的人们也往往因数学分析复杂程度考虑而不得不采用这种模型，当然使用时应注意结果是否合理或关注其可接受的程度25222211()exp2()()(2)()ExxpxdxExxpxxpxdx单变量正态分布单变量正态分布概率密度函数定义为：单变量正态分布概率密度函数p(x)完全可由μ与σ2两个参数确定，记作N(μ，σ2)26正态分布描述了一个随机实变量在整个实数域上的分布规律因此它属于概率密度函数类，不是我们所讨论的先验概率P(ωj)，也不是后验概率P(ωj|X)，而是p(x|ωj)正态分布的样本主要集中分布在其均值附近，其分散程度可用标准差来衡量，σ愈大分散程度也越大。从正态分布的总体中抽取样本，约有95%的样本都落在区间内，而且其峰值为(2,2)2/1)(p211(|)exp22jjjxPX27多元是指样本以多个变量来描述，或具有多个属性，一般用d维特征向量表示，X＝[x1，…，xd]T。d维特征向量的正态分布用下式表示多维（元）正态分布：112211()exp()()2(2)TdpXXX其中μ是X的均值向量，也是d维，μ＝E{X}＝[μ1，μ2，…，μd]TΣ是d×d维协方差矩阵，而Σ－1是Σ的逆矩阵，|Σ|是Σ的行列式2ΣμμTijijddExx因为参数μ与Σ对分布具有决定性，记作p(X)～N(μ，Σ)282ij()[(μ)μ]iiTijijExExxij一个向量或矩阵的期望是由其元素的期望组成的协方差矩阵有两个特性：1.是一个对称矩阵：多维正态密度由个参数决定2.是正定的：主对角元素都是各分量的方差，一般情况下都是大于零的值dddddd222122222212212122112•如果协方差矩阵中的所有非对角线元素均为零，则P(X)就变成X的各分量的单变量正态密度的乘积(1)2ddd29图示为一个二维正态密度的示意图，如果把等概率密度点画出来，它们就是一族同心的椭圆301.参数和对分布具有决定性：从正态总体中抽取的样本落在一个密集区域里这个区域的中心由均值向量决定区域的形状由协方差矩阵决定2.等密度点的轨迹为一超椭球面（可证明）且超椭球面的主轴方向由的特征向量决定，主轴的长度与相应的特征值成正比多元正态分布性质1()()TCXX112211()exp()()2(2)TdpDXXX31•把这个超椭球的中心平移到坐标原点，超椭球的方程变为•设X在超椭球上，X到超椭球中心的距离为•求超椭球主轴的问题是一个求条件极值的问题，构造Lagrange函数：•可得超椭球主轴的必要条件：多元正态分布性质1TCXX12TXX1(,)()TTLCXXXXX10XX32为向量X到均值向量的Mahalanobis距离(马哈诺比斯，马氏距）的平方等概率密度点的轨迹是一个到均值向量的Mahalanobis距离为常数的超椭球21()()TrXX记333.不相关独立112211()exp()()2(2)TdpXXX2211()11()exp22()diiiiiiidiixppxX34多元正态分布下的最小错误率贝叶斯决策及其判别函数和决策面对于最