第2章统计决策方法

软件工程专业第二章统计决策方法计算机与通信工程学院计算机与通信工程学院模式识别软件工程专业课前思考•机器自动识别分类，能不能避免错分类?•怎样才能减少错误？•不同错误造成的损失一样吗？•先验概率，后验概率，概率密度函数？•什么是贝叶斯公式？•正态分布？期望值、方差？•正态分布为什么是最重要的分布之一？2019/8/30软件工程专业学习指南•本章要说明分类识别中为什么会有错分类，在何种情况下会出现错分类？错分类的可能性会有多大？怎样才能使错分类最少？•不同的错分类造成的危害是不同的，有的错分类种类造成的危害更大，因此控制这种错分类则是更重要的。为此引入了一种“风险”与“损失”概念，希望做到使风险最小。要着重理解“风险”与“损失”的概念，以及在引入“风险”概念后的处理方法。2019/8/30软件工程专业•理解本章的关键–要正确理解先验概率，类概率密度函数，后验概率这三种概率–对这三种概率的定义，相互关系要搞得清清楚楚–Bayes公式正是体现这三者关系的式子，要透彻掌握。2019/8/30软件工程专业•统计决策理论–是模式分类问题的基本理论之一•贝叶斯决策理论–是统计决策理论中的一个基本方法软件工程专业最小风险贝叶斯决策2聂曼-皮尔逊判决3最小错误率贝叶斯决策1第二章统计决策理论62019/8/30正态分布决策理论4软件工程专业最小错误率贝叶斯决策172019/8/30软件工程专业信息获取预处理特征提取分类决策•模式识别系统的基本构成•分类决策：把样本分到哪一类最合理类别空间样本3样本2样本1–样本空间到决策空间的一个映射–采用不同的标准会得到不同意义下的“最优”的决策最小错误率贝叶斯决策82019/8/30软件工程专业基于最小错误率的贝叶斯决策•基本思想–使错误率为最小的分类规则–称之为基于最小错误率的贝叶斯决策软件工程专业例子：挑选西瓜编号敲声好瓜1沉闷是2沉闷否3沉闷否4沉闷否5清脆是6清脆是7清脆否8浊响是9浊响否102019/8/30软件工程专业贝叶斯公式•先验•似然•后验112019/8/30当敲击声音为清脆时,该西瓜是好瓜的概率软件工程专业挑选西瓜•这种决策信息没有意义•如何根据敲声挑选出好的西瓜？•根据贝叶斯公式只根据先验知识挑选西瓜122019/8/30软件工程专业•如果有：•则为好瓜，反之亦然•分母相同，实际只需要比较分子•这种根据后验概率进行决策的方法称为最小错误率贝叶斯决策132019/8/30软件工程专业判别函数的几种等价形式2019/8/30)取对数方法(,)()(ln)()(ln)()4()似然比形式(,)()()()()()3()类条件概率密度(),()()()()()2()后验概率(),()()()1(12211221221121PPxPxPxgPPxPxPxgPxPPxPxgxPxPxg等价2112212112212122112121)()(ln)()(ln)()4()()()()()3()()()()()2()()()1(xPPxPxPxgxPPxPxPxPxPPxPxxPxP决策规则：软件工程专业讨论•类条件概率密度函数直接用来分类是否合理？2019/8/30221:)|()|(XPXP121:)|()|(XPXP具有一定的合理性不满足最小错误率要求但是没有考虑先验概率软件工程专业•类条件概率和后验概率区别？–后验概率:P(ω1|x)和P(ω２|x)•同一条件x下，比较ω1与ω2出现的概率•两类ω1和ω2，则有P(ω1|x)+P(ω2|x)=1•如P(ω1|x)P(ω2|x)则可以下结论，在x条件下，事件ω1出现的可能性大–类条件概率:P(x|ω1)和P(x|ω2)•是在不同条件下讨论的问题•即使只有两类ω1与ω2，P(x|ω1)+P(x|ω1)≠1•P(x|ω1)与P(x|ω2)两者没有联系问题软件工程专业问题•为什么先验概率和类条件概率密度函数可以作为已知，而后验概率需要通过计算获得？–计算概率都要拥有大量数据–估计先验概率与类条件概率密度函数时都可搜集到大量样本–对某一特定事件要搜集大量样本是不太容易–只能借助Bayes公式来计算得到2019/8/30软件工程专业错误率分析•对待分类模式的特征我们得到一个观察值x，合理的决策规则：•决策错误的条件概率（随机变量x的函数）：182019/8/30软件工程专业平均错误率(连续情况)(离散情况)192019/8/30如果我们把作出w1决策的所有观测值区域称为R1，则在R1区内的每个x值，条件错误概率为p(w2|x)。另一个区R2中的x,条件错误概率为p(w1|x)21)()|()()|()(12RRdxxpxPdxxpxPeP因此平均错误率P(e)可表示成软件工程专业2019/8/301R2RHA11()()pPx22()()pPx122()()RpPdxx211()()RpPdxx软件工程专业•优点：癌细胞筛查：是癌细胞但是判断为正常细胞的风险应该比正常细胞判断为癌细胞的风险大得多决策规则最小误差最小风险限定一类错误率─只是在最小错误率下的最优212019/8/30•缺点：–基于后验概率决策的贝叶斯分类器具有最小错误率小结软件工程专业最小风险贝叶斯决策2222019/8/30软件工程专业基本思想•使错误率最小并不一定是一个普遍适用的最佳选择。例如：癌细胞分类，两种错误的代价(损失)不同•两种错误:–癌细胞→正常细胞–正常细胞→癌细胞•宁可扩大一些总的错误率，但也要使总的损失减少。•引进一个与损失有关联的，更为广泛的概念——风险。•在作出决策时，要考虑所承担的风险。2019/8/30软件工程专业相关概率•损耗函数λii=λ(αi/ωi)表示模式样本X本来属于ωi类而判决为ωi类所受损失。•损耗函数λij=λ(αi/ωj)表示模式样本X本来属于ωj类错判为ωi所受损失•风险R（期望损失）：对未知x采取一个判决行动α(x)所付出的代价（损耗）•条件风险（也叫条件期望损失）•在整个特征空间中定义期望风险，期望风险2019/8/30).(,...,2,1,1MaaixPExRjMjjijii)(,平均风险dxxPxxRR软件工程专业最小风险贝叶斯决策2019/8/30决策规则：kiMikxxRxR则,min若,...,2,1软件工程专业最小风险VS最小错误率2019/8/30二类问题：把x归于ω1时风险：把x归于ω2时风险：)()()()()()(22212122121111xPxPxRxPxPxR121121111122221()()()()()0,01:()1,()()()()()1()()()ijijMiijjijjjjjijiiiiRxRxxPxxijijRxPxPxPxPxRxPx最小风险分类规则：时用函数时后验概率最小，就相当于最大软件工程专业聂曼-皮尔逊决策3272019/8/30软件工程专业聂曼－皮尔逊准则•聂曼－皮尔逊准则是在取某类错误率为常数时，另一类错误率尽可能小。例如：2019/8/30211()(|)Pepxwdx)(1xP)(2xP12X1X12122()(|)Pepxwdx120min()..()0PestPe•两类错误率软件工程专业•Lagrange乘子法将有约束极值问题问题转化为2019/8/30120min()(())PePe21120LagrangePxdxPxdx其中：为代定常数，称为乘子。软件工程专业211111021102211,00,PxdxPxdxPxPxdxxPxPxdxxPx因为，由上式可知，要使最小对分界点和求导，令及，得=最佳即是给定条件下能使极小,于是决策规则可定义为：1122()().PxxPx聂曼－皮尔逊规则归结为找合适的阈值注：可以看出聂曼-皮尔逊决策规则与最小错误率贝叶斯决策规则都是以似然比为基础的，不同地是最小错误决策阈值为先验概率之比，而聂曼-皮尔逊决策阈值则是Lagrange乘子。软件工程专业2019/8/30112222221(),,.()(),PxPxPxdx当时作的分界线为的函数。在取为常数时，可确定，此时一定使最小。软件工程专业•优点：322019/8/30•缺点：–必须知道类条件概率（似然）–可以设计理论上最优分类器小结软件工程专业正态分布决策理论4332019/8/30软件工程专业本节和前三节的关系•前三节:基本概念–阶段性的总结•本节:概念具体化–结合一种比较典型的概率分布来进一步分析基于最小错误贝叶斯决策分类器的种种情况软件工程专业本节重点•什么叫正态分布•高斯分布的表达式•如何将正态分布与基于最小错误率的贝叶斯决策结合起来•如何简化方式表示正态分布软件工程专业•研究正态分布的原因–数学上比较简单N(μ,σ²)只有均值和方差两个参数–物理上的合理性软件工程专业单变量正态分布•单变量正态分布概率密度函数定义为2222211()exp(,)22:()(),()()()xPxNExxPxdxExxPxdx其中均值或数学期望，方差1)()(,0)(dxxPxxP列关系：概率密度函数应满足下)(xPX2295.01软件工程专业•思考:正态分布，或高斯分布是先验概率P(ωi)，还是分布P(X|ωi),还是后验概率P(ωi|X)？•不是我们所讨论的先验概率P(ωi)，也不是后验概率P(ωi|X)，而是p(x|ωi)。2019/8/302i11(|)exp22xPx软件工程专业（多变量）多维正态分布2019/8/3011221212111()exp22:,,...,,(,,...,)TnTnTnPxxxxxxxnnnn其中维特征向量，维均值向量为维协方差矩阵(对称阵)，为的逆阵，为的行列式iiiiidxxPxxE)()(nnnnnnnnnnnnTxxxxxxxxExxxxExxE............,...,......111111111111软件工程专业2019/8/3011111111222111212222212...............,............,...nnnnnnnnnijijnnnnExxExxExxExxijij对角线是方差非对角线，是协方差软件工程专业性质①、μ与∑对分布起决定作用P(x)=N(μ,∑),μ由n个分量组成，∑由n(n+1)/2元素组成。∴多维正态分布由n+n(n+1)/2个参数组成。②、等密度点的轨迹是一个超椭球面。区域中心由μ决定，区域形状由∑决定。③、不相关性等价于独立性。若xi与x