模式识别-2.

模式识别基础1第2章贝叶斯决策理论2.1引言统计决策理论——根据每一类总体的概率分布决定决策边界Bayes决策理论是统计决策理论的基本方法要决策分类的类别数c是已知的,各类别状态用ωi表示每一类出现的先验概率P(ωi)已知类条件概率密度p(x|ωi)已知是指根据以往经验和分析得到的概率2第2章贝叶斯决策理论2.1引言全概率公式和贝叶斯准则。就是著名的全概率公式合概率。式的联、是两个事件的全条件概率，其中下为定义：的条件概率。据此则有下是条件其中的概率为；任意事件则有，生的概率为个事件，设每个事件发是)12(),()22()(),()|()|()12()()|()(:1)()(),...2,1(11BAABPBAAPABPABPBAABPAPABPBPBApAPMMiAiiMiiiMiiii3第2章贝叶斯决策理论2.1引言全概率公式和贝叶斯准则)42()()|()()|()32()22(),(),()32()(),()|()12(BPBAPAPABPBayesABPBAPBPBAPBAP准则：可以导出著名的式、，则由因为可以得到全条件概率：由全概率公式4第2章贝叶斯决策理论2.1引言全概率公式和贝叶斯准则1(|)()(|)()()(|)()MiiiBayespxAPAPAxpxpxpxAPA将准则扩展到随机变量、随机向量：全概率：5第2章贝叶斯决策理论2.1引言例：医生要根据病人血液中白细胞的浓度来判断病人是否患血液病。两类的识别问题。根据医学知识和以往的经验医生知道：6第2章贝叶斯决策理论2.1引言患病的人，白细胞的浓度服从均值2000，方差1000的正态分布；未患病的人，白细胞的浓度服从均值7000，方差3000的正态分布；一般人群中，患病的人数比例为0.5%。一个人的白细胞浓度是3100，医生应该做出怎样的判断？7第2章贝叶斯决策理论2.1引言数学表示：用Ω表示“类别”这一随机变量，ω1表示患病，ω2表示不患病；X表示“白细胞浓度”这个随机变量，x表示浓度值。8第2章贝叶斯决策理论2.1引言例子中，医生掌握的知识非常充分，他知道：类别的先验分布：先验分布：没有获得观测数据（病人白细胞浓度）之前类别的分布；9第2章贝叶斯决策理论2.1引言观测数据白细胞浓度分别在两种情况下的类条件分布：已知先验分布和观测值的类条件分布，Bayes决策理论是最优的。10，（也称为后验概率）21)()()()()(jjjiiiPxPPxPxP第2章贝叶斯决策理论2.1引言决策的概念：决策是从样本空间，到决策空间的一个映射，对于刚才的例子，样本空间就是白细胞浓度的取值范围，决策空间11第2章贝叶斯决策理论2.1引言评价决策有多种标准，对于同一个问题，采用不同的标准会得到不同意义下“最优”的决策。Bayes决策是所有识别方法的一个基准（Benchmark）。Bayes决策两种常用的准则：最小错误率；最小风险。122.2几种常用的决策规则2.2.1基于最小错误率的Bayes决策决策的错误率P(e)最小。错误率与条件错误率：误率是条件错误率的数学期望132.2几种常用的决策规则2.2.1基于最小错误率的Bayes决策条件错误率的计算：以两类问题为例，当获得观测值后，有两种决策可能：决定，，或者。条件错误率为：14Bayes最小错误率决策：选择后验概率中大的作为决策，使得在观测值下的条件错误率最小。条件错误率：错误率：2.2几种常用的决策规则2.2.1基于最小错误率的Bayes决策152.2几种常用的决策规则2.2.1基于最小错误率的Bayes决策类条件概率密度后验概率162.2几种常用的决策规则2.2.1基于最小错误率的Bayes决策17Bayes最小错误率决策不仅保证了错误率（条件错误率的期望）最小，而且保证每个观测值下的条件错误率最小，Bayes决策是一致最优决策。2.2几种常用的决策规则2.2.1基于最小错误率的Bayes决策18例如：细胞识别问题ω1正常细胞，ω2异常细胞某地区，经大量统计获先验概率P(ω1),P(ω2)。若取该地区某人细胞x属何种细胞，只能由先验概率决定。这种分类器决策无意义221121),()(),()(xPPxPP对x再观察：需要利用对细胞做病理分析所观测到的信息，即特征。如细胞光密度特征,有类条件概率密度:P(x|ωί)，ί=1,2,…。如图所示)(1xP)(2xPx条件概率密度分布)(ixP2.2几种常用的决策规则2.2.1基于最小错误率的Bayes决策19利用贝叶斯公式：，（也称为后验概率）21)()()()()(jjjiiiPxPPxPxP通过对细胞的再观察，就可以把先验概率转化为后验概率，利用后验概率可对未知细胞x进行识别。221121),()(),()(xxPxPxxPxP则若则若)(1xP)(2xPx2.04.06.08.00.1后验概率分布)(xPi2.2几种常用的决策规则2.2.1基于最小错误率的Bayes决策20后验概率的计算：Bayes公式：先验概率类条件概率2.2几种常用的决策规则2.2.1基于最小错误率的Bayes决策21对数域中计算，变乘为加：比较大小不需要计算：2.2几种常用的决策规则2.2.1基于最小错误率的Bayes决策22设N个样本分为两类ω1，ω2。每个样本抽出n个特征，x=（x1，x2，x3，…，xn）T1、判别函数：若已知先验概率P(ω1),P(ω2)，类条件概率密度P(x|ω1)，P(x|ω2)。则可得贝叶斯判别函数四种形式：)(,)()(ln)()(ln)()4()(,)()()()()()3()(),()()()()()2()(),()()()1(12211221221121取对数方法似然比形式类条件概率密度后验概率PPxPxPxgPPxPxPxgPxPPxPxgxPxPxg2.2几种常用的决策规则2.2.1基于最小错误率的Bayes决策23)(,)()(ln)()(ln)()4()(,)()()()()()3()(),()()()()()2()(),()()()1(12211221221121取对数方法似然比形式类条件概率密度后验概率PPxPxPxgPPxPxPxgPxPPxPxgxPxPxg2112212112212122112121)()(ln)()(ln)()4()()()()()3()()()()()2()()()1(xPPxPxPxgxPPxPxPxPxPPxPxxPxP2、决策规则：2.2几种常用的决策规则2.2.1基于最小错误率的Bayes决策24例：某地区细胞识别；P(ω1)=0.9，P(ω2)=0.1，未知细胞x，先从类条件概率密度分布曲线上查到：P(x/ω1)=0.2，P(x/ω2)=0.4.),()(),()(,182.0)(1)(818.01.04.09.02.09.02.0)()()()()(211211221111用所以先验概率起很大作因为属正常细胞。因为PPxxPxPxPxPPxPPxPxPjjj2.2几种常用的决策规则2.2.1基于最小错误率的Bayes决策25解：该细胞属于正常细胞还是异常细胞，先计算后验概率：作业：患病的人，白细胞的浓度服从均值2000，方差1000的正态分布；未患病的人，白细胞的浓度服从均值7000，方差3000的正态分布一般人群中，患病的人数比例为0.5%。一个人的白细胞浓度是3100，他患病的概率是多少？2.2几种常用的决策规则2.2.1基于最小错误率的Bayes决策26多类识别问题的Bayes最小错误率决策：在观测值下的每个决策的条件错误率为：决策为：2.2几种常用的决策规则2.2.1基于最小错误率的Bayes决策27多类识别问题的Bayes最小错误率决策：2.2几种常用的决策规则2.2.1基于最小错误率的Bayes决策21311112322212111()()()...()()()()...()()...()()...()()()()(jiMMMMMMMMMjiiijPePxRPxRPxRPPxRPxRPxRPPxRPxRPxRPPxRP总错误率计算量很大）MiiRiMiiiidxPxPPRxPMPi11)()()()()(用平均正确分类概率：，计算相对简单。错误率：)(1)(MPeP28决策的风险：以医生根据白细胞浓度判断一个人是否患血液病为例：没病被判为有病，还可以做进一步检查，损失不大；有病被判为无病，损失严重。做决策要考虑决策可能引起的损失。2.2几种常用的决策规则2.2.2基于最小风险的Bayes决策29行动αi：表示把模式x判决为ωi类的一次动作。损耗函数λii=λ(αi|ωi)表示模式X本来属于ωi类,而判为ωi所受损失。因为这是正确判决，故损失最小。损耗函数λij=λ(αi|ωj)表示模式X本来属于ωj类错判为ωi所受损失。因为这是错误判决，故损失最大。风险R（期望损失）：对未知x采取一个判决行动α(x)所付出的代价（损耗）2.2几种常用的决策规则2.2.2基于最小风险的Bayes决策30损失的定义：(N类问题)做出决策，但实际上受到的损失：损失矩阵：2.2几种常用的决策规则2.2.2基于最小风险的Bayes决策31基于最小风险的Bayes决策：决策带来的损失的平均值—风险最小。平均的两重含义：获得观测值后，决策造成的损失对实际所属类别的各种可能的平均，称为条件风险：2.2几种常用的决策规则2.2.2基于最小风险的Bayes决策32条件风险对观测值的数学期望，称为风险：Bayes最小风险决策通过保证每个观测值下的条件风险最小，使得它的数学期望—风险最小，是一致最优决策。2.2几种常用的决策规则2.2.2基于最小风险的Bayes决策33最小风险决策的计算：给定损失矩阵，算出每个决策的条件风险，取最小的。某些特殊问题，存在简单的解析表达式。2.2几种常用的决策规则2.2.2基于最小风险的Bayes决策34例：两类问题的最小风险Bayes决策：2.2几种常用的决策规则2.2.2基于最小风险的Bayes决策35用Bayes公式展开：2.2几种常用的决策规则2.2.2基于最小风险的Bayes决策36基于最小错误率的Bayes决策也可以看作最小风险Bayes决策的一种特殊情形。只需要定义损失为：决策正确时，损失为0；错误时为1。2.2几种常用的决策规则2.2.2基于最小风险的Bayes决策372.2几种常用的决策规则2.2.2基于最小风险的Bayes决策121211122122()0.9,()0.1,()0.2,()0.40,6,1,0PPPxPx例：已知正常细胞先验概率为异常为从类条件概率密度分布曲线上查的，38决策\状态0610121239122111221221112112()0.818,()0.182()()()1.092()()0.818()(),6jjjPxPxRxPxPxRxPxRxRxx由上例中计算出的后验概率：条件风险：异常细胞因决策类风险大。因＝较大，决策损失起决定作用。二类问题：把x归于ω1时风险：把x归于ω2时风险：)()()()()()(22212122121111xPxPxRxPxPxR2.2.3