2_贝叶斯决策理论

11模模式式识识别别PatternRecognitionPatternRecognition吴贵芳吴贵芳[e-mail]@126.com2222贝叶斯决策理论贝叶斯决策理论‹‹引言引言‹‹贝叶斯决策理论贝叶斯决策理论‹‹最小误差率分类最小误差率分类‹‹分类器、判别函数及决策面分类器、判别函数及决策面‹‹正态分布密度正态分布密度((TheNormalDensity)‹‹正态分布的判别函数正态分布的判别函数332.12.1引言引言信号空间特征空间数据获取数据获取预处理预处理特征提取特征提取与选择与选择分类决策分类决策分类器分类器设计设计44基本概念基本概念‹模式分类：根据识别对象的观测值确定其：根据识别对象的观测值确定其类别类别‹‹样本与样本空间：样本与样本空间：[]12,,,TndxxxR=∈xx{}12,,,,icωωωωΩ=‹‹类别与类别空间：类别与类别空间：cc个个类别（类别数已知）类别（类别数已知）55决策决策‹‹把把xx分到哪一类昀合理？分到哪一类昀合理？理论基础理论基础之一是之一是统计决策理论‹‹决策：是从样本空间决策：是从样本空间SS，到决策空，到决策空间间ΘΘ的一个的一个映射，表示为，表示为D:SD:S--ΘΘ66决策决策准则准则‹‹评价决策有多种标准，对于同一个问题，评价决策有多种标准，对于同一个问题，采用不同的标准会得到不同意义下采用不同的标准会得到不同意义下““最优最优””的决策。的决策。‹‹BayesBayes决策常用的准则：决策常用的准则：¾¾昀小错误率昀小错误率准则准则¾¾昀小风险昀小风险准则准则¾¾在限定一类错误率条件下使另一类错误在限定一类错误率条件下使另一类错误率为昀小的准则率为昀小的准则((NeymanNeyman——PearsonPearson决策决策))¾¾昀小昀大决策准则昀小昀大决策准则772.12.1引言引言‹‹鲈鱼鲈鱼//鲑鱼例子鲑鱼例子¾¾自然状态自然状态(Stateofnature),(Stateofnature),先验的先验的(prior)(prior)--------类别状态，类别状态，ωωii,,ii=1,2=1,2¾¾ωωii类别状态是一个随机变量类别状态是一个随机变量,,PP((ωωii))表示表示为先验概率为先验概率。。¾¾捕获鲈鱼和鲑鱼的几率相等。捕获鲈鱼和鲑鱼的几率相等。PP((ωω11)=)=PP((ωω22)()(先验先验))P(P(ωω11)+P()+P(ωω22)=1()=1(排除其它鱼的种类排除其它鱼的种类))88‹‹仅含先验信息的仅含先验信息的判别规则判别规则(Decisionrule)(Decisionrule)¾¾如果如果P(P(ωω11)P()P(ωω22))，则选择，则选择ωω11¾¾否则，选择否则，选择ωω22‹‹采用类条件信息采用类条件信息(class(class––conditionalconditionalinformation)information)‹‹PP(x|(x|ωω11))和和PP(x|(x|ωω22))描述在鲈鱼和鲑鱼总群之描述在鲈鱼和鲑鱼总群之间光泽度的差异。间光泽度的差异。991010‹‹后验后验(Posterior),(Posterior),似然似然(likelihood),(likelihood),全概全概率率(evidence(evidence------证据证据?)?)()()()()iiipxPPxpxωωω•=对于两类的全概率为：对于两类的全概率为：∑ωω===2j1jjj)(P)|x(P)x(P×=似然先验后验(分布或密度)全概率类条件概率密度类条件概率密度==似然似然11111212‹‹基于后验分布的基于后验分布的判别规则判别规则存在一个观察值存在一个观察值x(x(特征特征))如果如果P(P(ωω11|x)P(|x)P(ωω22|x)|x)类别状态类别状态==ωω11如果如果P(P(ωω11|x)P(|x)P(ωω22|x)|x)类别状态类别状态==ωω22因此因此，，无论何时观测到某一个特定值无论何时观测到某一个特定值xx，，概率误差为：概率误差为：P(error|xP(error|x)=P()=P(ωω11|x)|x)判定为判定为ωω22((错误选择错误选择ωω11););P(error|xP(error|x)=P()=P(ωω22|x)|x)判定为判定为ωω11((错误选择错误选择ωω22););1313错误概率的昀小化判定规则：错误概率的昀小化判定规则：如果如果P(P(ωω11|x)P(|x)P(ωω22|x)|x)，判定为，判定为ωω11；；否则，判定为否则，判定为ωω22。。因此，因此，P(errorP(error|x)=min[P(|x)=min[P(ωω11|x),P(|x),P(ωω22|x)]|x)]((基于昀小错误的贝叶斯决策基于昀小错误的贝叶斯决策BayesBayesdecision)decision)1414121122()()()()PPPPωωωωωω⎧⎪⎨⎪⎩xxxx对待分类模式的特征我们得到一个观察值对待分类模式的特征我们得到一个观察值xx，，合理的决策规则：合理的决策规则：1221()()()PPePωωωω⎧⎪=⎨⎪⎩xxx决策错误的条件概率（随机变量决策错误的条件概率（随机变量xx的函数）：的函数）：模式特征模式特征xx是一个随机变量，在应用是一个随机变量，在应用BayesBayes法则法则时，每当观察到一个模式时，得到特征时，每当观察到一个模式时，得到特征xx，就可利，就可利用后验概率作出分类的决策，同时也会带来一定的用后验概率作出分类的决策，同时也会带来一定的错误概率。若观察到大量的模式，对它们作出决策错误概率。若观察到大量的模式，对它们作出决策的平均错误概率的平均错误概率PP((ee))应是应是PP((ee||xx))的数学期望。的数学期望。1515‹‹从式可知，如果对每次观察到的特征值从式可知，如果对每次观察到的特征值xx，，PP((ee||ωω))是尽可能小的话，则上式是尽可能小的话，则上式的积分必定是尽可能小的这就证实了昀小的积分必定是尽可能小的这就证实了昀小错误率的错误率的BayesBayes决策法则。下面从理论上决策法则。下面从理论上给予证明。以两类模式为例。给予证明。以两类模式为例。()()()PePepd+∞−∞=∫xxx平均错误概率平均错误概率161621211221112211221122()(,)(,)()()()()()()()()()()()()RRPePxRPxRPxRPPxRPpxPdxpxPdxPPePPeωωωωωωωωωωωω=∈+∈=∈+∈=+=+∫∫17171R2RHA11()()pPωωx22()()pPωωx122()()RpPdxωω∫x211()()RpPdxωω∫x1818四种四种基于最小错误的Bayes决策形式形式1122(x)(x)PPxωωωω⎧→∈⎨⎩1.1.后验形式后验形式⎩⎨⎧∈→212211)()()()(ωωωωωωxPxPPxP2.2.先验形式先验形式⎩⎨⎧∈→=211221)()()()()(ωωωωωωxPPxPxPxl3.3.似然比似然比4.4.似然对数似然对数))()(ln()/(ln)/(ln))(ln()(1221ωωωωPPXpXpXlXh−=−=⎩⎨⎧∈→21ωωX1919™例：某地区细胞识别；P(ω1)=0.9，P(ω2)=0.1未知细胞x，先从类条件概率密度分布曲线上查到：P(x/ω1)=0.2，P(x/ω2)=0.4问该细胞属于正常细胞还是异常细胞。解：先计算后验概率：11121()()0.20.9()0.8180.20.90.40.1()()jjjPxPPxPxPωωωωω=×===×+×∑21()1()0.182PxPxωω=−=121()(),PxPxxωωω∴∈因为属正常细胞。12()(),PPωω因为所以先验概率起很大作用。20202.22.2贝叶斯决策理论贝叶斯决策理论上述分类基于错误率最小化的所得到规则，但有上述分类基于错误率最小化的所得到规则，但有时要考虑比错误率更广泛的概念时要考虑比错误率更广泛的概念----------风险风险。。风险风险与与损失损失密切相连。密切相连。比如对细胞分类固然尽可能正确判断，但判错了比如对细胞分类固然尽可能正确判断，但判错了的后果将怎样？的后果将怎样？正常正常→→异常：精神负担；异常：精神负担；异异常常→→正正常：失去进一步治疗的机会。常：失去进一步治疗的机会。显然这两种不同的错误判断所造成损失的严重程显然这两种不同的错误判断所造成损失的严重程度是有显著差别的，后者的损失比前者更严重。度是有显著差别的，后者的损失比前者更严重。最小风险贝叶斯决策正是考虑各种错误造成损失最小风险贝叶斯决策正是考虑各种错误造成损失不同而提出的一种决策规则。不同而提出的一种决策规则。2121‹‹上述思想一般化推广上述思想一般化推广¾¾采用多个特征采用多个特征((特征矢量特征矢量))；；¾¾类别状态多于两个；类别状态多于两个；¾¾决策行动不局限于判定类别状态。不局限于判定类别状态。¾¾引入损失函数引入损失函数(lossoffunction)(lossoffunction)代替误差概率。决策行动代替误差概率。‹‹决策行为不是以错误分类的概率为基础，决策行为不是以错误分类的概率为基础，而是行为风险的代价为决策依据。而是行为风险的代价为决策依据。‹‹损失函数损失函数(lossfunction)(lossfunction)状态表示每次采取状态表示每次采取行动的代价。行动的代价。2222““损失函数损失函数””：：表示当真实状态为表示当真实状态为ωωii时而采时而采取的决策行为为取的决策行为为ααjj时所带来的损失时所带来的损失((风险风险))。。已知已知先验概率先验概率PP((ωωjj))、、类条件概率密度类条件概率密度pp(x/(x/ωωjj))，由贝叶斯公式，得，由贝叶斯公式，得后验概率后验概率PP((ωωjj/x/x))引入损失概念，考虑错判所造成损失，不引入损失概念，考虑错判所造成损失，不能只由后验概率的大小来决策，而应考虑所能只由后验概率的大小来决策，而应考虑所采取决策是否使损失最小。采取决策是否使损失最小。2323设设{{ωω11,,ωω22,,……,,ωωcc}}是是cc个个类别的集合类别的集合((状态状态))。。设设{{αα11,,αα22,,……,,ααaa}}是是aa种种采取的决策行为。采取的决策行为。记记λλ((ααii||ωωjj)()(损失函数损失函数))是是类别状态类别状态为为ωωjj时采用时采用决决策行为策行为ααII的风险。的风险。对于对于ii=1,=1,……,,aa，，条件风险条件风险RR((ααii|x|x))定义为：定义为：()()()1xxciijjjRPαλαωω==⋅∑它是在它是在cc个个类别状态中任取某个类别状态中任取某个状态状态ωωjj时，采用时，采用决策决策ααII的的风险风险λλ((ααii||ωωjj))相对于相对于后验概率后验概率P(P(ωωjj/x/x))的条件期望。的条件期望。24241(/x)[()]()(),1,2,....,iijcijjjREPxiCαλαωλαωω====∑ƒƒ观察值观察值xx是随机向量，不同的是随机向量，不同的观察值观察值xx，采取，采取决策决策ααii时，其条件风险的大小是不同的。所时，其条件风险的大小是不同的。所以，究竟采取哪一种决策将随以，究竟采取哪一种决策将随xx的取值而定。的取值而定。ƒƒ决策决策αα看成随机看成随机向量向量xx的函数，因此，它也是的函数，因此，它也是一个随机变量。一个随机变量。条件风险条件风险RR((ααii|x|x))反映反映给定的给定的观观察值察值xx，采取，采取决策决策ααii时，所有类别状态下带来时，所有类别状态下带来风险的平均值。风险的