第二章贝叶斯决策理论

第2章贝叶斯决策理论12019年8月30日星期五第2章贝叶斯决策理论2.0基本概念2.1最小错误概率的Bayes决策2.2最小风险的Bayes决策2.3Neyman-Pearson决策2.4Bayes估计和Bayes学习2.5正态分布时的Bayes决策法则2.6离散情况的Bayes决策第2章贝叶斯决策理论22019年8月30日星期五两个条件：–各类别总体的概率分布是已知的–要决策的类别数是一定的待识别对象有d种特征测量值，每种特征值都是一个随机变量，组成d维随机向量d种特征的所有取值范围构成d维特征空间12,,,TddxxxRxx2.0基本概念第2章贝叶斯决策理论32019年8月30日星期五把样本x分到哪一类最合理？解决该问题的理论基础之一是统计决策理论决策：是从样本空间S，到决策空间Θ的一个映射，表示为D:S--Θ评价决策有多种标准，对于同一个问题，采用不同的标准会得到不同意义下“最优”的决策。Bayes决策常用的准则最小错误率准则最小风险准则在限定一类错误率条件下使另一类错误率为最小的准则最小最大决策准则第2章贝叶斯决策理论42019年8月30日星期五先验概率：根据大量统计确定某类事物出现的比例，类条件概率密度函数：同一类事物的各个属性都有一定的变化范围，在这些变化范围内的分布概率用一种函数形式表示，则称为类条件概率密度函数。这种分布密度只对同一类事物而言，与其它类事物没有关系。为了强调是同一类事物内部，因此这种分布密度函数往往表示成条件概率的形式。如P(X|男生)，P(X|女生)。第2章贝叶斯决策理论52019年8月30日星期五后验概率：一个具体事物属于某种类别的概率，例如一个学生用特征向量x表示，它是男性或女性的概率表示成P(男生|x)和P(女生|x)，这就是后验概率。由于一个学生只可能为两个性别之一，因此有P(男生|x)+P(女生|x)=1的约束，这一点是与类分布密度函数不同的。后验概率与先验概率也不同，后验概率涉及一个具体事物，而先验概率是泛指一类事物，因此P(男生|x)和P(男生)是两个不同的概念。贝叶斯公式：(|)()(|)(|)()iiijjjpPPpPxxx第2章贝叶斯决策理论62019年8月30日星期五2.1最小错误概率的Bayes决策在模式识别问题中，感兴趣的往往是尽量减小分类错误的概率。为此，我们可以建立一个能得到最小错误率的决策方法。看一个简单的例子。假设某工厂生产两种大小，外形都相同的螺丝钉，一种是铜的，一种是铁的。两种产品混在一起，要求对它们自动分类。分两种情况讨论：（1）先验概率已知；（2）先验概率和条件概率密度函数均已知。第2章贝叶斯决策理论72019年8月30日星期五先验概率已知铁螺丝出现的概率——铜螺丝出现的概率——它们反映了我们在下一个样品出现前对它的类别可能性的先验知识，称这种先于事件的概率为先验概率。合理的决策规则：决策错误的概率：1()P2()P121122()()()()PPPP12()min[(),()]PePP第2章贝叶斯决策理论82019年8月30日星期五先验概率和条件概率密度函数均已知铁螺丝出现的概率——铜螺丝出现的概率——铁螺丝出现的概率——铜螺丝出现的概率————螺丝背光源照射后反射光的亮度特征求取后验概率：1()P2()P1()Px2()Px21()()()()()jjjjjjpPPpPxxxx第2章贝叶斯决策理论92019年8月30日星期五对待分类模式的特征我们得到一个观察值，合理的决策规则：决策错误的条件概率（随机变量的函数）：模式特征是一个随机变量，在应用Bayes法则时，每当观察到一个模式时，得到特征，就可利用后验概率作出分类的决策，同时也会带来一定的错误概率。若观察到大量的模式，对它们作出决策的平均错误概率应是的数学期望。121122()()()()PPPPxxxxx1221()()()PPePxxxxxx()Pex()Pe第2章贝叶斯决策理论102019年8月30日星期五平均错误概率从式可知，如果对每次观察到的特征值，是尽可能小的话，则上式的积分必定是尽可能小的这就证实了最小错误率的Bayes决策法则。下面从理论上给予证明。以两类模式为例。()()()PePepdxxx1()Pex第2章贝叶斯决策理论112019年8月30日星期五21211221112211221122()(,)(,)()()()()()()()()()()()()RRPePxRPxRPxRPPxRPpxPdxpxPdxPPePPe把分类器看做将特征空间分割成决策区域的装置第2章贝叶斯决策理论122019年8月30日星期五1R2RHA11()()pPx22()()pPx122()()RpPdxx211()()RpPdxx第2章贝叶斯决策理论132019年8月30日星期五2.2最小风险的Bayes决策在上一节我们介绍了最小错误率的Bayes决策，并且证明了应用这种决策法则时，平均错误概率是最小的。但实际上有时需要考虑一个比错误率更为广泛的概念——风险，举例说明。毋庸置疑，任何风险都会带来一定损失。看一个一般的决策表。第2章贝叶斯决策理论142019年8月30日星期五12345,,,,x——观察或测量到的d维模式特征向量；12345,,,,——状态或模式类空间——决策空间(,)1,2,,51,2,,5ijij——损失函数，表示真实状态为而所采取的决策为时所带来的某种损失。根据Bayes公式，后验概率为：ji51()()()1,2,,5()()jjjiiipPPjpPxxx第2章贝叶斯决策理论152019年8月30日星期五对于刚才的决策表考虑如下的一个条件期望损失，即给定，我们采取决策情况下的条件期望损失（条件风险）：采取那种决策呢？最小风险Bayes决策规则：51()(,)()(,)1,2,,5iijjijjRPEixxix1,2,,()min()kikiaRRxx12345,,,,第2章贝叶斯决策理论162019年8月30日星期五综上，可知该规则的进行步骤为：（1）根据已知，计算出后验概率；（2）利用计算出的后验概率及决策表（专家根据经验确定），计算条件风险（3）最小风险决策1()()()()()()()jjjjjciiiPpPpPpPxxxxx1()(,)()1,2,,ciijjjRPiaxx1,2,,()min()kiiaRRxx第2章贝叶斯决策理论172019年8月30日星期五这样按最小风险的Bayes决策规则，采取的决策将随的取值而定，引入函数，表示对的决策。对整个特征空间上所有的取值采取相应的决策所带来的平均风险显然，我们对连续的随机模式向量按最小风险Bayes决策规则采取的一系列决策行动可以使平均风险最小。到此为止，我们已经分析了两种分别使错误率和风险达到最小的Bayes决策规则，下面分析一下两种决策规则的关系。(())()RRpdxxxxx()xxx()x第2章贝叶斯决策理论182019年8月30日星期五两类情况下的最小风险Bayes决策损失状态211211122122自然状态分类决策(,)ijij11111221212211222122()()()()()()()()()()RPPRRRPPRRxxxxxxxxxx2121111221222111112222121111122222()()()()()()()()()()()()()()RRPPPPPPxxxxxxxx第2章贝叶斯决策理论192019年8月30日星期五2111112222121111122222121122()()()()()()()()()()()()PPPPPPPPxxxxxxxx在两类问题中，若有，决策规则变为这时最小风险的Bayes决策和最小错误率的Bayes决策规则是一致的。21111222第2章贝叶斯决策理论202019年8月30日星期五一般的多类问题中，设损失函数为0-1损失函数0(,),1,2,,1ijijijcij11()(,)()()cciijjjjjijRPPxxx1,2,,()min()kiicRRxx第2章贝叶斯决策理论212019年8月30日星期五1111,2,,1,2,,11,2,,1,2,,()()()1()()()min()min()min1()max()cjjcjjcjiiikiiccjicjjiiiicicpPPpPRRPPPxxxxxxxx说明什么问题？第2章贝叶斯决策理论222019年8月30日星期五第2章贝叶斯决策理论2.0基本概念2.1最小错误概率的Bayes决策2.2最小风险的Bayes决策2.3Neyman-Pearson决策2.4Bayes估计和Bayes学习2.5正态分布时的Bayes决策法则2.6离散情况的Bayes决策第2章贝叶斯决策理论232019年8月30日星期五2.3Neyman—Pearson决策Neyman—Pearson决策即限定一类错误率条件下使另一类错误率为最小的两类别决策。1R2RHA11()()pPx22()()pPx122()()RpPdxx211()()RpPdxx第2章贝叶斯决策理论242019年8月30日星期五21211111222211220()()()()()()()()()()()()RRRRpxPdxPPepxPdxPPePepxdxPepxdx120()()PePe用Lagrange乘子法建立其数学模型第2章贝叶斯决策理论252019年8月30日星期五12211201111()()()()1()1()RRRRPePepxdxpxdxpxdxpxdx2111111120120021021()()1()()1()()1()()RRRRRRRpxdxpxdxpxdxpxdxpxdxpxdxpxpxdx第2章贝叶斯决策理论262019年8月30日星期五10212122112122111221121()()()()0min()()0()()0()()0()()()()RpxpxdxpxpxxRpxpxxRpxpxxpxpxxpxxpxpxxpx第2章贝叶斯决策理论272019年8月30日星期五1122012()0()0()()()RptppxdxRtRttt取得极小值的边界条件与最小错误率的Bayes决策的比较122112()()()()pxxpxpxxpx121122()()()()PPPPxxxx第2章贝叶斯决策理论282019年8月30日星期五2.4Bayes估计和Bayes学习返回本章首页1Bayes估