第二章贝叶斯决策理论2014

内容纲要研究目的和意义1425130011001010101101000101001011第二章贝叶斯决策理论01内容纲要研究目的和意义22.1分类器设计（以统计概率为基础）2.2Bayes决策的讨论/基本概念2.3基于最小错误率的Bayes决策2.4基于最小风险的Bayes决策2.5Bayes决策比较2.6Bayes分类实现2.7两类错误率与ROC曲线2.8本章小结第二章贝叶斯决策理论第二章内容纲要内容纲要研究目的和意义31.5模式识别系统第一章绪论计算机分类识别计算机分析内容纲要研究目的和意义41.5模式识别系统第一章绪论一个典型的模式识别系统（监督模式识别）一个典型的模式识别系统一般由数据获取，预处理，特征提取选择、分类决策及分类器设计五部分组成。分类器设计在训练过程中完成，利用样本进行训练，确定分类器的具体参数。而分类决策在识别过程中起作用，对待识别的样本进行分类决策。内容纲要研究目的和意义52.1分类器设计（以特征值的统计概率为基础）第二章贝叶斯决策理论内容纲要研究目的和意义62.基于数据的方法基本思想：确定了描述样本所采用的特征之后，收集一定数量的已知样本，用这些样本作训练集来训练一定的模式识别机器，使之在训练后能够对未知样本进行分类。（主要的方法，基础是统计模式识别。）1.3模式识别的主要方法第一章绪论内容纲要研究目的和意义7（1）由于样本的统计变化的原因，以“特征值的统计概率为基础”开始。（2）基本思路：设计分类器，将未知类型的样本分类到最可能的类别中！（3）需要定义，什么是“最可能”？2.1.1基本思路第二章贝叶斯决策理论？X？X内容纲要研究目的和意义8第二章贝叶斯决策理论“可能性”“概率”)|(BAP“条件概率”？如何计算？贝叶斯规则（公式）！2.1.1基本思路内容纲要研究目的和意义92.1.2Bayes公式第二章贝叶斯决策理论内容纲要研究目的和意义102.1.2Bayes公式第二章贝叶斯决策理论Bayes公式如下：njjjiiiPXPPXPXP1)()|()()|()|(Bayes公式体现了先验概率、类概率密度函数、后验概率三者之间的关系。)(iP)|(iXP先验概率类条件概率密度函数后验概率)|(XPi内容纲要研究目的和意义11第二章贝叶斯决策理论贝叶斯准则内容纲要研究目的和意义12第二章贝叶斯决策理论对于待测样品，Bayes公式可以计算出该样品分属各类别的概率，叫做后验概率。看X属于哪个类的可能性最大，就把X归于可能性最大的那个类，后验概率作为识别对象归属的依据。基本的贝叶斯决策思路！！！2.1.2Bayes公式内容纲要研究目的和意义132.2Bayes决策的讨论第二章贝叶斯决策理论内容纲要研究目的和意义142.2.1Bayes决策所讨论的问题第二章贝叶斯决策理论分类问题解决了吗？内容纲要研究目的和意义152.2Bayes决策的讨论第二章贝叶斯决策理论例：某制药厂生产的药品检验识别目的：说明Bayes决策所要解决的问题！！如图所示，正常药品“＋“，异常药品”-”。识别的目的是要依据X向量将药品划分为两类。内容纲要研究目的和意义16对于图来说，可以用一直线作为分界线，这条直线是关于X的线性方程，称为线性分类器。2.2Bayes决策的讨论第二章贝叶斯决策理论FeatureSpace内容纲要研究目的和意义17问题在于出现模棱两可的情况，如图4-2所示。2.2Bayes决策的讨论第二章贝叶斯决策理论1.此时，任何决策都存在判错的可能性。2.所观察到的某一样品的特征向量X，在M类中又有不止一类可能呈现这一X值，无论直线参数如何设计，总会有错分类发生。内容纲要研究目的和意义18（1）按什么规则设计分类器（完成分类）？（2）当分类器的设计完成后，对待测样品进行分类，一定能正确分类吗？（3）如果有错分类情况发生，是在何种情况下出现的？错分类的可能性会有多大？2.2.1Bayes决策所讨论的问题第二章贝叶斯决策理论内容纲要研究目的和意义19如果以错分类最小为原则分类，则图中A直线可能是最佳的分界线，它使错分类的样品数量为最小。2.2Bayes决策的讨论第二章贝叶斯决策理论选A，将“－”误为“+”，错分3个样本选B，将“+”误为“－”，错分4个样本内容纲要研究目的和意义20如果将一个“－“样品错分为”＋“类所造成的损失要比将”＋“分成”－“类严重。偏向使对”－“类样品的错分类进一步减少，可以使总的损失最小，那么B直线就可能比A直线更适合作为分界线。2.2Bayes决策的讨论第二章贝叶斯决策理论将“－”误为“+”，将“+”误为“－”+内容纲要研究目的和意义21分类器参数的选择或者学习过程得到的结果取决于设计者选择什么样的准则函数。不同准则函数的最优解对应不同的学习结果，得到性能不同的分类器。2.2Bayes决策的讨论第二章贝叶斯决策理论内容纲要研究目的和意义22（1）按什么规则设计分类器（完成分类）？（2）当分类器的设计完成后，对待测样品进行分类，一定能正确分类吗？（3）如果有错分类情况发生，是在何种情况下出现的？错分类的可能性会有多大？2.2.1Bayes决策所讨论的问题第二章贝叶斯决策理论内容纲要研究目的和意义23错分类往往难以避免，这种可能性可用表示。2.2Bayes决策的讨论第二章贝叶斯决策理论)|(XPi内容纲要研究目的和意义24错分类往往难以避免，这种可能性可用表示。如何做出合理的判决就是Bayes决策所要讨论的问题。2.2Bayes决策的讨论第二章贝叶斯决策理论)|(XPi内容纲要研究目的和意义25错分类往往难以避免。如何做出合理的判决就是Bayes决策所要讨论的问题。其中最有代表性的是:2.2Bayes决策的基本概念第二章贝叶斯决策理论基于错误率的Bayes决策基于最小风险的Bayes决策内容纲要研究目的和意义261）基于最小错误率的Bayes决策指出了机器自动识别出现错分类的条件；错分类的可能性如何计算；如何实现使错分类出现可能性最小。2.2Bayes决策的基本概念第二章贝叶斯决策理论内容纲要研究目的和意义27如果将一个“－“样品错分为”＋“类所造成的损失要比将”＋“分成”－“类严重。偏向使对”－“类样品的错分类进一步减少，可以使总的损失最小，那么B直线就可能比A直线更适合作为分界线。2.2Bayes决策的讨论第二章贝叶斯决策理论将“－”误为“+”，将“+”误为“－”+内容纲要研究目的和意义282）基于最小错误风险的Bayes决策在最小错误率的决策基础上，引入了“风险”与“损失”概念，希望做到使风险最小，减小危害大的错分类情况。2.2Bayes决策的讨论第二章贝叶斯决策理论本页图片来自百度搜索引擎内容纲要研究目的和意义29从图4－2可见，错分类有不同情况，两种错误造成的损失不一样，不同的错误分类造成的损失会不相同，后一种错误更可怕，因此就要考虑减小因错分类的危害损失。2.2Bayes决策的讨论第二章贝叶斯决策理论内容纲要研究目的和意义302.2.2Bayes公式第二章贝叶斯决策理论内容纲要研究目的和意义312.2Bayes决策的基本概念第二章贝叶斯决策理论对于待测样品，Bayes公式可以计算出该样品分属各类别的概率，叫做后验概率。看X属于哪个类的可能性最大，就把X归于可能性最大的那个类，后验概率作为识别对象归属的依据。内容纲要研究目的和意义322.2Bayes决策的基本概念第二章贝叶斯决策理论Bayes公式如下：njjjiiiPXPPXPXP1)()|()()|()|(Bayes公式体现了先验概率、类概率密度函数、后验概率三者之间的关系。)(iP)|(iXP先验概率类条件概率密度函数后验概率)|(XPi内容纲要研究目的和意义332.2Bayes决策的基本概念第二章贝叶斯决策理论)(iP)(iP1、先验概率先验概率针对M个事件出现的可能性而言，不考虑其他任何条件。内容纲要研究目的和意义342.2Bayes决策的基本概念第二章贝叶斯决策理论)(iP1n2n1、举例说明：什么是先验概率？，异常药品数为由统计资料表明总药品数为n，其中正常药品数为则nnP11)(nnP22)(先验概率!显然在一般情况下正常药品占比例大，即)()(21PP由先验概率所提供的信息太少！！！内容纲要研究目的和意义352.2Bayes决策的基本概念第二章贝叶斯决策理论)|(iXP类条件概率密度函数)|(iXP是指在已知某类别的特征空间中，出现特征值X的概率密度，i即第类样品它的属性X是如何分布的。2、类条件概率密度函数内容纲要研究目的和意义362.2Bayes决策的基本概念第二章贝叶斯决策理论假定只用某一个特征进行分类，即d＝1。并已知这两类的类条件概率函数分布，如图4－3所示。概率密度函数)|(1XP是正常药品的属性分布，概率密度函数)|(2XP是异常药品的属性分布。内容纲要研究目的和意义372.2Bayes决策的基本概念第二章贝叶斯决策理论如果采用正态密度函数作为类条件概率密度的函数形式，则函数内的参数（如期望和方差）是未知的，那么问题就变成了如何利用大量样品对这些参数进行估计。)|(iXP也就确定了。在工程上的许多问题中，统计数据往往满足正态分布规律。正态分布简单，分析简单，参量少，是一种适宜的数学模型。只要估计出这些参数，类条件概率密度函数内容纲要研究目的和意义382.2Bayes决策的基本概念第二章贝叶斯决策理论单变量正态分布概率密度函数为：])(21exp[21)(2xxP为数学期望（均值）dxxxPxE)()(2为方差：dxxPxxE)()(])[(222内容纲要研究目的和意义392.2Bayes决策的基本概念第二章贝叶斯决策理论多维正态概率密度函数为：)]()(21exp[||)2(1)(12/12/XSXSXPTN),...,,(21NxxxX为N维特征向量；为N),...,,(21N]))([(TXXES维均值向量；为N维协方差矩阵；1S是S的逆矩阵；||S是S的行列式。内容纲要研究目的和意义402.2Bayes决策的基本概念第二章贝叶斯决策理论在大多数情况下，类条件概率密度函数可以采用多维变量的正态概率密度函数类模拟，即||ln212ln2)()(21)]()(21exp[||)2(1ln)|(112/12/iiiTiiiTiiNiSNXSXXSXSXP内容纲要研究目的和意义412.2Bayes决策的基本概念第二章贝叶斯决策理论3、后验概率后验概率是指呈现状态X时，该样品分属各类别的概率，这个概率值可以作为识别对象归属的依据。内容纲要研究目的和意义422.2Bayes决策的基本概念第二章贝叶斯决策理论由于属于不同类的待识别对象存在着呈现相同观察值的可能，即所观察到的某一样品的特征向量为X，而在M类中又有不止一类可能呈现这一X值，它属于各类的概率又是多少呢？这种可能性可用)|(XPi表示！！后验概率！！内容纲要研究目的和意义432.2Bayes决策的基本概念第二章贝叶斯决策理论njjjiiiiPXPPXPXP1)()|()()|()|()|(XPi是表示在X出现条件下，样品为i类的概率。在这里要弄清楚条件概率这个概念。内容纲要研究目的和意义442.2Bayes决策的基本概念第二章贝叶斯决策理论4、)|(1XP和)|(2XP与)|(1XP和)|(2XP的区别①)|(1XP和)|(2XP是在同一条件X下，比较1和2出现的概率。内容纲要研究目的和意义452.2Bayes决策的基本概念第二章贝叶斯决策理论①如)|()|(21XPXP则可以下结论，在X条件下，事件1出现的可能性大。两类情况下，则有1)|()|(21XPXP如图4－4所示。内容纲要研究目的和意义462.2Bayes决策的基本概念