2第二章贝叶斯决策理论XXXX-t

内容纲要研究目的和意义10011001010101101000101001011第二章贝叶斯决策理论01内容纲要研究目的和意义21.5模式识别系统第一章绪论计算机分类识别计算机分析内容纲要研究目的和意义31.5模式识别系统第一章绪论一个典型的模式识别系统（监督模式识别）一个典型的模式识别系统一般由数据获取，预处理，特征提取选择、分类决策及分类器设计五部分组成。分类器设计在训练过程中完成，利用样本进行训练，确定分类器的具体参数。而分类决策在识别过程中起作用，对待识别的样本进行分类决策。内容纲要研究目的和意义42.1分类器设计（以统计概率为基础）2.2Bayes决策的基本概念2.3基于最小错误率的Bayes决策2.4基于最小风险的Bayes决策2.5Bayes决策比较2.6Bayes分类实现2.7两类错误率与ROC曲线2.8本章小结第二章贝叶斯决策理论第二章内容纲要内容纲要研究目的和意义5第二章贝叶斯决策理论第二章内容纲要内容纲要研究目的和意义62.1分类器设计（以特征值的统计概率为基础）第二章贝叶斯决策理论内容纲要研究目的和意义72.基于数据的方法基本思想：确定了描述样本所采用的特征之后，收集一定数量的已知样本，用这些样本作训练集来训练一定的模式识别机器，使之在训练后能够对未知样本进行分类。（主要的方法，基础是统计模式识别。）1.3模式识别的主要方法第一章绪论内容纲要研究目的和意义8（1）由于样本的统计变化的原因，以“特征值的统计概率为基础”开始。（2）基本思路：设计分类器，将未知类型的样本分类到最可能的类别中！（3）需要定义，什么是“最可能”？2.1.1基本思路第二章贝叶斯决策理论？X？X内容纲要研究目的和意义9第二章贝叶斯决策理论“可能性”“概率”)|(BAP“条件概率”？如何计算？贝叶斯规则（公式）！2.1.1基本思路内容纲要研究目的和意义10贝叶斯准则内容纲要研究目的和意义112.1.2Bayes公式第二章贝叶斯决策理论内容纲要研究目的和意义122.1.2Bayes公式第二章贝叶斯决策理论Bayes公式如下：njjjiiiPXPPXPXP1)()|()()|()|(Bayes公式体现了先验概率、类概率密度函数、后验概率三者之间的关系。)(iP)|(iXP先验概率类条件概率密度函数后验概率)|(XPi内容纲要研究目的和意义13第二章贝叶斯决策理论)(iP)(iP1、先验概率先验概率针对M个事件出现的可能性而言，不考虑其他任何条件。内容纲要研究目的和意义14第二章贝叶斯决策理论)(iP1n2n1、举例说明：什么是先验概率？，异常药品数为由统计资料表明总药品数为n，其中正常药品数为则nnP11)(nnP22)(先验概率!显然在一般情况下正常药品占比例大，即)()(21PP由先验概率所提供的信息太少！！！内容纲要研究目的和意义15第二章贝叶斯决策理论)|(iXP类条件概率密度函数)|(iXP是指在已知某类别的特征空间中，出现特征值X的概率密度，i即第类样品它的属性X是如何分布的。2、类条件概率密度函数内容纲要研究目的和意义16第二章贝叶斯决策理论假定只用某一个特征进行分类，即d＝1。并已知这两类的类条件概率函数分布，如图4－3所示。概率密度函数)|(1XP是正常药品的属性分布，概率密度函数)|(2XP是异常药品的属性分布。内容纲要研究目的和意义17第二章贝叶斯决策理论如果采用正态密度函数作为类条件概率密度的函数形式，则函数内的参数（如期望和方差）是未知的，那么问题就变成了如何利用大量样品对这些参数进行估计。)|(iXP也就确定了。在工程上的许多问题中，统计数据往往满足正态分布规律。正态分布简单，分析简单，参量少，是一种适宜的数学模型。只要估计出这些参数，类条件概率密度函数内容纲要研究目的和意义18第二章贝叶斯决策理论第二章中心极限原理内容纲要研究目的和意义19第二章贝叶斯决策理论单变量正态分布概率密度函数为：])(21exp[21)(2xxP为数学期望（均值）dxxxPxE)()(2为方差：dxxPxxE)()(])[(222内容纲要研究目的和意义20第二章贝叶斯决策理论多维正态概率密度函数为：)]()(21exp[||)2(1)(12/12/XSXSXPTN),...,,(21NxxxX为N维特征向量；为N),...,,(21N]))([(TXXES维均值向量；为N维协方差矩阵；1S是S的逆矩阵；||S是S的行列式。内容纲要研究目的和意义21第二章贝叶斯决策理论在大多数情况下，类条件概率密度函数可以采用多维变量的正态概率密度函数类模拟，即||ln212ln2)()(21)]()(21exp[||)2(1ln)|(112/12/iiiTiiiTiiNiSNXSXXSXSXP内容纲要研究目的和意义22第二章贝叶斯决策理论第二章内容纲要内容纲要研究目的和意义23第二章贝叶斯决策理论第二章补充内容内容纲要研究目的和意义24第二章贝叶斯决策理论第二章补充内容内容纲要研究目的和意义25第二章贝叶斯决策理论第二章补充内容内容纲要研究目的和意义26第二章贝叶斯决策理论3、后验概率后验概率是指呈现状态X时，该样品分属各类别的概率，这个概率值可以作为识别对象归属的依据。内容纲要研究目的和意义27第二章贝叶斯决策理论由于属于不同类的待识别对象存在着呈现相同观察值的可能，即所观察到的某一样品的特征向量为X，而在M类中又有不止一类可能呈现这一X值，它属于各类的概率又是多少呢？这种可能性可用)|(XPi表示！！后验概率！！内容纲要研究目的和意义28第二章贝叶斯决策理论njjjiiiiPXPPXPXP1)()|()()|()|()|(XPi是表示在X出现条件下，样品为i类的概率。在这里要弄清楚条件概率这个概念。内容纲要研究目的和意义29第二章贝叶斯决策理论4、)|(1XP和)|(2XP与)|(1XP和)|(2XP的区别①)|(1XP和)|(2XP是在同一条件X下，比较1和2出现的概率。内容纲要研究目的和意义30第二章贝叶斯决策理论①如)|()|(21XPXP则可以下结论，在X条件下，事件1出现的可能性大。两类情况下，则有1)|()|(21XPXP如图4－4所示。内容纲要研究目的和意义31第二章贝叶斯决策理论②)|(1XP与)|(2XP两者之间没有联系，比较两者没有意义。都是指各自条件下出现X的可能性，内容纲要研究目的和意义322.2Bayes决策的基本概念第二章贝叶斯决策理论内容纲要研究目的和意义332.2.1Bayes决策所讨论的问题第二章贝叶斯决策理论内容纲要研究目的和意义34（1）按什么规则设计分类器（完成分类）？（2）当分类器的设计完成后，对待测样品进行分类，一定能正确分类吗？（3）如果有错分类情况发生，是在何种情况下出现的？错分类的可能性会有多大？2.2.1Bayes决策所讨论的问题第二章贝叶斯决策理论内容纲要研究目的和意义35第二章贝叶斯决策理论对于待测样品，Bayes公式可以计算出该样品分属各类别的概率，叫做后验概率。看X属于哪个类的可能性最大，就把X归于可能性最大的那个类，后验概率作为识别对象归属的依据。基本的贝叶斯决策思路！！！2.2.1内容纲要研究目的和意义36第二章贝叶斯决策理论第二章内容纲要研究目的和意义37（1）按什么规则设计分类器（完成分类）？（2）当分类器的设计完成后，对待测样品进行分类，一定能正确分类吗？（3）如果有错分类情况发生，是在何种情况下出现的？错分类的可能性会有多大？2.2.1Bayes决策所讨论的问题第二章贝叶斯决策理论内容纲要研究目的和意义382.2Bayes决策的基本概念第二章贝叶斯决策理论例：某制药厂生产的药品检验识别目的：说明Bayes决策所要解决的问题！！如图所示，正常药品“＋“，异常药品”-”。识别的目的是要依据X向量将药品划分为两类。内容纲要研究目的和意义39对于图来说，可以用一直线作为分界线，这条直线是关于X的线性方程，称为线性分类器。2.2Bayes决策的基本概念第二章贝叶斯决策理论FeatureSpace内容纲要研究目的和意义40问题在于出现模棱两可的情况，如图4-2所示。2.2Bayes决策的基本概念第二章贝叶斯决策理论1.此时，任何决策都存在判错的可能性。2.所观察到的某一样品的特征向量X，在M类中又有不止一类可能呈现这一X值，无论直线参数如何设计，总会有错分类发生。内容纲要研究目的和意义41如果以错分类最小为原则分类，则图中A直线可能是最佳的分界线，它使错分类的样品数量为最小。2.2Bayes决策的基本概念第二章贝叶斯决策理论选A，将“－”误为“+”，错分3个样本选B，将“+”误为“－”，错分4个样本内容纲要研究目的和意义42如果将一个“－“样品错分为”＋“类所造成的损失要比将”＋“分成”－“类严重。偏向使对”－“类样品的错分类进一步减少，可以使总的损失最小，那么B直线就可能比A直线更适合作为分界线。2.2Bayes决策的基本概念第二章贝叶斯决策理论将“－”误为“+”，将“+”误为“－”+内容纲要研究目的和意义43分类器参数的选择或者学习过程得到的结果取决于设计者选择什么样的准则函数。不同准则函数的最优解对应不同的学习结果，得到性能不同的分类器。2.2Bayes决策的基本概念第二章贝叶斯决策理论内容纲要研究目的和意义441）基于最小错误率的Bayes决策指出了机器自动识别出现错分类的条件；错分类的可能性如何计算；如何实现使错分类出现可能性最小。2.2Bayes决策的基本概念第二章贝叶斯决策理论错分类可能性后面解释！！！内容纲要研究目的和意义452）基于最小错误风险的Bayes决策在最小错误率的决策基础上，引入了“风险”与“损失”概念，希望做到使风险最小，减小危害大的错分类情况。2.2Bayes决策的基本概念第二章贝叶斯决策理论本页图片来自百度搜索引擎内容纲要研究目的和意义46从图4－2可见，错分类有不同情况，两种错误造成的损失不一样，不同的错误分类造成的损失会不相同，后一种错误更可怕，因此就要考虑减小因错分类的危害损失。2.2Bayes决策的基本概念第二章贝叶斯决策理论内容纲要研究目的和意义47（1）按什么规则设计分类器（完成分类）？（2）当分类器的设计完成后，对待测样品进行分类，一定能正确分类吗？（3）如果有错分类情况发生，是在何种情况下出现的？错分类的可能性会有多大？2.2.1Bayes决策所讨论的问题第二章贝叶斯决策理论内容纲要研究目的和意义482.3基于最小错误率的Bayes决策第二章贝叶斯决策理论内容纲要研究目的和意义492.3基于最小错误率的Bayes决策第二章贝叶斯决策理论假定得到一个待识别量的特征X后，每个样品X有N个特征，即TNxxxX),...,,(21通过样品库，计算先验概率)(iP及类条件概率密度函数)|(iXP，得到呈现状态X时，该样品分属各类别的概率，显然这个概率值可以作为识别对象判属的依据。内容纲要研究目的和意义502.3基于最小错误率的Bayes决策第二章贝叶斯决策理论基于最小错误概率的贝叶斯决策就是按后验概率的大小做判决的。这个规则又可以根据类别数目，写成不同的几种等价形式。从后验概率分布图4－4可见，在X值小时，药品被判为正常是比较合理的，判断错误的可能性小。内容纲要研究目的和意义51第二章贝叶斯决策理论1.两类问题若每个样品属于1，2类中的一类，已知两类的先验概率分别为)(1P和)(2P，两类的类条件概率密度分别为)|(1XP和)|(2XP则任给一X，判断X的类别。2.3基于最小错误率的Bayes决策由Bayes公式可知：)(/)()|()|(XPPXPXPjjj由全概率公式可知：MjjjPXPXP1)()|()(其