模式识别课程论文

模式识别中的贝叶斯决策学院信息电子技术专业电子信息工程班级级1班学籍号姓名指导教师信息电子技术学院2016年10月25日模式识别就是机器识别，计算机识别或者机器自动识别，目的在于让机器自动识别事物，如手写数字的识别，智能交通管理信号的识别，文字识别，语音识别等。模式识别这个学科的目的就是让机器能做人类能做的事情，具备人类所具有的对各种事物与现象进行分析，描述与判断的部分能力。模式识别是直观的，无所不在。人与动物具有模式识别的能力是非常平常的事情，但是对计算机来说实现模式识别是非常困难的。让机器能够识别，分类需要研究识别的方法。而模式识别可以概括为两个类型，一个是直接形象的，例如图片，相片，图案，字符图案等；另外的就是无知觉形象而只有数据或信号的波形，如语音，声音，心电图，地震波等。贝叶斯决策理论是主观贝叶斯派归纳理论的重要组成部分。贝叶斯决策就是在不完全情报下，对部分未知的状态用主观概率估计，然后用贝叶斯公式对发生概率进行修正，最后再利用期望值和修正概率做出最优决策。贝叶斯决策理论方法是统计模式识别中的一个基本方法。贝叶斯决策判据既考虑了各类参考总体出现的概率大小，又考虑了因误判造成的损失大小，判别能力强。贝叶斯方法更适用于下列场合：(1)样本(子样)的数量(容量)不充分大，因而大子样统计理论不适宜的场合。(2)试验具有继承性，反映在统计学上就是要具有在试验之前已有先验信息的场合。用这种方法进行分类时要求两点：第一，要决策分类的参考总体的类别数是一定的。例如两类参考总体(正常状态Dl和异常状态D2)，或L类参考总体D1，D2，…，DL(如良好、满意、可以、不满意、不允许、……)。第二，各类参考总体的概率分布是已知的，即每一类参考总体出现的先验概率P(Di)以及各类概率密度函数P(x/Di)是已知的。显然，0≤P(Di)≤1，(i=l，2，…，L)，∑P(Di)=1。从信息价值的经济效用的角度，讨论贝叶斯公式在风险决策中的应用。首先根据期望值原则，以先验概率为基础，找到最优方案及其期望损益值和风险系数，然后用决策信息修正先验分布，得到状态变量的后验分布，并用后验分布概率计算各方案的期望损益值找出最满意方案,并计算其风险系数（这里计算的风险系数应比仅有先验条件下计算的风险系数要小)，最后求出掌握了全部决策信息值的期望损益值。用全部决策信息值的期望损益值减去没有考虑决策信息时的期望收益，就得到了决策信息的价值。1.贝叶斯决策所讨论的问题：基于最小错误率的贝叶斯决策指出机器自动识别出现错分类的条件，错分类的可能性如何计算，如何实现使错分类实现可能性最小；基于最小错误风险的贝叶斯决策，引入了风险与损失概念，希望做到使风险最小，减小危害大的错分类情况。错分类造成损失不一样，不同的错误分类造成的损失也是不一样的，不同的错误分类造成的损失会不相同，后一种错误更加可怕，因此就考虑减小因错误分类造成的危害损失。2.贝叶斯算法若已知总共有M类物体，以及各类在这d维特征空间的统计分布，具体说来就是已知各类别wi=1,2,…M的先验概率P（wi）及类条件概率密度函数P（X|wi）。对于待测样品，贝叶斯公式可以计算出该样品分属于各类别的概率，叫做后验概率，看X属于哪个类的可能性最大，就把X归于可能性最大的那个类，后验概率作为识别对象归属的依据。贝叶斯公式如下：识别的状态就是一个随机变量，而某种状态出现概率是可以估计的。贝叶斯公式体现了先验概率，类概率密度函数，后验概率三者之间的关系。2.1先验概率P（wi）先验概率P（wi）针对M个事件出现的可能性而言，不考虑其他条件。例如由统计资料表明总药品数为n，其中正常药品数为n1，异常药品数为n2，则1(1)nPwn2(2)nPwn称P（w1）和P(w2)为先验概率。显然在一般情况下正常药品所占比例比较大，即P（w1）P(w2)，仅按照先验概率来决策，就会把所有药品都划归为正常药品，并没有达到将正常药品与异常药品区分开的目的。这表明先验概率所提供的信息太少。2.2类条件概率密度函数P（X/wi）是指在已知某类别的特征空间中，出现特征值X的概率密度，即第wi类样品它的属性X是如何分布的。在工程上很多的问题中，统计数据往往满足正态分布规律。正态分布简单，分析方便，参量少，是一种适宜的数学模型。如果采用正态密度函数是作为类条件概率密度的函数形式，则函数内的参数如期望方差是未知的，那么问题就变成了如何利用大量样品对这些参数进行估计，只要估计出这些参数，类条件概率密度函数P（X|wi）也就可以确定了。单变量正态分布概率密度函数为：其中：u为数学期望（均值）；为方差。多维正态密度函数为：其中：S为N维协方差矩阵；S^-1为S的逆矩阵=（u1,u2,…,un）为N维均值向量；X=（x1,x2,…,xN）为N维特征向量在大多数情况下，类条件概率密度函数是可以采用多维变量的正太概率密度函数来模拟，即：2.3后验概率后验概率是指呈现状态X时，该样品分属各类别的概率，这个概率值可以作为识别对象归属的依据。由于属于不同类的待识别对象存在着呈现相同的观察值的可能，即所观察到的某一样品的特征向量为X，而在类中有不止一类可能呈现这一值，它属于各类的概率可用P（wi|X）表示。可以利用贝叶斯公式来计算这条件概率，称之为状态的后验概率：P(wi|X)是表示在X出现条件下，样品为wi类的概率。2.4P(w1|X)和P（w2|X）与P(X|w1)和P（X|w2）的区别P(w1|X)和P（w2|X）是在同一条件下，比较w1与w2出现的概率，如P(w1|X)P（w2|X）,则可能的以下结论，在X条件下，事件w1出现的可能性比事件w2出现的可能性大。P(w1|X)与P（w2|X）都是指各自条件下出现X的可能性，两者之间没有联系，比较两者没有意义。P(w1|X)与P（w2|X）是在不同条件下讨论问题，不能因为P(w1|X)P（w2|X）,就认为X是第一类事物的可能性较大。3.算法的实现3.1基于最小错误率贝叶斯分类实现数字样品的识别实现：在手写的数字识别中属于多类情况，每类样品呈正态分布。（1）求出每一类手写数字样品的均值11(1,2,...,),0,1,2,...,9NiTjxixijxixixiniNiNi代表wi类的样品个数，n代表特征数目。（2）求每一类的协方差矩阵11()(),,1,2,...,1NiilsjkxljxjxlkxkjknNiL代表样品在wi类中的序号，其中l=0,1,2，…，Ni。Xlj代表wi类的第L个样品，第J个特征值。xj代表wi类的Ni个样品第j个特征的平均值。Xlk代表wi类的第l个样品，第K个特征值。xk代表wi类的Ni个样品第K个特征的平均值。Wi类的协方差矩阵为：（3）计算出每一类的协方差矩阵的逆矩阵Si^-1以及协方差矩阵的行列式|Si|。（4）求出每一类的先验概率：()/,0,1,2,...,9PwiNiNi其中P(wi)为类别为数字i的先验概率，Ni为数字i的样品数，N为样品总数。（5）将各个数带入判别函数111()())()ln()ln||22ThiXXXiSiXXiPwiSi（6）判别函数最大值所对应就是手写数字的类别。3.2基于最小风险的贝叶斯分类实现（1）求出每一类手写数字样品的均值。11(1,2,...,),0,1,2,...,9NiTjXiXijxixixiniNiNj代表wi类的样品个数，n代表特征数目。（2）求每一类的协方差矩阵。11()(),,1,2,...,1NiiljlkklsjkXxjxxjknNiWi类的协方差矩阵为（3）计算出每一类协方差矩阵的逆矩阵1iS以及协方差矩阵行列式||iS.（4）求出每一类的先验概率(),0,1,2,...,9iNiPwiN其中P（wi）为类别为数字i的先验概率，Ni为数字i的样品数，N为样品总数。（5）定义损失数组为loss[10][10].设初值为0,[][]1,ijlossijij（6）计算每一类损失risk[i]：90[][][][]jriskilossijPj（7）找出最小损失所对应的类，该类即是待测样品所属的类别。贝叶斯决策分析是以贝叶斯理论为基础的，由贝叶斯定理可以得出通过抽样增加信息量可以减少决策风险的结论，这一结论保证了贝叶斯决策的科学性。除此以外，贝叶斯决策通过对完全信息价值、抽样信息价值及抽样信息价值减去抽样成本等指标的考察，又从经济的角度保障了该方法的可行性。但是，仍存在一定的不足：（1）在进行贝叶斯分析时，判断是否进行实际抽样是以其具有的经济价值为唯一标准。但是，抽样了之后不知道是否会改变决策的结果。抽样需要一定的时间，时间可能会改变一个方案的优劣程度，另外，抽样要花费的人力、物力、财力等，人力物力这些都是无法量化的和比较的，所以会影响到决策的结果。（2）在贝叶斯最小风险决策中虽然考虑了损失而使风险达到最小，但是没有考虑是否达到了期望收益和期望效用的大小。虽然该方法依据贝叶斯理论，通过抽样和其它技术使概率分布状况的准确性得以提高，因此减少了决策风险，但是风险始终没有消除。而我们知道高收益经常是与高风险相伴随的，单独考虑任何一个都不是完全的，最终都可能出现与投资者初衷不一致的结果。为了使贝叶斯决策方法更完善，应该对其决策方法进行改进。对于原先只用期望受益和期望效用或只以最小风险为判断准则的方法加以改进，形成以两者结合为标准的决策准则。每个指标赋予一定的权重，依据个人的偏好程度得出决策的结果。在风险决策中，有很多如何确定信息的价值以及如何提高风险决策可靠性的方法。根据不同的风险情况，要采取不同的风险决策分析的方法。贝叶斯决策分析就是其中的一种。贝叶斯决策的观点使识别问题的解决更注重了所采取行动的效果，也使识别问题提法更加多样化，从而开拓了某些新的研究领域。