模式识别ppt(钟珞)

模式识别2019/12/24模式识别2课程对象•计算机学院（软件学院）本科生的专业选修课•研究生的专业课2019/12/24模式识别3与模式识别相关的学科•统计学•概率论•线性代数（矩阵计算）•信号处理•机器学习•人工智能•图像处理•计算机视觉2019/12/24模式识别4教学方法•着重讲述模式识别的基本概念，基本方法和算法原理。•注重理论与实践紧密结合•实例教学：主要通过实例讲述如何将所学知识运用到实际应用之中•避免陷入过多的、繁琐的数学推导。2019/12/24模式识别5教学目标•了解模式识别的基本概念和方法•能够运用所学知识和方法解决部分实际问题•为深入研究模式识别的理论和方法打下基础2019/12/24模式识别6教材/参考文献•钟珞，模式识别，武汉大学出版社•边肇祺，模式识别（第二版），清华大学出版社•蔡元龙，模式识别，西北电讯工程学院出版社第一章绪论2019/12/24模式识别81.1模式识别和模式的概念•什么是模式识别：模式识别是研究用计算机来实现人类模式识别能力的一门学科。•模式识别–直观，无所不在，“物以类聚”•周围物体的认知：桌子、椅子•人的识别：张三、李四•声音的辨别：汽车、火车，狗叫、人语•人和动物的模式识别能力是极其平常的，但对计算机来说却是非常困难的。2019/12/24模式识别9什么是模式•广义地说，模式是一些供模仿用的、完美无缺的标本。•本课程把所见到的具体事物称为模式，而将它们归属的类别称为模式类。•模式的直观特性:•可观察性•可区分性•相似性2019/12/24模式识别10模式识别简史•1929年G.Tauschek发明阅读机，能够阅读0-9的数字。•30年代Fisher提出统计分类理论，奠定了统计模式识别的基础。•50年代NoamChemsky提出形式语言理论——傅京荪提出句法结构模式识别。•60年代L.A.Zadeh提出了模糊集理论，模糊模式识别方法得以发展和应用。•80年代以Hopfield网、BP网为代表的神经网络模型导致人工神经元网络复活，并在模式识别得到较广泛的应用。•90年代小样本学习理论，支持向量机也受到了很大的重视。2019/12/24模式识别111.2模式识别的研究方法•模式识别系统•识别方法2019/12/24模式识别121.2.1模式识别系统信息获取预处理特征提取和选取分类器设计分类决策2019/12/24模式识别131信息获取•二维图象如文字、指纹、地图、照片•一维波形如脑电图、心电图、机械震动波形•物理参数和逻辑值2019/12/24模式识别142预处理•目的：去除噪声，加强有用信息，复原信息•预处理：包括A\D,二值化，图象的平滑，变换，增强，恢复，滤波等,主要指图象处理。2019/12/24模式识别153特征提取和选取•特征提取和选择：对原始数据进行变换，得到最能反映分类本质的特征•测量空间：原始数据组成的空间•特征空间：分类识别赖以进行的空间•模式表示：维数较高的测量空间-维数较低的特征空间•例如，一幅64x64的图象可以得到4096个数据，这种在测量空间的原始数据通过变换获得在特征空间最能反映分类本质的特征。2019/12/24模式识别164分类器设计•是一种分类判别规则。•用一定数量的样本确定出一套分类判别规则，使得按这套分类判别规则对待识别模式进行分类造成的错误识别率最小或引起的损失最小。2019/12/24模式识别175分类决策•分类器按已确定的分类判别规则对待识别模式进行分类判别，输出分类结果，这就是分类器的使用过程，又称为分类决策。2019/12/24模式识别181.2.2识别方法•描述模式有两种方法：定量描述和结构性描述。定量描述就是用一组数据来描述模式；结构性描述就是用一组基元来描述模式。•两种基本的模式识别方法：统计模式识别方法和结构模式识别方法。2019/12/24模式识别19统计模式识别•被研究的模式用特征向量来描述，特征向量中的每一个元素代表模式的一个特征或属性，特征向量构成的空间叫做特征空间。•研究统计模式识别方法的任务就是用不同的方法划分特征空间，从而达到识别的目的。2019/12/24模式识别20结构模式识别•该方法通过考虑识别对象的各部分之间的联系来达到识别分类的目的。•模式是由一些模式基元按一定的结构规则组合而成，结构分析的内容就是分析模式如何由基元构成的规则。•比较成功的是句法结构模式识别。通过检查代表这个模式的句子是否符合事先给定的某一类文法规则，如果符合，那么这个模式就属于这个文法所代表的那个模式类。2019/12/24模式识别21模糊模式识别•利用模糊数学的理论和方法分析和解决模式识别问题。•具有数学基础，又更接近人的思维。•代表方法：模糊K均值、模糊ISODATA算法。2019/12/24模式识别22神经网络•神经网络是受人脑组织的生理学启发而创立的。•由一系列互相联系的、相同的单元（神经元）组成。相互间的联系可以在不同的神经元之间传递增强或抑制信号。•增强或抑制是通过调整神经元相互间联系的权重系数来（weight）实现。•神经网络可以实现监督和非监督学习条件下的分类。2019/12/24模式识别231.3模式识别的应用（举例）•生物学•自动细胞学、染色体特性研究、遗传研究•天文学•天文望远镜图像分析、自动光谱学•经济学•股票交易预测、企业行为分析•医学•心电图分析、脑电图分析、医学图像分析2019/12/24模式识别24•工程•产品缺陷检测、特征识别、语音识别、自动导航系统、污染分析、字符识别•军事•航空摄像分析、雷达和声纳信号检测和分类、自动目标识别•安全•指纹识别、人脸识别、监视和报警系统模式识别的应用（举例）2019/12/24模式识别25模式分类器的获取和评测过程•数据采集•特征选取•模型选择•训练和测试•计算结果和复杂度分析，反馈2019/12/24模式识别26训练和测试•训练集：是一个已知样本集，在监督学习方法中，用它来开发出模式分类器。•测试集：在设计识别和分类系统时没有用过的独立样本集。•系统评价原则：为了更好地对模式识别系统性能进行评价，必须使用一组独立于训练集的测试集对系统进行测试。2019/12/24模式识别27实例：统计模式识别•19名男女同学进行体检，测量了身高和体重，但事后发现其中有4人忘记填写性别，试问（在最小错误的条件下）这4人是男是女？体检数值如下：2019/12/24模式识别28实例：统计模式识别（续）•待识别的模式：性别（男或女）•测量的特征：身高和体重•训练样本：15名已知性别的样本特征•目标：希望借助于训练样本的特征建立判别函数（即数学模型）2019/12/24模式识别29实例：统计模式识别（续）•从图中训练样本的分布情况，找出男、女两类特征各自的聚类特点，从而求取一个判别函数（直线或曲线）。•只要给出待分类的模式特征的数值，看它在特征平面上落在判别函数的哪一侧，就可以判别是男还是女了。2019/12/24模式识别302019/12/24模式识别312019/12/24模式识别322019/12/24模式识别33本门课程的主要内容•1、模式识别概述•2、Bayes决策理论•3、线性判别函数与非线性判别函数•4、近邻法则•5、特征提取和选择•6、非监督学习方法（数据聚类）•7、统计学习理论•8、模式识别应用实例第二章贝叶斯决策理论2019/12/24模式识别352.1贝叶斯决策的基本概念•随机模式与统计特性•贝叶斯决策理论就是用概率统计的方法研究随机模式的决策问题•各类别总体的概率分布是已知的•要决策分类的类别是一定的•如何使分类错误率尽可能小是研究各种分类方法的中心问题•有关概念：先验概率、类条件概率密度、后验概率、贝叶斯公式2019/12/24模式识别36作为统计判别问题的模式分类•模式识别的目的就是要确定某一个给定的模式样本属于哪一类。•可以通过对被识别对象的多次观察和测量，构成特征向量，并将其作为某一个判决规则的输入，按此规则来对样本进行分类。2019/12/24模式识别37作为统计判别问题的模式分类•在获取模式的观测值时，有些事务具有确定的因果关系，即在一定的条件下，它必然会发生或必然不发生。•例如识别一块模板是不是直角三角形，只要凭“三条直线边闭合连线和一个直角”这个特征，测量它是否有三条直线边的闭合连线并有一个直角，就完全可以确定它是不是直角三角形。•这种现象是确定性的现象。2019/12/24模式识别38作为统计判别问题的模式分类•但在现实世界中，由于许多客观现象的发生，就每一次观察和测量来说，即使在基本条件保持不变的情况下也具有不确定性。•只有在大量重复的观察下，其结果才能呈现出某种规律性，即对它们观察到的特征具有统计特性。•特征值不再是一个确定的向量，而是一个随机向量。•此时，只能利用模式集的统计特性来分类，以使分类器发生错误的概率最小。2019/12/24模式识别39先验概率•预先已知的或者可以估计的模式识别系统位于某种类型的概率。1)()()(21cPPP表示类型),,2,1(cii2019/12/24模式识别40类条件概率密度函数•系统位于某种类型条件下模式样本X出现的概率密度分布函数。•同一类事物的各个属性的变化范围，用一种函数来表示其分布密度。之间2~01)|()|(21XPXP2019/12/24模式识别41后验概率•系统在某个具体的模式样本X条件下位于某种类型的概率。•后验概率可以根据贝叶斯公式计算，直接用做分类判决的依据。1)|()|()|(21XPXPXPc2019/12/24模式识别42贝叶斯公式•两个事物X与w联合出现的概率称为联合概率。利用该公式可以计算后验概率。)()|()()|(),(XPXPPXPXP2019/12/24模式识别432.2几种常用的决策规则•研究在统计意义下的分类判决。•用分类决策规则对模式进行分类。都存在判错的可能；不同的决策规则可能有不同的判决结果。•最小错误率决策与最小风险决策。•限定错误率的两类判别决策。•最小最大决策。2019/12/24模式识别442.2.1最小错误率的贝叶斯决策•在模式分类问题中，往往希望尽量减少分类错误的概率，因此需要建立一种能使错误率为最小的决策规则。从这样的要求出发，利用概率论中的贝叶斯公式得出使错误率为最小得分类规则，称之为基于最小错误率得贝叶斯决策。•基于最小错误概率的贝叶斯决策理论就是按后验概率的大小作判决的。2019/12/24模式识别45例子1•癌细胞识别：只有两类情况，是与否。•用d维向量X表示细胞测量数据，ω1代表正常细胞，ω2代表异常细胞。•目的是要根据X把测量细胞判别为正常细胞或者异常细胞。2019/12/24模式识别46例子1•根据大量统计资料，可以对正常细胞与异常出现的比例作出估计。•这就是通常所说的先验概率：P(ω1)与P(ω2)1)()(21PP)()(21PP2019/12/24模式识别47例子1•下图是正常细胞的属性分布与异常细胞的属性分布。即类条件概率密度函数。•得到样本的观测值x之后，可以根据先验概率和类概率密度得到后验概率。通过后验概率则可以作出分类判断。X)|(1xp)|(2xp2.04.0x2019/12/24模式识别48例子1•利用贝叶斯公式计算两类的后验概率)|(xPi)()()|()|(xPPxPxPiii21)()|()(jjjPxPxP2019/12/24模式识别49例子1•基于最小错误概率的贝叶斯决策理论就是按后验概率的大小作判据，其规则为21)|2()|1(xxxPxP，否则，则如果2019/12/24模式识别50例子2•假设某个地区正常细胞ω1与异常细胞ω2的先验概率分别为9.0)(1P1.0)(2P对于某个待识别细胞，其观察值为x，根据类条件概率密度分布曲线上可知2.0)|(1xP4.0)|(2xP请对该细胞进行分类2019/12/24模式识别51例子2•利用贝叶