模式识别补充整理-long

第1页（共18页）1.模式的概念存在于时间和空间中可观察的事物，如果我们可以区别它们是否相同或是否相似，都可以称之为模式。模式所指不是事物本身，而是我们从事物获得的信息。模式就是要让机器自动识别的事物。用模式识别的术语来说，所见的具体事物是样本，通过对具体的个别事物进行观测所得到的具有时间和空间分布的信息称为模式，把模式所属的类别或同一类中模式的总体称为模式类(或简称类)。模式识别的关键：找到有效地度量不同类事物的差异的方法是最关键的。让机器辨别事物的最基本方法是计算，原则上讲是对计算机要分析的事物与作为标准的称之为“模板”的相似程度进行计算。1.3模式识别的主要方法1.基于知识的方法基本思想：根据人们已知关于研究对象的知识，整理出若干描述特征与类别间关系的准则，建立一定的计算机推理系统，对未知样本通过这些知识推理决策其类别。（句法模式识别可看作特殊的基于知识的模式识别方法。）2.基于数据的方法基本思想：确定了描述样本所采用的特征之后，收集一定数量的已知样本，用这些样本作训练集来训练一定的模式识别机器，使之在训练后能够对未知样本进行分类。（主要的方法，基础是统计模式识别。）2.4ROC曲线ROC曲线是反映敏感性和特异性连续变量的综合指标,是用构图法揭示敏感性和特异性的相互关系，它通过将连续变量设定出多个不同的临界值，从而计算出一系列敏感性和特异性，再以敏感性为纵坐标、（1-特异性）为横坐标绘制成曲线，曲线下面积越大，诊断准确性越高。ROC曲线越靠近左上角,试验的准确性就越高。最靠近左上角的ROC曲线的点是错误最少的最好阈值，其假阳性和假阴性的总数最少。传统的诊断试验评价方法有一个共同的特点，必须将试验结果分为两类，再进行统计分析。ROC曲线的评价方法与传统的评价方法不同，无须此限制，而是根据实际情况，允许有中间状态，可以把试验结果划分为多个有序分类，如正常、大致正常、可疑、大致异常和异常五个等级再进行统计分析。因此，ROC曲线评价方法适用的范围更为广泛。5.3线性判别函数的实现①方程的形式（固定为线性，维数和形式已定）②方程的系数。如何确定线性判别函数的系数：1）首先按需要确定一准则函数J，如Fisher准则、感知器算法、LMSE算法。2）确定准则函数J达到极值时及的具体数值；3）确定判别函数，完成分类器设计。线性分类器设计任务是在给定样品集条件下，确定线性判别函数的各项系数，对待测样品进行分类时，能满足相应的准则函数J为最优。5.4感知器算法判别函数可写成一般方程形式训练过程就是对判断好的样品集求解权矢量W，即根据已知类别的样品求出权系数，形成判别界线（面），再对未知类别的样品求出其类别。感知器代价：准则函数以使错分类样本到分界面距离之和最小为原则。感知器算法的特点①当样本线性可分情况下，学习率合适时，算法具有收敛性；②收敛速度较慢；③当样本线性不可分情况下，算法不收敛，且无法判断样本是否线性可分。单个感知器神经能够完成线性可分数据的分类问题，是一种最简单的可学习机器，它无法解决非线性问题。0XW*W*0W第2页（共18页）5.5最小平方误差算法(LMSE)LMSE方法的基本思想是将求解线性不等式组的问题转化为求解线性方程组：准则函数求解：1）伪逆法求解2）梯度下降法求解LMSE算法特点①算法的收敛依靠η(k)的衰减，一般取η(k)=η(1)/k；②算法对于线性不可分的训练样本也能够收敛于一个均方误差最小解；③取b=1时，当样本数趋于无穷多时，算法的解以最小均方误差逼近贝叶斯判别函数；④当训练样本线性可分的情况下，算法未必收敛于一个分类超平面。5.6Fisher分类把模式样本在高维的特征向量空间里投影到一条直线上，然后在此一维空间上进行分类。Fisher法即找到某个最好的方向，使样本投影到这个方向的直线上是最容易分得开的。最好的投影方向：使投影以后两类尽可能分开，而各类内部又尽可能聚集。Fisher准则函数：（投影以后的空间）6.1线性支持向量机最优超平面：一个超平面，如果它能够将训练样本没有错误地分开，并且两类训练样本中离超平面最近的样本与超平面中间的距离是最大的，则把这个超平面称作最优超平面。线性分类器的间隔：到超平面最近的样本与此超平面之间的距离。支持向量：距离超平面最近的点。具有最大间隔的线性分类器叫做最大间隔线性分类器。其就是一种最简单的支持向量机(SVM)(称为线性支持向量机，即LSVM)6.2支持向量机思路：对特征进行变换，在新特征空间里求线性分类器来实现原空间的非线性分类器。定义支持向量的等式为：无论变换的具体形式如何，变换对支持向量机的影响是把两个样本在原特征空间中的内积变成在新空间中的内积。新空间中的内积也是原特征的函数通过内积实现的非线性支持向量机中的差别是，原来的内积运算变成了核函数从计算角度，不论原来的内积运算所生成的变换空间维数有多高，这个空间里的线性支持向量机求解都可以在原空间通过核函数进行，这样就避免了高维空间里的计算，而且计算核函数的复杂度与计算内积并没有实质性的增加。进一步分析很容易发现，只要知道了核函数，实际上甚至没有必要知道的实际形式。泛函空间的有关理论告诉我们，可以直接设计核函数，而不设计变换，从而通过设计非线性变换来求解非线性的支持向量机。6.3SVM寻优算法利用二次型优化技术解决对偶问题时，将原问题分解为若干个子问题，按照某种迭代策略，通过反复求解子问题，最终使得结果收敛于原问题的最优解。7.5神经网络模型简介（补充）,Ya=b0b221222212()max()bFwSmmJwSSS01)))()(((y1iniiibxx),(jixx),K(jixx),K(jixx)(x),K(jixx)(x第3页（共18页）(1)前馈神经网络特点：节点按照一定的层次排列，信号按照单一的方向从一层节点传递到下一层节点，网络连接是单向的。(2)反馈神经网络特点：输入信号作用于神经元节点上后，各个节点的输出又作为输入反馈到各节点，形成一个动态系统，当系统稳定后读取其输出。(3)竞争学习型神经网络－－自组织网络-----（非监督）学习网络特点：神经元节点通常排列在同一层次上，没有反馈连接，但是神经网络之间有横向的连接或相互影响，在学习时通过神经元之间的竞争实现特定的映射。8.1.1最近邻法最小距离分类器:它将各类训练样本划分成若干子类，并在每个子类中确定代表点。未知样本的类别则以其与这些代表点距离最近作决策。该方法的缺点是所选择的代表点并不一定能很好地代表各类，其后果将使错误率增加。最近邻分类器最小距离分类器的一种极端的情况，以全部训练样本作为代表点，计算测试样本与所有样本的距离，并以最近邻者的类别作为决策。将与测试样本最近邻样本的类别作为决策的方法称为最近邻法。k-近邻法:最近邻法的扩展，其基本规则是，在所有N个样本中找到与测试样本的k个最近邻者，其中各类别所占个数表示成ki,i＝1，…，c。定义判别函数为：gi(x)=ki,i=1,2,…,c。决策规则为：近邻法则在原理上属于模板匹配。它将训练样本集中的每个样本都作为模板，用测试样本与每个模板做比较，看与哪个模板最相似(即为近邻)，就按最近似的模板的类别作为自己的类别。优点：在模板数量很大时其错误率指标还是相当不错的。这就是说近邻法有存在的必要。缺点：要存储的模板很多，每个测试样本要对每个模板计算一次相似度，因此在模板数量很大时，距离计算量也很大的。3.参数估计：已知概率密度函数形式，但其中参数未知，概率密度函数的估计问题就是用样本来估计这些参数。主要方法有：最大似然估计与贝叶斯估计非参数估计：概率密度函数形式未知，或概率密度函数不符合目前研究的任何分布模型，因此不能仅仅估计几个参数，而是用样本把概率密度函数数字化的估计出来。()max(),1,...,jiiggicxx第4页（共18页）9.1特征提取和特征选择两类提取有效信息、压缩特征空间的方法：特征提取和特征选择特征提取：用映射（或变换）的方法把原始特征变换为较少的新特征。特征选择：从原始特征中挑选出一些最有代表性，分类性能最好的特征。特征的选择与提取与具体问题有很大关系，目前没有理论能给出对任何问题都有效的特征选择与提取方法。9.2特征的评价准则－类别可分离性判据理想准则：某组特征使分类器错误概率最小（直观想法）在实际问题中并不一定可行：1）概率密度函数已知，错误率的计算仍然非常复杂；2）概率密度未知，分类器的错误率更困难；3）用样本对错误率进行实验估计，需要采用交叉验证等方法，大大增加计算量想定义与错误率有一定关系、又便于计算的类别可分性准则J。类别可分离性判据：衡量不同特征及其组合对分类是否有效的定量准则。理想准则：某组特征使分类器错误概率最小。实际的类别可分离性判据应满足的条件：1）度量特性2）与错误率有单调关系3）当特征独立时有可加性4）单调性：常见类别可分离性判据：基于距离、概率分布、熵函数Fisher线性判别准则：样本投影后，类内离散度尽可能小，类间离散度尽可能大基于距离的准则概念直观，计算方便，但与错误率没有直接联系。基于概率的可分性判据：用概率密度函数间的距离来度量基于熵函数的可分性判据：在特征的某个取值下，如果样本属于各类的后验概率越平均，则该特征越不利于分类；第5页（共18页）如果后验概率越集中于某一类，则特征越有利于分类。为了衡量各类后验概率的集中程度，借用信息论中熵的概念定义了类别可分性的判据。9.6特征生成图像特征是指图像的原始特性或属性。图像特征生成的结果给出了某一具体的图像中与其他图像相区别的特征。1）可区别性。2）可靠性。3）独立性好。4）数量少。实际应用中特征提取过程往往包括：先测试一组直觉上合理的特征，然后减少成数目合适的满意集。通常符合上述要求的理想特征是很少甚至没有的。颜色特征提取、形状和结构特征提取、纹理特征提取第6页（共18页）10.1监督学习与非监督学习监督学习与非监督学习的最大区别在于训练样本是否有类别标号，无类别标号的称为非监督学习；为了完成一个聚类，必须遵循以下步骤：特征选择：必须适合的选择特征，尽可能多的包含任务关心的信息。在特征中，使信息冗余减少和最小化是主要目标。近邻测度：用于定量的测量两个特征向量如何相似或不相似。聚类准则：这依赖于专家对“可判断”的解释，聚类准则一蕴涵在数据集中类的类型为基础。聚类算法：已经采用近邻测度和聚类准则，这一步涉及到选择特定的算法，用于揭示数据集的聚类结构。结果验证：一旦聚类算法得到结果，就必须验证其正确性。结果判定：在许多情况下，应用领域的专家必须用其他实验证据和分析判定聚类结果，最后得出正确的结论。1、模式识别系统的典型构成一个典型的模式识别系统一般由数据获取，预处理，特征提取选择、分类决策及分类器设计五部分组成。分类器设计在训练过程中完成，利用样本进行训练，确定分类器的具体参数。而分类决策在识别过程中起作用，对待识别的样本进行分类决策。a数据获取b预处理c特征提取选择d分类器设计e分类决策a:设计实验，得到已知样本，对样本进行观测，获取与样本分类有关的原始特征；–二维图像：文字、指纹、地图、照片等–一维波形：脑电图、心电图、季节震动波形等–物理参量和逻辑值：体温、化验数据、参量正常与否的描述b:预处理主要是指去除所获取信息中的噪声，增强有用的信息，及一切必要的使信息纯化的处理过程；c:特征选择与提取，将所获取的原始量测数据转换成能反映事物本质，并将其最有效分类的特征表示；–测量空间：原始数据组成的空间–特征空间：分类识别赖以进行的空间–模式表示：维数较高的测量空间-维数较低的特征空间d:用一定数量的样本(称为训练样本集)确定出一套分类判别规则，使得按这套分类判别规则对待识模式进行分类所造成的错误识别率最小或引起约损失最小；e:分类器按已确定的分类判别规则对待识模式进行分类判别，输出分类结果。基本做法：在样本训练集基础上确定某个判决规则，使得按这种规则对被识别对象进行分类所造成的错误识别率最小或引起的损失最小特征空间第7页（共18页）2、监