模式识别练习题(简答和计算)

1、试说明Mahalanobis距离平方的定义，到某点的Mahalanobis距离平方为常数的轨迹的几何意义，它与欧氏距离的区别与联系。答：Mahalanobis距离的平方定义为：12)()(),(uxuxuxrT其中x，u为两个数据，1是一个正定对称矩阵（一般为协方差矩阵）。根据定义，距某一点的Mahalanobis距离相等点的轨迹是超椭球，如果是单位矩阵Σ，则Mahalanobis距离就是通常的欧氏距离。2、试说明用监督学习与非监督学习两种方法对道路图像中道路区域的划分的基本做法，以说明这两种学习方法的定义与它们间的区别。答：监督学习方法用来对数据实现分类，分类规则通过训练获得。该训练集由带分类号的数据集组成，因此监督学习方法的训练过程是离线的。非监督学习方法不需要单独的离线训练过程，也没有带分类号（标号）的训练数据集，一般用来对数据集进行分析，如聚类，确定其分布的主分量等。就道路图像的分割而言，监督学习方法则先在训练用图像中获取道路象素与非道路象素集，进行分类器设计，然后用所设计的分类器对道路图像进行分割。使用非监督学习方法，则依据道路路面象素与非道路象素之间的聚类分析进行聚类运算，以实现道路图像的分割。3、已知一组数据的协方差矩阵为12/12/11，试问(1)协方差矩阵中各元素的含义。(2)求该数组的两个主分量。(3)主分量分析或称K-L变换，它的最佳准则是什么？(4)为什么说经主分量分析后，消除了各分量之间的相关性。答：协方差矩阵为12/12/11，则(1)对角元素是各分量的方差，非对角元素是各分量之间的协方差。(2)主分量，通过求协方差矩阵的特征值，用121211＝0得4/1)1(2，则2/32/1，相应地：2/3，对应特征向量为11，21，对应11。这两个特征向量，即为主分量。(3)K-L变换的最佳准则为：对一组数据进行按一组正交基分解，在只取相同数量分量的条件下，以均方误差计算截尾误差最小。(4)在经主分量分解后，协方差矩阵成为对角矩阵，因而各主分量间相关性消除。4、试说明以下问题求解是基于监督学习或是非监督学习：(1)求数据集的主分量(2)汉字识别(3)自组织特征映射(4)CT图像的分割答：(1)求数据集的主分量是非监督学习方法；(2)汉字识别：对待识别字符加上相应类别号—有监督学习方法；(3)自组织特征映射—将高维数组按保留近似度向低维映射—非监督学习；(4)CT图像分割—按数据自然分布聚类—非监督学习方法；5、试列举线性分类器中最著名的三种最佳准则以及它们各自的原理。答：线性分类器三种最优准则：Fisher准则：根据两类样本一般类内密集，类间分离的特点，寻找线性分类器最佳的法线向量方向，使两类样本在该方向上的投影满足类内尽可能密集，类间尽可能分开。这种度量通过类内离散矩阵Sw和类间离散矩阵Sb实现。感知准则函数：准则函数以使错分类样本到分界面距离之和最小为原则。其优点是通过错分类样本提供的信息对分类器函数进行修正，这种准则是人工神经元网络多层感知器的基础。支持向量机：基本思想是在两类线性可分条件下，所设计的分类器界面使两类之间的间隔为最大，它的基本出发点是使期望泛化风险尽可能小。6、试分析五种常用决策规则思想方法的异同。答、五种常用决策是：1.基于最小错误率的贝叶斯决策，利用概率论中的贝叶斯公式，得出使得错误率最小的分类规则。2.基于最小风险的贝叶斯决策，引入了损失函数，得出使决策风险最小的分类。当在0-1损失函数条件下，基于最小风险的贝叶斯决策变成基于最小错误率的贝叶斯决策。3.在限定一类错误率条件下使另一类错误率最小的两类别决策。4.最大最小决策：类先验概率未知，考察先验概率变化对错误率的影响，找出使最小贝叶斯奉献最大的先验概率，以这种最坏情况设计分类器。5.序贯分类方法，除了考虑分类造成的损失外，还考虑特征获取造成的代价，先用一部分特征分类，然后逐步加入性特征以减少分类损失，同时平衡总的损失，以求得最有效益。7、1.什么是特征选择？2.什么是Fisher线性判别？答：1.特征选择就是从一组特征中挑选出一些最有效的特征以达到降低特征空间维数的目的。2.Fisher线性判别：可以考虑把d维空间的样本投影到一条直线上，形成一维空间，即把维数压缩到一维，这在数学上容易办到，然而，即使样本在d维空间里形成若干紧凑的互相分得开的集群，如果把它们投影到一条任意的直线上，也可能使得几类样本混在一起而变得无法识别。但是在一般情况下，总可以找到某个方向，使得在这个方向的直线上，样本的投影能分开得最好。问题是如何根据实际情况找到这条最好的、最易于分类的投影线，这就是Fisher算法所要解决的基本问题。8、写出两类和多类情况下最小风险贝叶斯决策判别函数和决策面方程。两类问题：判别函数)()()(2121111xwpxwpxg)()()(2221212xwpxwpxg决策面方程：)()(21xgxgC类问题：判别函数)()(1xwpxgjijcji，ci,......2,1决策面方程：)()(xgxgji，ji，ci,......2,1，cj,......2,19、请论述模式识别系统的主要组成部分及其设计流程，并简述各组成部分中常用方法的主要思想。信息获取：通过测量、采样和量化，可以用矩阵或向量表示二维图像或波形。数数据据获获取取预预处处理理特特征征提提取取与与选选择择分分类类决决策策分分类类器器设设计计信号空间特征空间预处理：去除噪声，加强有用的信息，并对输入测量仪器或其他因素造成的退化现象进行复原。特征选择和提取：为了有效地实现分类识别，就要对原始数据进行变换，得到最能反映分类本质的特征。分类决策：在特征空间中用统计方法把识别对象归为某一类。10、简述支持向量机的基本思想。答：SVM从线性可分情况下的最优分类面发展而来。最优分类面就是要求分类线不但能将两类正确分开(训练错误率为0)，且使分类间隔最大。SVM考虑寻找一个满足分类要求的超平面，并且使训练集中的点距离分类面尽可能的远，也就是寻找一个分类面使它两侧的空白区域(margin)最大。过两类样本中离分类面最近的点，且平行于最优分类面的超平面上H1，H2的训练样本就叫支持向量。四、计算题1、设两类样本的类内散布矩阵分别为11,112121221211SS，两类的类心分别为m1=(2,0)T,m2=(2,2)T,试用fisher准则求其决策面方程。解：1001)(2121SSSw，10011wS22)1,2(1001)2,0()()()(221212121xxxxSmmxdTmmwT210)(xxd或写出决策面方程01)(2xxd2、已知两个一维模式类别的类概率密度函数为:其它211002)/(1xxxxxp其它3221031)/(2xxxxxp先验概率P(1)=0.6，P(2)=0.4，（1）求0-1代价Bayes判决函数；（2）求总错误概率P(e)；（3）判断样本x1=1.35,x2=1.45,x3=1.55,x4=1.65各属于哪一类别。答：(1)基于0-1代价Bayes判决函数为：当67.0326.04.0)()()|()|(1221PPxpxp时，1wx，否则2wx，(2)总的误判概率P(e)为：由3212xx，得：6.158x12.0)1(*4.0)2(*6.0)|(*)()|(*)()(6.1126.1221112dxxdxxdxxpPdxxpPePDD(3)67.086.135.0/65.0)/(/)/(,35.1211xpxpx，所以11wx67.022.145.0/55.0)/(/)/(,45.1212xpxpx，所以12wx67.082.055.0/45.0)/(/)/(,55.1213xpxpx，所以13wx67.054.065.0/35.0)/(/)/(,65.1214xpxpx，所以24wx123x概率密度)|()(11xpP)|()(22xpP3、假设在某个地区细胞识别中正常（w1）和异常（w2）两类先验概率分别为8.0)(1wP，2.0)(2wP，现有一待识别的细胞，其观察值为x，从类条件概率密度分布曲线上查得25.0)(1wxP，6.0)(2wxP，并且已知011，612，121，022试对该细胞x用一下两种方法进行分类：(1)基于最小错误率的贝叶斯决策；(2)基于最小风险的贝叶斯决策；请分析两种结果的异同及原因。答：(1)利用贝叶斯公式，分别计算出1w和2w的后验概率：625.02.06.08.025.08.025.0)()()()()(211111jjjwpwxpwpwxpxwp375.0)(1)(12xwpxwp根据贝叶斯决策规则：375.0)(625.0)(21xwpxwp，所以把x归为正常状态。(2)根据条件和上面算出的后验概率，计算出条件风险：125.3)()()()(2121112111xwpxwpxwpxRjjj75.1)()()()(22221212122xwpxwpxwpxRjjj由于)()(21xRxR，即决策为2w的条件风险小于决策为1w的条件风险，因此采取决策行动2，即判断待识别的细胞x为2w类----异常细胞。将(1)与(2)相对比，其分类结果正好相反，这是因为这里影响决策结果的因素又多了一个，即“损失”；而且两类错误决策所造成的损失相差很悬殊，因此“损失”起了主导作用。4、有两类样本集Tx]0,0,0[11，Tx]0,0,1[21，Tx]1,0,1[31，Tx]0,1,1[41Tx]1,0,0[12，Tx]0,1,0[22，Tx]1,1,0[32，Tx]1,1,1[42(1)用K-L变换求其二维特征空间，并求出其特征空间的坐标轴；(2)使用Fisher线性判别方法给出这两类样本的分类面。解：iTiiTxxXXE81][5.025.025.025.05.025.025.025.05.0][TXXE，其对应的特征值和特征向量为：100025.000025.031612131612131620U，降到二维空间，取616162313131U对应的坐标：,61326132623100:1w033623261316131:2w(2)25.025.075.01m75.075.025.02m,43414141434104143161163161163169163161163161169163163163161161163161161161161161161161161161161161161161163161161163163163169))((41111iTiimxmxS