模式识别作业三

第三次模式识别作业（3、4、5章）第3章1.分别写出在以下两种情况(1)(2)下的最小错误率（基本的）贝叶斯决策规则。答：判别函数为：g(x)=p(w1)·p(x|w1)-p(w2)·p(x|w2)(1)当时，g(x)=p(w1)-p(w2)所以(2)当时，g(x)=p(x|w1)-p(x|w2)所以2.两类的一维模式，每一类都是正态分布，其中。设这里用0-1代价函数，且。试绘出其密度函数，画判别边界并标示其位置。解：由题√()√()两类问题的0-1代价问题即最小错误率Bayes决策，且所以决策边界为g(x)=p(x|w1)-p(x|w2)=0即：x=112PxPx12PP12PxPx12PP2,2;2,022111212PP1212PP密度函数图像即判别边界图为：3.设以下模式类别具有正态概率密度函数：(a)设，求该两类模式之间的贝叶斯判别边界的方程式。(b)绘出其判别界面。解：（1）由题x11=1/4*(0+2+2+0)=1;x12=1/4*(0+0+2+2)=1x21=1/4*(4+6+6+4)=5;x22=1/4*(4+4+6+6)=5所以u1=(1,1),u2=(5,5)，算得协方差矩阵为：E1=E2=I=[]所以-10-8-6-4-2024681000.050.10.150.20.25p(x|w1)p(x|w2)11:0,0',2,0',2,2',0,2':4,4',6,4',6,6',4,6'1212PP2()()判别面方程：g1(x)=g2(x)即x1+x2-6=0（2）判别界面图为第4章1.设总体概率分布密度为，，并设，分别用最大似然估计和贝叶斯估计计算。已知的先验分布为解：（1）极大似然法))(21exp(21)|(p2xx-101234567-101234567w1类w2类均值中心分界线1,N12,,,NXxxxˆ0,1pN))((21exp)21()|(p)(211ininniixxL先对)(L取对数，))((212ln2)(ln21inixnL然后对求导，并令其等于0，得0)())((ln1'inixL即niixn11（2）贝叶斯估计法))(21exp(21)|(p2xx，)21exp(21)(p2所以由贝叶斯公式，则可得后验概率：dPXPPXPXPiii)()|()().|()|(由于dPXPi)()|(与无关，所以令其为a，所以niiiPxPaXP1)()|(1)|()})1(2(21exp{'21nxanii而后验概率可以直接写成正态形式：211(|)exp[]22NiNNPX利用对应系数相等得：11212nxnniinn由上式解得：niinxn1112.设对于一个二类（ω1，ω2）识别问题，随机抽取ω1类的5个样本X=(x1，x2，….x5)，即ω1=(x1，x2，….x5){x1=5.2，x2=5.6，x3=5，x4=8，x5=2.5}试用方窗函数、正态窗函数和指数窗函数，估计P(x|ω1)，并讨论其性能。解：（1）方窗%%方窗xx=[5.25.6582.5];%样本点x=-5:0.01:15;%画图点y=zeros(size(x));%纵坐标值f=4;%f^2为窗口数forh=1:f^2%窗口宽度，逐渐递增fori=1:5%逐一累加窗口函数s=find(abs(x-xx(i))=0.5*h);%找到在此方窗窗口内的点y(s)=y(s)+1;%把它们对应的纵坐标值加1endsubplot(f,f,h);%开窗口plot(x,y/h);%画图，y/h是除以体积d=num2str(h);%为标题准备title(['窗口宽度h=',d]);%标题gridonend其他.021||,1)(uu由上图可以看出h越大，图像越好看，这与h越大，图像越平坦的结论不符，为什么呢？？-20020024窗口宽度h=1-20020024窗口宽度h=2-20020024窗口宽度h=3-20020024窗口宽度h=4-20020024窗口宽度h=5-20020024窗口宽度h=6-20020024窗口宽度h=7-20020024窗口宽度h=8-20020024窗口宽度h=9-2002005窗口宽度h=10-2002005窗口宽度h=11-2002005窗口宽度h=12-2002005窗口宽度h=13-2002005窗口宽度h=14-2002005窗口宽度h=15-2002005窗口宽度h=16然后我将h的循环关闭，直接令h=20，如果是h越大越好的话，那么图像应该更好，但是图像是：看来图像并不好看，很平坦，符合h越大，图像越平坦的结论，那么，原来的图那里错了呢？原来y=zeros(size(x));%纵坐标值f=4;%f^2为窗口数forh=1:f^2%窗口宽度，逐渐递增-50510150.10.150.20.25窗口宽度h=20这里y在h循环时，y并没有清零，导致图像累加了，然后我修改程序，得到：这下，我们得到了意料之中的图像，在h=6左右时，效果较好。然而，在这里，我们可以发现用方窗得到理想曲线的方法，那就是我之前的错误——方窗叠加（每次y不清零），但是要注意这时体积也会变，v=n(n+1)/2(一维)。（2）正态窗代码几乎不变，只要将上面的s=find(abs(x-xx(i))=0.5*h);%找到在此方窗窗口内的点y(s)=y(s)+1;%把它们对应的纵坐标值加1改为y1=1/(2*pi)*exp(-((x-xx(i))/h).^2/2);%正态窗窗口函数y=y+y1;%累加即可。-20020024窗口宽度h=1-20020012窗口宽度h=2-20020012窗口宽度h=3-2002000.51窗口宽度h=4-2002000.51窗口宽度h=5-2002000.51窗口宽度h=6-2002000.51窗口宽度h=7-2002000.51窗口宽度h=8-2002000.51窗口宽度h=9-2002000.5窗口宽度h=10-2002000.5窗口宽度h=11-2002000.5窗口宽度h=12-2002000.20.4窗口宽度h=13-2002000.20.4窗口宽度h=14-2002000.20.4窗口宽度h=15-2002000.20.4窗口宽度h=16}21exp{21)(2uu由上图可见，在h=2和4左右时，图像效果较好，而且符合h越大，图像越平坦的结论，平坦度要看y轴的坐标值的变化率，下面有两个h更大的图，可以看出y轴的坐标值的变化率很小，很平坦-2002000.5窗口宽度h=1-2002000.20.4窗口宽度h=2-2002000.20.4窗口宽度h=3-2002000.10.2窗口宽度h=4-2002000.10.2窗口宽度h=5-2002000.10.2窗口宽度h=6-2002000.10.2窗口宽度h=7-2002000.050.1窗口宽度h=8-2002000.050.1窗口宽度h=9-200200.040.060.08窗口宽度h=10-200200.040.060.08窗口宽度h=11-200200.040.060.08窗口宽度h=12-200200.040.060.08窗口宽度h=13-200200.040.050.06窗口宽度h=14-200200.040.050.06窗口宽度h=15-200200.040.050.06窗口宽度h=16-50510150.01920.01930.01940.01950.01960.01970.01980.0199窗口宽度h=40（3）指数窗同样，代码只用改为y1=exp(-abs((x-xx(i))/h));%指数窗窗口函数y=y+y1;%累加即可。得到-50510150.01550.01560.01560.01570.01570.01580.01580.01590.01590.016窗口宽度h=50|}|exp{)(uu由上图可见，在h=4左右时，图像效果较好。总结：由3个窗口图像我们知道这批数据大概是按正态分布的，所以用正态窗的效果较好。第5章1.设有如下三类模式样本集ω1，ω2和ω3，其先验概率相等，求Sw和Sbω1：{(10)t,(20)t,(11)t}ω2：{(-10)t,(01)t,(-11)t}ω3：{(-1-1)t,(0-1)t,(0-2)t}-20020024窗口宽度h=1-20020012窗口宽度h=2-20020012窗口宽度h=3-2002000.51窗口宽度h=4-2002000.51窗口宽度h=5-2002000.51窗口宽度h=6-2002000.51窗口宽度h=7-2002000.51窗口宽度h=8-2002000.5窗口宽度h=9-2002000.5窗口宽度h=10-2002000.5窗口宽度h=11-2002000.20.4窗口宽度h=12-2002000.20.4窗口宽度h=13-2002000.20.4窗口宽度h=14-2002000.20.4窗口宽度h=15-2002000.20.4窗口宽度h=16解：3类的均值向量为ttt)34,31(,)32,32(,)31,34(321所以3131iiwCS（Ci为第i类协方差矩阵）得2112911C，2112912C，2112913C6116271wS类间：t)91,91(0，由tiiibS))((310310所以，62131362811bS2.设有如下两类样本集，其出现的概率相等：ω1：{(000)T,(100)T,(10-1)T,(110)T}ω2：{(00-1)T,(010)T,(01-1)T,(11-1)T}用K-L变换，分别把特征空间维数降到二维和一维，并画出样本在该空间中的位置。解：应用类间散布矩阵。均值为tt)43,43,41(,)41,41,43(21，t)21,21,21(0由公式tiiibS))((210210得111111111161bS特征值为3,0321，对应的特征向量为11131,11021321原图中点的位置：新坐标公式xt1、化到一维，00.20.40.60.8100.51-1-0.8-0.6-0.4-0.20xyzw1类w2类（1）用1来，xt1得]0,0,1,1[21],1,1,0,0[2121图为，可见效果很不理想，很多重合（2）用3来化，xt3，得]1,2,1,1[31],0,0,1,0[3121图为，可见，可分性很好2、划到2维（1）用21,来，得到002121002121,21210021210021图为，效果不好，重叠-1.5-1-0.500.511.5-0.1-0.08-0.06-0.04-0.0200.020.040.060.080.1-2.5-2-1.5-1-0.500.511.5-0.1-0.08-0.06-0.04-0.0200.020.040.060.080.1（2）用32,来，得31323131002121,0031021210021图为，可见，可分性很好-1-0.8-0.6-0.4-0.200.20.40.60