数据降维方法

êâü‘�{nãê9(2005210988)˜uŒÆgÄzX&E¤ÁÁÁ‡‡‡3‰ÆïÄ¥§·‚²~‘éŒþp‘êâ?1©Û¯K§~Xã”S!ð(1ÌéuŒþp‘êâ?1©ÛI¦—‚éù˜‡¯K'5µXÛ3$‘˜m¥L«ê⧱Bu·‚éêâ?1k©Û©V)3êâü‘¥~^�{§é§‚?1{‡©Û'''………iiiµPCA,LDA,KPCA,KLDA,MetricMDS,ISOMAP,LLE1µµµ0003‰ÆïÄ¥§·‚²~‡éêâ?1?nùêâÏ~Ñ u‘êép˜m§~X§·‚?n256×256ã¡Sž§Ï~·‚òã¡.¤˜‡•þ§ù§·‚4096‘êâS§XJ†éùêâ?1?n§¬k±e¯KµÄk§¬Ñy¤¢/‘ê/J0¯K§ãŒOŽþò¦·‚Ã{=ɶÙg§ùêâÏ~vk‡NÑêâŸA§XJ†馂?1?n§Ø¬nŽ(J¤±§Ï~·‚I‡Äkéêâ?1ü‘§,éü‘êâ?1?nÏ~§·‚?1êâü‘̇´Äu±e8µ1.Ø êâ±~;þ2.?D(K�3.lêâ¥JA±Bu?1©a4.òêâÝK$‘ŒÀ˜m§±Buw˜êâ©Ùêâü‘�{Œ±©�‚5ü‘Úš‚5ü‘§š‚5ü‘q©�Äuؼê�{ÚÄuAŠ�{‚5ü‘�{k̤©©Û(PCA)!Õᤩ©Û(ICA)!‚5ûü©Û(LDA)!ÛÜA©Û(LFA)Äuؼêš‚5ü‘�{kÄuؼê̤©©Û(KPCA)!ÄuؼêÕᤩ©Û(KICA)!Äuؼêûü©Û(KDA)ÄuAŠš‚5ü‘�{kISOMAPÚLLE12üüü‘‘‘���{{{e¡©O0ˆ«'~^ü‘�{2.1‚‚‚555üüü‘‘‘���{{{2.1.1PCAPCA(PrincipalComponentAnalysis)̇gŽ0Xeb·‚km‡êâx1,x2,...,xm,Ù¥xi∈Rnbùê⮲¥%8z§=mXi=1xi=0½Â�ÝC=1mmXi=1xixTiÏ�C�Œ½Ý§éÙ?1éz§µC=VΛVTÙ¥§Λ=diag(λ1,λ2,···,λn)VVT=1bC��p,=rank(C)=p§@oCkp‡šAŠ§P�λ1≥λ2≥···≥λp0·‚ck‡AŠ¤éAA•þv1,v2,···,vkŠ�·‚ÝK�•,@oéu?Û˜‡x§·‚OŽyi=xTvi,i=1,2,···,k§@o·‚Œ±^[y1,y2,···,yk]T5L«x§ùŒ±òêâln‘ük‘k=p=n,=C÷�§¿…·‚n‡Ä?1ÝKž§PCAÒƒué‹IX?1C†3PCA¥§CAŠ´k²(Ôn¿Â§§L«òêâ3dAŠéAA•þþÝK¤ÝKXê�§í„e¡λi=vTiλivi=vTiCvi=1mmXj=1(vTixj)(vTixj)Tª¥vTixjL«xj3viþÝK§du¥%®²˜:§@oùÝK¥%�3:§w,µmXj=1vTixj=0¤±§λi(“L3viþÝK�þªí^úªvTivi=1Cvi=λivi@o§·‚Œ±wPCȦgŽµòê╦ÝK�Œ�•ÝK§ùŒ±¦ŒU3êâ&EŒ±^ã15?1`²2ã1.PCA«¿ã(RandyJulian,LillyResearchLaboratoriesJø)2.1.2LDALDA(LinearDiscriminateAnalysis)̇gŽ0XeLDAlêâ©aÝ5įK§§´iÒª©a�{kcaℜ1,ℜ2,···,ℜc,áun‘˜m§1kakNk‡§¤koÚ�N30`zOKƒc§·‚k½ÂA‡7‡Äëþ1.ˆaþŠ•þmimi=1NiXx∈ℜix,i=1,2,···,c2.oþŠ•þmm=cXi=1NiNmi3.aSlÑÝÝSiSi=1NiXx∈ℜi(x−mi)(x−mi)T,i=1,2,···,c4.oaSlÑÝÝSwSw=cXi=1NiNSi5.amlÑÝÝSbSb=cXi=1NiN(mi−m)(mi−m)T3kü«`zOK½Â§˜«´�za阇ÝK�•wi,i=1,2,···,c,¦eª�ŒzµJ(wi)=wTiSbwiwTiSiwi,˜«´�¤kaOéÓ˜ÝK�•w,¦eª�ŒzµJ(w)=wTSbwwTSwwþ¡ü‡OKéaq§�ØLcö‡éc‡ÝK�•§ö�I‡é1‡ÝK�•e¡ÏL¦)e¡`z¯Kþãü‡¯K)¦w§¦F(w)=wTSbwwTSwŠ�Œe¡¦¦F(w)4ŒŠw∗·‚^Lagrange¦f{¦)-©1uš~ê§=-wTSw=a6=0½ÂLagrange¼ê�L(w,λ)=wTSbw−λ(wTSw−a)ª¥λ�Lagrange¦fòþªéw¦ ê§∂L(w,λ)∂w=Sbw−λSw- ê�§Sbw∗−λSw∗=0=Sbw∗=λSw∗võž§S˜„´÷�§ddŒS−1Sbw∗=λw∗Œ„§w∗´S−1SbA•þddŒF(w∗)=(w∗)TSbw∗(w∗)TSw∗=λ(w∗)TSw∗(w∗)TSw∗=λŒ„§w∗´S−1Sb�ŒAŠ¤éAA•þ·‚£5¯K§XJI‡�z˜aÑÏ阇ÝK•þwi§@owiÒ´S−1iSb�ŒAŠ¤éAA•þ¶XJI‡�¤kaÏéÓ˜‡ÝK•þw§@owÒ´S−1wSb�ŒAŠ¤éAA•þ43©až§·‚òÿÁx©O•wiþÝK§ÝKyi=xTwi,OŽ§Ú1iaÝK¥%mTiwimål|(x−mi)Twi|,@o¤áaOk÷vXe^‡k=argmin1≤i≤c|(x−mi)Twi|éu1«`zOK§©až�Iòþª¥wi†�w=ŒŒ^ã25`²LDAg´ã2.LDA«¿ã(S.Balakrishnama,A.GanapathirajuJø)2.1.3PCAÚÚÚLDA'''PCA´l­*:?1êâü‘§=§�Œz�§¦þ3&E¶LDAlª©a*:Ñu§�Œzamåã3Œ±éÐ/`²PCAÚLDA«OÏ�Xd§˜„@�§3©až§LDAJ‡ÐuPCA´§©z[7]¥�ѧê½ö¿vkþ!枧=ØUéÐ/Lyêâý¢©Ùž§PCA©aJkŒUÐuLDA§ùŒ±^ã45`²e¡©O0˜ePCAÚLDA€Ï�PCA´•¦ÝK��Œ�•?1ÝK§@o3ã5¤«œ¹e§PCA¬»€êâ5&ELDAkXe€µ1.Û¹êâ´pd©ÙbêâØ´pd©Ùž§J¬é§Xã6¤«2.¥%´û½Ïƒ§Ø´�Xã7¤«¦+PCAÚLDAäkþ〧´§du§‚´u¢y§¿…Œ±ˆÛ�`)§¤k§‚E,´š~61êâü‘�{5ã3.PCAÚLDA«O(WikipediaJø)ã4.küaØÓaO©O“Lü‡ØÓpd©Ù,§za�ÀÑü‡5^PCA½LDA5?1?n†*þaú§ƒéuLDA©a(J§PCA©a(J´·‚�ÏDPCAÚDLDA©OL«^�CŽ{ûü¡(A.M.MartinezandA.C.KakJø)6ã5.ã¥kna¥•G²1©Ùêâdž^PCAü‘¬»€êâ&E(WikipediaJø)ã6.êâØ´pd©Ùž§ÝK·Uéî­(WikipediaJø)7ã7.PCAÝKû½Ïƒ´�§LDAÝKû½Ïƒ´¥%(WikipediaJø)2.2ÄÄÄuuuØØؼ¼¼êêêššš‚‚‚555êêêâââüüü‘‘‘���{{{ؼênØ�E,§Ø¼êgŽ%é{üùp�{‡/0˜eؼêgŽ§,0KPCAÚKLDAb·‚km‡êâx1,x2,...,xm,Ù¥xi∈Rnùêâ3n‘˜m¥‚5ØŒ©ž§·FÏL˜‡NΦòêâln‘˜mNN(Nn)‘˜m¥,¦êâ3N‘˜m¥´‚5Œ©,ù,·‚¦^PCA½öLDA3N‘˜m¥éêâ?1ü‘žÒŒ±Ð(J´XÛÀΦâU¦êâ3N‘˜m¥‚5Œ©º¿…§=¦·‚阇NΦ§ŒUNŒ±—uÃ{?1kOŽ,§3¢‚¥‚uy§éêâ?nž§²~¬Ñy¦ü‡•þ:È/ª§=ÑyΦ(xi)TΦ(xj)/ª§u´§·‚Œ±^˜‡¼ê5“Où«:ÈOŽ§=Ï阇¼êK(xi,xj,¦K(xi,xj)=Φ(xi)TΦ(xj)ùŒ±r¦:È$Ž=z�¦¼êŠ¯Kùp¼êK(xi,xjB¡�ؼê3¢SA^¥§·‚´†�½K(xi,xj)/ª§·‚ÃIΦ(xi)äN/ª¤±§�‡¯K�Œ±=z�•þƒm:ȯK§ÑŒ±^˜‡Ø¼ê5“O:ȧù�{Ò´Äuؼê�{~^ؼêk±en«µ1.õ‘ªØ¼êK(x,xi)=[xTxi+1]d82.»•ÄؼêK(x,xi)=e−γ||x−xi||23.²äؼêK(x,xi)=S[v(xTxi)+c]S(u)´sigmoid¼ê2.2.1KPCAb·‚km‡êâx1,x2,...,xm,Ù¥xi∈Rn,·‚½Â˜‡NΦòêâNš‚5A˜mF§½ÂXeµΦ:Rn→F,x7→X·‚éêâΦ(x1),Φ(x2),...,Φ(xm)^PCA?1?nC=1mmXj=1Φ(xj)Φ(xj)T·‚Féλ0ÚA•þv∈F\{0}÷vλv=CvddŒµv=1λmmXj=1Φ(xj)(Φ(xj)Tv)=mXj=1Φ(xj)TvλmΦ(xj)Œ„§3˜|Xêα1,···,αm¦v=mXj=1αjΦ(xj)·‚½ÂKij:=Φ(xi)TΦ(xj)òvÚCLˆª“\eª§λ(Φ(xk)Tv)=(Φ(xk)TCv),k=1,2,···,mŒmλKα=K2αÙ¥α=[α1,···,αm]T�éα)§·‚¦)XeAŠ¯Kmλα=Kα93¦CA•þvž§·‚I‡òv8˜z§=vTv=1u´Œ1=mXi,j=1αiαjΦ(xi)TΦ(xj)=αTKα=mλαTαŒ„§·‚I‡éα5‰z§¦αTα=1mλéu˜‡ÿÁ§·‚‡§3vþÝK§Œ^e¡LˆªOŽΦ(x)Tv=Xi=1mαiΦ(x)TΦ(xi)=mXi=1αiK(x,xi)Œ„§¤k¯KÑ=z�ؼêK(xi,xj)OŽ2.2.2KLDA3c¡JLDAŽ{¥§·‚I‡¦)J(w)=wTSbwwTSwwy3§bw=XiαiΦ(xi)@oþªŒ±C�J(α)=αTSΦbααTSΦwαÙ¥SΦb=Xc[κcκTc−κκT]SΦw=K2−XcNcκcκTcκc=1NcXi∈cKijκ=1NXiKijù§·‚ò¯Kؼêz§Ï�J(α)/ª†J(w)/ªƒq§¤±αéAu(SΦw)−1SΦb�ŒAŠéAA•þSΦwÛÉž§·‚^SΦw+βI“OSΦw,ÀJ˜‡Ü·β§·‚Œ±ySΦw+βI´šÛÉ102.2.3ØØؼ¼¼êêê���{{{???ØØØ?ÛŒ±/ªz�•þ:ÈŽ{ÑŒ±æ^ؼê5“O:ȧlòù«Ž{ؼêzؼꌱ4Ž{äkš‚5©ÛUå§À^ØÓؼêÒŒ±©ÛØÓš‚5A§ù˜ƒØ¬O\Ž{E,ݧ·‚�I‡éؼê?1OŽ§ØI‡w«/òêâNp‘˜m?1?n,§éu˜‡‰½¯K§XÛÀJؼ괘‡ynØ�¯KùI‡ÏL²Ú¢5(½2.3ÄÄÄuuuAAAŠŠŠššš‚‚‚555êêêâââüüü‘‘‘���{{{3!¥·‚̇0MetricMDSŽ{!ISOMAPŽ{ÚLLEŽ{2.3.1MetricMDSMetricMDS=Metricmult