Fisher判别

Fisher判别法基本思想：通过将多维数据投影到某一方向上，使得投影后类与类之间尽可能的分开，然后再选择合适的判别准则。费歇尔判别法就是要找一个由p个变量组成的线性函数，使得各类内点的函数值尽可能接近，而不同类之间的函数值尽可能的远离t1,...,1;,...,2,1,,...,niktxxXtiptiti设从总体ktGt,...,1分别抽取p元样本如下：paaa,...,1为p维空间的任意向量，XaXu为X向以a为法线方向上的投影。上述k个组中的p元数据投影为：knkkknXaXaGXaXaG,...,:;...,,...,:111111ktXnXtnjjtt,...,1,111每个总体的数据投影后均为一元数据。对这k组一元数据进行一元方差分析，其组间平方和为：BaaaX-XX-XnaXa-XanBkittttktt1210分别为和XXt值，并记的样样本均值和总样,...,1均，ktGtktnjtjtXnX111kitttX-XX-XnB1组间离差阵AaaanaaaAtttjk1tn1jttj2k1tn1jttj0X-XX-XX-X为合并的组tt内离差平方和因此，若k个总体的均值有显著差异，则比值aAaaBaaˆ应充分大。转化为求该比值的最大值。线性判别函数的求法0a根据极值的必要条件aBaAAa，BaAaaAa-AaaBaAaaBaaAaaAa-AaaBaBaaAaaAaAa-aAaaBaa，即0220222222，r，,X，，aXuraaaBAaBAttrr21,...,,征向量0...2121个判别函数于是可以构造，，对应特的记为对应的特征向量。的最大特征根，为即riimiimilmriilλλpp，r，,，lλλp1111121累计判别能力：判别能力：如果m个判别函数的累计判别能力达到所要求的值（比如90%），则认为m个判别函数就够了。Fisher判别准则一、两个总体XaXuaBA则线性判别函数为，对应特征向量记为记为的非零特征值只有一个，时,1的秩为B，当仅仅有两个总1建立了判别函数，还要确定临界值才能给出判别准则。即判别函数的均值为aXXXXanuunuuuXaXauuuXauXauiinjiijiijinjiijii12121221121212211))((1111ˆˆˆˆˆ2121,也可取临界值临界值可取为待判。），则（或若），则判（或若），则判（或，若当待判。），则（或若），则判（或若），则判（或，若当XX12212121uuXuGXuuXuGXuuXuuuuuXuGXuuXuGXuuXuuuFisher判别准则二、多个总体111,...,2,11111111'111Xˆminˆ,X,...,2,1,K11GuXuuXuiakiXauaXaXujjkjiiii则判使上的投影，若存在唯一，计算其在对待判别样本，上的投影为个总体的均值在。的判别函数首先取判别效率最大的’用T表示这t个总体的序号集，若在t个总体中，有唯一i2，使来判断归属。利用判别函数的距离相等且最小，再个总体，使其与如果有XaXuXu'221t222T22ˆminˆ22GXuXuuXujjjii则判若第二个判别函数仍不能确定，再利用第三个判别函数。，直到确定了每个样本的归属。