Fisher线性判别分析实验(模式识别与人工智能原理实验1)

Fisher线性判别分析实验（模式识别与人工智能原理实验1）1实验1Fisher线性判别分析实验一、摘要Fisher线性判别分析的基本思想：通过寻找一个投影方向（线性变换，线性组合），将高维问题降低到一维问题来解决，并且要求变换后的一维数据具有如下性质：同类样本尽可能聚集在一起，不同类的样本尽可能地远。Fisher线性判别分析，就是通过给定的训练数据，确定投影方向W和阈值y0，即确定线性判别函数，然后根据这个线性判别函数，对测试数据进行测试，得到测试数据的类别。二、算法的基本原理及流程图1基本原理（1）W的确定各类样本均值向量mi样本类内离散度矩阵iS和总类内离散度矩阵wS12wSSS样本类间离散度矩阵bS在投影后的一维空间中，各类样本均值Tiim'=Wm。样本类内离散度和总类内离散度TTiiwwS'=WSWS'=WSW。样本类间离散度TbbS'=WSW。Fisher准则函数满足两个性质：·投影后，各类样本内部尽可能密集，即总类内离散度越小越好。·投影后，各类样本尽可能离得远，即样本类间离散度越大越好。根据这个性质确定准则函数，根据使准则函数取得最大值，可求出W：-1w12W=S(m-m)。（2）阈值的确定实验中采取的方法：012y=(m'+m')/2。（3）Fisher线性判别的决策规则对于某一个未知类别的样本向量x，如果y=WT·xy0，则x∈w1；否则x∈w2。x1mx,1,2iiXiiNTxS(xm)(xm),1,2iiiiXiT1212S(mm)(mm)bFisher线性判别分析实验（模式识别与人工智能原理实验1）22流程图方差标准化（归一化处理）一个样本集中，某一个特征的均值与方差为：归一化：三、实验要求寻找数据进行实验，并分析实验中遇到的问题和结论，写出实验报告。得到每个类的均值向量计算类内的离散度，总的离散度计算总离散度的逆矩阵计算投影向量和阈值载入测试数据归一化处理判断测试数据类别归一化处理载入训练数据122111()ilijijljiijxxlsxxliiiixxxs