矩阵分解与PCA应用

矩阵分解与PCA应用云南大学信息学院(禁止网络传播)线性变换奇异值及分解SVD用于PCA协方差PCA人脸识别论文总结目录Contents矩阵几何变换的性质特征值和特征向量200111.5=120+1.501=21.52001−1−3=−120−301=−2−3向量（1，1.5）在变换后的位置，其实就是变换后基向量的线性表示，（-1，-3）也是一样线性变换的性质特征值和特征向量可以看到整个空间向左倾斜转动面积为原来的3.5倍，Det（A）=3,5以上介绍的三个不同矩阵作用下，整个空间发生了不同变化，但是原点没有改变，直线依然是直线，平行还是平行，这就是线性变换的性质特征值分解就把矩阵分解为𝑄Σ𝑄−1的形式，,Q就是这个矩阵特征向量组成的矩阵，正交矩阵可逆，Σ是对角阵。特征值分解得到前n个向量，对应主要的n个变化方向，就可以近似矩阵的变化，也就是提取矩阵主要特征特征值和特征向量的几何意义特征值奇异值的几何意义奇异值如果M是一对角矩阵3001，将水平垂直网格作拉伸变换如果M是一对称矩阵2112，也可以找到一组网格线，将矩阵的作用仅仅表现为拉伸变换，而没有发生旋转变换对于非对称矩阵1101，早不到一组网格，使得矩阵仅仅拉伸变换，（非对称矩阵在实数域无法对角化），只能找到一组网格，存在拉伸变换和旋转变换，网格依旧垂直奇异值的几何意义奇异值简单说对于任意矩阵，通过SVD可以可以将一个相互垂直的网格变换到另一个相互垂直的网格𝑀𝑣1=𝜎1𝑢1𝑀𝑣2=𝜎2𝑢2𝑀=𝑀𝑣1𝑣2=[𝜎1𝑢1𝜎2𝑢2]奇异值分解的几何含义为：对于任何的一个矩阵，我们要找到一组两两正交单位向量序列，使得矩阵作用在此向量序列上后得到新的向量序列保持两两正交。奇异值的几何含义就是：这组变换后的新向量序列长度奇异值分解（SVD）奇异值SVD是对矩阵进行分解,它跟我们特征值分解中的特征值类似，在奇异值矩阵中奇异值是按照从大到小排列，而且奇异值的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上的比例。也就是说，我们也可以用最大的k个的奇异值和对应的左右奇异向量来近似描述矩阵。𝐴𝑚×𝑛=𝑈𝑚×𝑚Σ𝑚×𝑛𝑉𝑛×𝑛𝑇𝐴𝑚×𝑛≈𝑈𝑚×𝑘Σ𝑘×𝑘𝑉𝑘×𝑛𝑇其中k比n小很多，也就是一个大的矩阵可以用三个小矩阵近似描述SVD图像压缩实例奇异值分解（SVD）奇异值分解（SVD）用于PCA奇异值这个假设是一个摄像机采集一个物体运动得到的图片，上面的点表示物体运动的位置，假如我们想要用一条直线去拟合这些点，那我们会选择什么方向的线呢？PCA的问题其实是一个基的变换，使得变换后的数据有着最大的方差。方差的大小描述的是一个变量的信息量一般来说，方差大的方向是信号的方向，方差小的方向是噪声的方向，在数据挖掘和信号处理中，需要提高信号与噪声的比例，上图只需要保留signal方向的数据就可以PCA的全部工作简单点说，就是对原始的空间中顺序地找一组相互正交的坐标轴，第一个轴是使得方差最大的，第二个轴是在与第一个轴正交的平面中使得方差最大的，第三个轴是在与第1、2个轴正交的平面中方差最大的，这样假设在N维空间中，我们可以找到N个这样的坐标轴，我们取前r个去近似这个空间，这样就从一个N维的空间压缩到r维的空间了，但是我们选择的r个坐标轴能够使得空间的压缩使得数据的损失最小。协方差的意义协方差协方差：度量各个维度偏离其均值的程度。协方差的值如果为正值，则说明两者是正相关的(从协方差可以引出“相关系数”的定义)，结果为负值就说明负相关的，如果为0，也是就是统计上说的“相互独立”而协方差也只能处理二维问题，那维数多了自然就需要计算多个协方差，比如n维的数据集就需要计算n!/((n-2)!*2)个协方差，那自然而然的我们会想到使用矩阵来组织这些数据。协方差的意义协方差协方差矩阵是一个对称的矩阵，而且对角线是各个维度上的方差（能量）其他元素是两两维度间的协方差(即相关性)，协方差计算的是不同维度之间的协方差，而不是不同样本之间协方差的应用协方差信息量保存能力最大的基向量一定是样本矩阵X的协方差矩阵的特征向量，并且这个特征向量保存的信息量就是它对应的特征值的绝对值。SVD得出的奇异向量是从奇异值由大到小排列的，矩阵的主成分是由其协方差矩阵的特征向量，按照对应的特征值大小排序得到的。最大的特征值就是第一主成分，第二大的特征值就是第二主成分，以此类推。PCA降维01特征标准化02计算协方差矩阵03通过SVD求取𝚺的特征向量04选择新的特征向量构成投影矩阵05完成降维PCA平衡各个特征尺度𝒙𝒋(𝒊)=𝒙𝒋(𝒊)−𝒖𝒋𝒔𝒋𝒖𝒋为特征j的均值，𝒔𝒋为特征j标准差Σ=1𝑚(𝑥𝑖)𝑚𝑖=1(𝑥𝑖)𝑇=1𝑚𝑋𝑇𝑋𝑈,𝑆,𝑉𝑇=𝑆𝑉𝐷(Σ)样本点投影到选取的特征向量上PCA人脸识别步骤第一步人脸图像标准化处理将待训练的样本图像进行标准化处理，去除背景信息，转化为一致的灰度图像。构造训练样本预处理将人脸像素按列展开，排列成数据矩阵，求均值向量，得出平均脸选择主成分方差矩阵特征值按贡献率排序，取前n个特征值和特征向量，得到投影矩阵求协方差矩阵协方差矩阵维数高，通过SVD奇异值分解降低维数，求出协方差矩阵的特征值和特征向量。测试人脸投影遍历匹配将测试集中的每一幅降维图像与降维的训练集进行匹配，然后将其分类到距离最小的训练集头像中。第二步第三步第四步第五步PCA人脸识别PCA人脸识别实例PCA人脸识别问题描述在一个人脸库中，有15个人。要求选定每一个人的若干幅图像组成样本库，由样本库得到特征库。再任取人脸库的一张图片，识别它的身份。MATLAB实现分析PCA人脸识别基于人脸检测算法的移动支付识别技术论文基于人脸检测算法的移动支付识别技术论文随着移动互联网的广泛应用，移动应用的安全性越来越受到重视。身份认证是应用安全的核心技术之一，目前主要采用用户密码，短信等措施。但是，由于这些措施与用户自身的生物特征无关，因此存在被盗的风险。因此，迫切需要开发结合生物识别技术的移动智能认证技术，这是移动应用安全的发展趋势。人脸识别是目前广泛研究和应用的一种生物识别技术。例如，通过主成分分析（PCA）和线性判别分析（LDA）来获得整个面部的统计值并识别面部器官的大小和位置，例如眼睛，鼻子和嘴巴。当人与监视摄像机之间的距离增加时，大多数摄像机目前会降低图像质量。因此，当现有的人脸识别算法应用于智能监控系统时，识别效率随着摄像头与人之间的距离而迅速降低。由于该技术主要基于用户的脸部照片或视频流，无需用户过多的合作，因此具有非接触性，直接性，方便，友好，真实，可靠等优点;同时，手机终端目前普遍配备高清摄像头，因此将人脸识别技术作为手机终端的应用安全识别手段是一个很自然的想法。然而，由于移动智能手机系统，如Android/iOS手机系统，都是新兴的终端系统，它们有自己的计算能力和存储空间限制，并且由于用户的操作习惯，通常的智能训练集手机通常是小尺寸的样本集，当传统的人脸识别算法直接应用于智能手机时会导致效果不佳。因此，为了在移动终端中实现有效的移动人脸识别，有必要对传统算法进行改进，并进行相应的实施研究。基于此背景，本文提出了一种改进的动态异方差算法，并且在移动终端上的小尺寸样本的情况下，采用自适应测试样本添加到训练样本集的方法，同时提出了一种基于Android系统的实现方案。实现了轻量级人脸识别系统，并在ORL人脸数据库和耶鲁人脸数据库中对算法进行了测试。基于研究结果，本文进一步提出了一种基于云架构的改进方案。基于人脸检测算法的移动支付识别技术论文面部区域划分尺度变换算法的缺点之一是特征向量具有128维，在特征点的匹配过程中需要交叉匹配由于人脸的独特性基本上集中在一些特征区域，如眼睛和鼻子，眼睛和鼻子区域特征向量的交叉匹配没有意义。本文主要从匹配策略上进行改进基于人脸检测算法的移动支付识别技术论文基于人脸检测算法的移动支付识别技术论文基于人脸检测算法的移动支付识别技术论文总结人脸识别社会快速发展对于高效快速的自动身份识别验证要求日益增加，人脸识别的精确可靠依然有很大的空间。SVD奇异值分解解决维数过高的问题。PCA主成分分析主成分分析是图像压缩中的最优正交变换。降维直观地好处是维度降低了，便于计算和可视化，其更深层次的意义在于有效信息的提取综合及无用信息的摈弃。35%25%20%10%PCA论文答辩感谢批评指正