主成分分析PPT

主成分分析组长：郭圣锐小组成员：罗琳张玉峰石小丰背景在许多领域的研究与应用中，通常需要对含有多个变量的数据进行观测，收集大量数据后进行分析寻找规律。多变量大数据集无疑会为研究和应用提供丰富的信息，但是也在一定程度上增加了数据采集的工作量。更重要的是在很多情形下，许多变量之间可能存在相关性，从而增加了问题分析的复杂性。如果分别对每个指标进行分析，分析往往是孤立的，不能完全利用数据中的信息，因此盲目减少指标会损失很多有用的信息，从而产生错误的结论。因此需要找到一种合理的方法，在减少需要分析的指标同时，尽量减少原指标包含信息的损失，以达到对所收集数据进行全面分析的目的。由于各变量之间存在一定的相关关系，因此可以考虑将关系紧密的变量变成尽可能少的新变量，使这些新变量是两两不相关的，那么就可以用较少的综合指标分别代表存在于各个变量中的各类信息。主成分分析与因子分析就属于这类降维算法。数据降维降维就是一种对高维度特征数据预处理方法。降维是将高维度的数据保留下最重要的一些特征，去除噪声和不重要的特征，从而实现提升数据处理速度的目的。在实际的生产和应用中，降维在一定的信息损失范围内，可以为我们节省大量的时间和成本。降维也成为应用非常广泛的数据预处理方法。降维具有如下一些优点：·使得数据集更易使用。·降低算法的计算开销。·去除噪声。·使得结果容易理解。降维的算法有很多，比如主成分分析(PCA)、奇异值分解(SVD)、因子分析(FA)、独立成分分析(ICA)。PCA原理详解PCA的概念PCA(PrincipalComponentAnalysis)，即主成分分析方法，是一种使用最广泛的数据降维算法。PCA的主要思想是将n维特征映射到k维上，这k维是全新的正交特征也被称为主成分，是在原有n维特征的基础上重新构造出来的k维特征。PCA的工作就是从原始的空间中顺序地找一组相互正交的坐标轴，新的坐标轴的选择与数据本身是密切相关的。其中，第一个新坐标轴选择是原始数据中方差最大的方向，第二个新坐标轴选取是与第一个坐标轴正交的平面中使得方差最大的，第三个轴是与第1,2个轴正交的平面中方差最大的。依次类推，可以得到n个这样的坐标轴。通过这种方式获得的新的坐标轴，我们发现，大部分方差都包含在前面k个坐标轴中，后面的坐标轴所含的方差几乎为0。于是，我们可以忽略余下的坐标轴，只保留前面k个含有绝大部分方差的坐标轴。事实上，这相当于只保留包含绝大部分方差的维度特征，而忽略包含方差几乎为0的特征维度，实现对数据特征的降维处理。思考：我们如何得到这些包含最大差异性的主成分方向呢？答案：事实上，通过计算数据矩阵的协方差矩阵，然后得到协方差矩阵的特征值特征向量，选择特征值最大(即方差最大)的k个特征所对应的特征向量组成的矩阵。这样就可以将数据矩阵转换到新的空间当中，实现数据特征的降维。协方差和散度矩阵样本均值：样本方差：样本X和样本Y的协方差：11niixxn22111niiSxxn11,1niiiCovXYEXEXYEYxxyyn由上面的公式，我们可以得到以下结论(1)方差的计算公式是针对一维特征，即针对同一特征不同样本的取值来进行计算得到；而协方差则必须要求至少满足二维特征；方差是协方差的特殊情况。(2)方差和协方差的除数,这是为了得到方差和协方差的无偏估计。协方差为正时，说明和是正相关关系；协方差为负时，说明和是负相关关系；协方差为0时，说明X和Y是相互独立。就是X的方差。当样本是n维数据时，它们的协方差实际上是协方差矩阵(对称方阵)。,CovXX1nPCA的几何意义图中，B点表示样例，A点表示在上的投影，是直线的斜率也是直线的方向向量，而且是单位向量。蓝色点是在上的投影点，离原点的距离是uuu,xu从总体相关系数矩阵出发求解主成分记样本的主成分实例操作试计算这8个指标的主成分及对13个工业部门进行排序。经过因子分析可得到MATLAB方法可得结果0.5554-0.1120-0.08010.5434-0.1287-0.13390.5706-0.0082-0.14370.13290.5069-0.00123-0.00170.4714-0.4304-0.00030.5382-0.0812-0.0860-0.4196-0.19760.2p1350.16090.85091.5712-0.3295-0.4955-1.4049-2.1531-0.3382-1.3933-3.0397-0.52341.07850.70000.92864.8850-1.3776-0.3443-0.9718-1.4625-0.0493-1.01580.6317-0.3900-0.0299sc3.3411-1.37480.00151.3915-0.5289-0.86530.66800.8101-1.01220.0353-0.0576-0.88940.9725-0.32420.04650.62252.6875