主成分分析法

主成分分析法概念：把原来多个变量划为少数几个综合指标的一种统计分析方法，是一种降维处理技术.主成分分析法一个研究对象，往往是多要素的复杂系统。变量太多无疑会增加分析问题的难度和复杂性，利用原变量之间的相关关系，用较少的新变量代替原来较多的变量，并使这些少数变量尽可能多的保留原来较多的变量所反应的信息，这样问题就简单化了。研究对象要素x1x2…xj…xp12…i…nx11x12…x1j…x1px21x22…x2j…x2p………………xi1xi2…xij…xip………………xn1xn2…xnj…xnp假设有n个对象，每一个对象都有x1，x2，…，xp个要素构成，它们所对应的要素数据用下表给出：一、基本原理原变量为x1，x2，…，xp，降维处理后，设它们的综合指标，即新变量为z1，z2，z3，…，zm(m≤p)，则pmpmmmppppxlxlxlzxlxlxlzxlxlxlz................................................22112222121212121111系数lij由以下原则确定1、zi与zj(i≠j；i，j=1，2，…，m)相互无关2、z1是x1，x2，…，xp的一切线性组合中方差最大者；z2是与z1不相关的x1，x2，…，xp的所有线性组合中方差最大者；………..；zm是与z1，z2，z3，…，zm-1都不相关的x1，x2，…，xp的所有线性组合中方差最大者。z1称为原变量x1，x2，…，xp的第一主成分Z2称为原变量x1，x2，…，xp的第二主成分……………..zm称为原变量x1，x2，…，xp的第m主成分找主成分zi就是要确定系数lij。从数学上知道，它们分别是x1，x2，…，xp的相关系数矩阵的m个较大的特征值所对应的特征向量。二、主成分分析的计算步骤nknkjkjikinkjkjikiijxxxxxxxxr11221相关系数计算公式1、计算相关系数据公式得这p个变量之间的相关系数矩阵为pppppprrrrrrrrrR.....................212222111211分别求出对应于λi的特征向量ei(i=1，2，…，p)2、计算特征值和特征向量解特征方程|λE-R|=0求出特征值λi(i=1，2，…，p)将这P个特征值按大小顺序排列，即λ1≥λ2≥…≥λp≥0然后按公式|λiE-R|ei=0主成分zi的贡献率为piQi，，，...21p1kki前i个主成分的累计贡献率为piQpkkikk，，，...21113、计算主成分贡献率及累计贡献率当前i个主成分累计贡献率达到85%——95%，就取前i个主成分作为新变量。pjielijiij，，，，...214、计算主成分载荷计算公式为得前i个主成分在原变量上的载荷原变量xi主成分Z1Z2…Zix1x2…xpl11l12…l1pl21l22…l2p…………li1li2…lip三、主成分分析方法的SPSS实现对45个城市7项经济指标进行主成分分析1、数据导入到数据窗口中，定义各变量，确保各变量均为数值型。2、激活Analysis菜单选DataReduction的Factor...命令项，弹出FactorAnalysis对话框。在对话框左侧的变量列表中选变量X1至X7，点击钮使之进入Variables框。Descriptives...钮变量的均数与标准差相关系数矩阵Extraction...钮：因子提取方法主成分分析法未加权最小平方法极大似然估计法指定分析矩阵提取结果与因子提取有关的输出项迭代次数Rotation...钮：因子旋转方法旋转的目的是为了获得简单结构，以帮助我们解释因子不作因子旋转正交旋转Scores...钮：估计因子得分系数的方法DescriptiveStatistics614.8580530.2189735.4800.1649435121.157494.6763835840.73171017.738233566.760684.6623635646.6091622.4701335118.4957127.3909335x1x2x3x4x5x6x7MeanStd.DeviationAnalysisN结果解释均数与标准差CorrelationMatrix1.000-.341.843.360.404.497.469-.3411.000-.475.309.358.261.311.843-.4751.000.336.324.446.374.360.309.3361.000.941.848.861.404.358.324.9411.000.923.953.497.261.446.848.9231.000.973.469.311.374.861.953.9731.000x1x2x3x4x5x6x7Correlationx1x2x3x4x5x6x7相关系数矩阵KMOandBartlett'sTest.739313.41721.000Kaiser-Meyer-OlkinMeasureofSamplingAdequacy.Approx.Chi-SquaredfSig.Bartlett'sTestofSphericityBartlett检验Bartlett值=313.417，P0.0001，即相关矩阵不是一个单位矩阵，故考虑进行因子分析。TotalVarianceExplained4.31561.63861.6384.31561.63861.6381.95427.91789.5541.95427.91789.554.3605.13894.692.1852.64497.335.1381.97899.313.033.47399.786.015.214100.000Component1234567Total%ofVarianceCumulative%Total%ofVarianceCumulative%InitialEigenvaluesExtractionSumsofSquaredLoadingsExtractionMethod:PrincipalComponentAnalysis.特征值、贡献率及累积贡献率ComponentMatrixa.613-.686.212.866.549-.775.910.210.954.234.963.096.962.162x1x2x3x4x5x6x712ComponentExtractionMethod:PrincipalComponentAnalysis.2componentsextracted.a.主成分载荷因子得分第一主成分第二主成分三、实例1：对中国大陆31个省（市、区）的第三产业综合发展水平进行主成分分析。1、构建评价第三产业综合发展水平的指标体系，并对原始数据进行标准化处理。这里用于评价第三产业综合发展水平的指标有人均GDP→x1人均第三产业增加值→x2第二产业增加值比重→x3第三产业增加值比重→x4第三产业从业人员比重→x5第三产业固定资产投资比重→x6城市化水平→x72、计算各指标之间的相关系数矩阵1219.0839.0648.0175.0808.0783.0219.01003.0046.007.0003.0001.0839.0003.01712.0218.0854.0822.0648.0046.0712.01271.0752.0657.0175.007.0218.0271.01241.0339.0808.0003.0854.0752.0241.01988.0783.001.0822.0657.0339.0988.0176543217654321xxxxxxxxxxxxxxRij3、计算出相关系数矩阵的特征值主成分zi特征值λi贡献率（%）累计贡献率（%）Z1Z2Z3Z4Z5Z6Z74.1981.2261.0360.2680.1740.09610.0028759.97217.50714.7943.8322.4821.3730.041159.97277.47992.27396.10598.58699.959100从上表知：前三个主成分累计贡献率达92.273%，因此，这三个主成分Z1、Z2、Z3能够充分反映31个区域第三产业发展的综合水平。4、计算主成分载荷原变量xi主成分载荷lij第一主成分l1i第二主成分l2i第三主成分l3jx1x2x3x4x5x6x70.9460.9710.2200.7950.930-0.07630.8990.1390.02250.945-0.5140.00086-0.220.03320.1230.10.162-0.0910.07020.967-0.1873、第三主成分在第三产业固定资产投资比重x6上有较大的载荷，这说明对第三产业的投资是第三产业可持续发展的重要支撑。从上表可知：1、第一主成分在人均GDPx1、人均第三产业增加值x2、第三产业从业人员比重x5、城市化水平x7上具有很大的载荷，这些原变量几乎包含了第三产业的主要指标。因此，第一主成分在一定程度上就代表了第三产业的综合发展水平。2、第二主成分在第二产业增加值比重x3上有较大的载荷，表明第二主成分在一定程度上代表工业化程度。5计算各省区在一二三主成分上的综合得分序号得分区域第一主成分L1第二主成分L2第三主成分L3综合得分L位次1北京3.055-1.1640.8861.75922天津1.6950.418-1.5670.85833上海3.2570.878-0.07322.0961…………………23四川-0.7450.1430.571-0.33723…………………