因子分析讲座

1因子分析2i因子分析的目的：因子分析的目的之一,简化变量维数,即要使因素结构简单化,希望以最少的共同因素(公共因子),能对总变异量作最大的解释,因而抽取得因子愈少愈好,但抽取因子的累积解释的变异量愈大愈好.在因子分析的公共因子抽取中,应最先抽取特征值最大的公共因子,其次是次大者,最后抽取公共因子的特征值最小,通常会接近0.3主成分分析分析与因子分析的联系和差异：联系:(1)因子分析是主成分分析的推广,是主成分分析的逆问题.(2)二者都是以“降维”为目的,都是从协方差矩阵或相关系数矩阵出发.区别:(1)主成分分析模型是原始变量的线性组合,是将原始变量加以综合、归纳,仅仅是变量变换;而因子分析是将原始变量加以分解,描述原始变量协方差矩阵结构的模型;只有当提取的公因子个数等于原始变量个数时,因子分析才对应变量变换.(2)主成分分析,中每个主成分对应的系数是唯一确定的;因子分析中每个因子的相应系数即因子载荷不是唯一的.(3)因子分析中因子载荷的不唯一性有利于对公因子进行有效解释;而主成分分析对提取的主成分的解释能力有限.4一、因子分析模型一、数学模型设个变量，如果表示为iX),,2,1(pip11iiiimmiXaFaF)(pm11111211122212222212mmpppppmpmXFXFXF或XμAF或5例假定某地固定资产投资率，通货膨胀率，失业率，相关系数矩阵为试用主成分分析法求因子分析模型。1x2x3x15/25/15/215/15/15/112x3x6特征根为：55.1185.026.036.0707.085.0331.055.1629.06.0707.085.0331.055.1629.0085.0883.055.1475.0A707.0331.0629.0707.0331.0629.00883.0475.0U548.0305.0783.0548.0305.0783.00814.0569.07可取前两个因子F1和F2为公共因子，第一公因子F1物价就业因子，对X的贡献为1.55。第2一公因子F2为投资因子，对X的贡献为0.85。共同度分别为1，0.706，0.706。211814.0569.0FFx3212548.0305.0783.0FFFx3213548.0305.0783.0FFFx8特征根为：9123.010877.0203对应的非零特征向量为：261.0657.0261.0657.0929.0369.00877.0261.09123.0657.00877.0261.09123.0657.00877.0929.09123.0369.0077.0628.0077.0628.0275.0352.09二、因子旋转（正交变换）因子分析的目标之一就是要对所提取的抽象因子的实际含义进行合理解释。有时直接根据特征根、特征向量求得的因子载荷阵难以看出公共因子的含义。例如，可能有些变量在多个公共因子上都有较大的载荷，有些公共因子对许多变量的载荷也不小，说明它对多个变量都有较明显的影响作用。这种因子模型反而是不利于突出主要矛盾和矛盾的主要方面的，也很难对因子的实际背景进行合理的解释。这时需要通过因子旋转的方法，使每个变量仅在一个公共因子上有较大的载荷，而在其余的公共因子上的载荷比较小，至多达到中等大小。这时对于每个公共因子而言（即载荷矩阵的每一列），它在部分变量上的载荷较大，在其它变量上的载荷较小，使同一列上的载荷尽可能地向靠近1和靠近0两极分离。这时就突出了每个公共因子和其载荷较大的那些变量的联系，矛盾的主要方面显现出来了，该公共因子的含义也就能通过这些载荷较大变量做出合理的说明，这样也显示了该公共因子的主要性质。有三种主要的正交旋转法。四次方最大法、方差最大法和等量最大法。（一）为什么要旋转因子10百米跑成绩跳远成绩铅球成绩跳高成绩400米跑成绩百米跨栏铁饼成绩撑杆跳远成绩标枪成绩1500米跑成绩1X2X3X4X5X6X7X8X9X10X奥运会十项全能运动项目得分数据的因子分析11102.017.002.001.039.018.008.009.007.0124.034.018.013.017.044.021.011.0124.033.023.039.024.036.020.0132.017.027.073.031.028.0134.046.036.052.040.0129.019.049.063.0138.051.034.0142.035.0159.0112变量共同度0.6910.217-0.58-0.2060.840.7890.184-0.1930.0920.70.7020.5350.047-0.1750.80.6740.1340.1390.3960.650.620.551-0.084-0.4190.870.6870.042-0.1610.3450.620.621-0.5210.109-0.2340.720.5380.0870.4110.440.660.434-0.4390.372-0.2350.570.1470.5960.658-0.2790.891F2F3F4F1X2X3X4X5X6X7X8X9X10X因子载荷矩阵可以看出，除第一因子在所有的变量在公共因子上有较大的正载荷，可以称为一般运动因子。其他的3个因子不太容易解释。似乎是跑和投掷的能力对比，似乎是长跑耐力和短跑速度的对比。于是考虑旋转因子，得下表13变量共同度0.844*0.1360.156-0.1130.840.631*0.1940.515*-0.0060.70.2430.825*0.223-0.1480.810.2390.150.750*0.0760.650.797*0.0750.1020.4680.870.4040.1530.635*-0.170.620.1860.814*0.147-0.0790.72-0.0360.1760.762*0.2170.66-0.0480.735*0.110.1410.570.045-0.0410.1120.934*0.891F2F3F4F1X2X3X4X5X6X7X8X9X10X14通过旋转，因子有了较为明确的含义。百米跑，跳远和400米跑，需要爆发力的项目在有较大的载荷，可以称为短跑速度因子；铅球，铁饼和标枪在上有较大的载荷，可以称为爆发性臂力因子；百米跨栏，撑杆跳远，跳远和为跳高在上有较大的载荷，爆发腿力因子；长跑耐力因子。2X5X1F1F3X7X9X2F6X8X2X4X3F3F4F1X15变换后因子的共同度设正交矩阵，做正交变换AB)()(1mlljilppijabBmjmjmlljilijiabh111222)()(Bmjmlmjmlmljttjljitilljilaaa1111122)(2111222Aimlmjmlilljilhaa变换后因子的共同度没有发生变化！四、旋转方法16变换后因子贡献设正交矩阵，做正交变换AB)()(1qlljilppijabBpipiqlljilijjabS111222)()(Bpiqlpiqlqltttjljitilljilaaa1111122piqlqlljjljilSa1112222)(A变换后因子的贡献发生了变化！171、方差最大法方差最大法从简化因子载荷矩阵的每一列出发，使和每个因子有关的载荷的平方的方差最大。当只有少数几个变量在某个因子上又较高的载荷时，对因子的解释最简单。方差最大的直观意义是希望通过因子旋转后，使每个因子上的载荷尽量拉开距离，一部分的载荷趋于1，另一部分趋于0。2122211211ppaaaaaaA221122212122121111FaFaXFaFaXFaFaXppp18cossinsincosT设旋转矩阵为：cossinsincosAATB则cossinsincoscossinsincos112112111211ppppaaaaaaaa*2*1*12*11ppaaaa191,2,,;1,2ijijiadipjh令211(pjijiddp这是列和）max)()(1212mjpijijddV简化准则为：00V令，则可以解出0000cossinsincosT旋转矩阵为：max(8.4.2)123m即：V+V+V+V201000cossin0sincosT1000cossin0sincosT111TT24§5因子得分（一）因子得分的概念1122...iiiimmiXaFaFaF前面我们主要解决了用公共因子的线性组合来表示一组观测变量的有关问题。如果我们要使用这些因子做其他的研究，比如把得到的因子作为自变量来做回归分析，对样本进行分类或评价，这就需要我们对公共因子进行测度，即给出公共因子的值。因子分析模型：因子得分计算公式：bij:是第i个变量和第j个因子之间的因子得分系数。1122...jjjmjpFbXbXbF25人均要素变量因子分析。对我国32个省市自治区的要素状况作因子分析。指标体系中有如下指标：X1：人口（万人）X2：面积（万平方公里）X3：GDP（亿元）X4：人均水资源（立方米/人）X5：人均生物量（吨/人）X6：万人拥有的大学生数（人）X7：万人拥有科学家、工程师数（人）RotatedFactorPatternFACTOR1FACTOR2FACTOR3X1-0.21522-0.273970.89092X20.63973-0.28739-0.28755X3-0.157910.063340.94855X40.95898-0.01501-0.07556X50.97224-0.06778-0.17535X6-0.114160.98328-0.08300X7-0.110410.97851-0.0724626高载荷指标因子命名因子1X2；面积（万平方公里）X4:人均水资源（立方米/人）X5:人均生物量（吨/人）自然资源因子因子2X6：万人拥有的大学生数（人）X7：万人拥有的科学家、工程师数（人）人力资源因子因子3X1;人口（万人）X3:GDP(亿元)经济发展总量因子X1=-0.21522F1-0.27397F2+0.89092F3X2=0.63973F1-0.28739F2-0.28755F3X3=-0.15791F1+0.06334F2+0.94855F3X4=0.95898F1-0.01501F2-0.07556F3X5=0.97224F1-0.06778F2-0.17535F3X6=-0.11416F1+0.98328F2-0.08300F3X7=-0.11041F1+0.97851F2-0.07246F327StandardizedScoringCoefficientsFACTOR1FACTOR2FACTOR3X10.05764-0.060980.50391X20.22724-0.09901-0.07713X30.146350.129570.597