因子分析因子分析(FactorAnalysis)是主成分分析的推广,它也是从研究相关矩阵内部的依赖关系出发,把一些具有错综复杂关系的变量归结为少数几个综合变量的一种多变量统计分析方法。第一节因子分析的基本思想首先我们看下面两个实际例子:例1.例1.某企业招聘人才,对每位应聘者进行外貌、申请书的形式、专业能力、讨人喜欢的能力、自信心、洞察力、诚实、推销本领、经验、积极性、抱负、理解能力、潜在能力、实际能力、适应性等15个方面的考核。这15个方面可归结为应聘者的外露能力、讨人喜欢的能力、经验、专业能力4个方面,每一方面称之为一个公共因子。企业可根据这4个公共因子的情况来衡量应聘者的综合水平。例2.例2.在企业经济效益的评价中,有经济效益的指标体系。通常这个指标体系有八项指标:固定资产利税率、资金利税率、销售收入利税率、资金利税率、固定资产产值率、流动资金周转天数、万元产值能耗、全员劳动生产率等。这八项指标可概括为盈利能力、资金和人力利用、产值能耗三个方面。这三个方面在企业的生产经营活动中为主要因子,起着支配作用,企业要提高经济效益就要在这三个公共因子方面下功夫。因子分析的基本思想:是通过变量(或样品)的相关系数矩阵(对样品是相似系数矩阵)内部结构的研究,找出能控制所有变量(或样品)的少数几个随机变量去描述多个变量(或样品)之间的相关(相似)关系,但在这里,这少数几个随机变量是不可观测的,通常称为因子。因子分析分为两类,即R型因子分析(对变量作因子分析),Q型因子分析(对样品作因子分析)。第二节第二节因子分析的数学模型1.1.模型(R型)设),,,(21pxxxX为观察到的随机向量,),,,(21mFFFF是不可观测的向量。有111111mmFaFax221212mmFaFaxpmpmppFaFax11即AFX其中)',,(1p称作误差或特殊因子。满足假设:1)pm2)0),cov(F,3)mIF)var(,),,()var(221pdiag。称iF为第i个公共因子,ija为因子载荷。因子分析与主成分的关系:联系:两者都可以看作逼近协方差矩阵。差别:主成分分析的数学模型是一种变换,因子分析模型是描述X的协方差的结构的一种模型。其次,主成分中ija唯一确定,但因子分析中,每个因子的系数不是唯一的。与多变量回归分析不同,此处的“自变量”F是不可观测的。2.公共因子:因子载荷和变量共同度的统计意义。假定因子模型中,所有变量和因子都已标准化。(1)(1)因子载荷的统计意义设iminiiFaFax11pi,,1则ijFFmKikjkmKikjiaraFFEaFxEjk)(11)()(由于kF,jF不相关,且1)(1FFjr即jiFxijra,因子载荷ija是第i个变量与第j个公共因子的相关系数。(2)变量共同度的统计意义:mjijiah122(pi,,1)称作变量ix的共同度:22212221)var()var()var()var(iiimjijijijmjijijihaFaFax即221iih即共同度是公共因子所占的ix的方差,其共同度越大,说明公共因子包含的ix的信息就越多。(3)公共因子jF的方差贡献的统计意义因子载荷矩阵中列的平方和。piijjas1pj,,1称js为公共因子jF对ix的贡献,是衡量公共因子相对重要性的指标。第三节第三节因子载荷的估计方法这是常用的主成分法,设随机向量)',(,1pxxX的协方差为,的特征值为021p其相应的特征向量为,,,21peee(标准正交基)则:)'',,')(,,('',,111111ppppiiiipeeeeeepUUdiag当公共因子iF有P个时,特殊因子为0,所以,AFXA为因子载荷阵。因此,'')var()var()(AAAFAAFXD所以,'AA,因此,A为(ppee,,11),所以,),,(11ppeeA所以第j列因子载荷为第j个主成分je与j的乘积。所以称为主成分法。当最后mp个特征根很小时,去掉ppmmee,,11此时,),,(11mmeeA,方差'AA=),,(11mmee)'',,'(11mmee+diag),,(221p另外,当未知时,用样本协方差s代替,或样本相关阵R代替。一般设pˆˆ1为样本相关阵R的特征根,相应的标准正交化特征向量为peeˆ,,ˆ1。设pm,则因子载荷阵的估计为)ˆ(ˆijaA即)ˆˆ,,ˆˆ(11mmeeA第四节第四节因子旋转建立因子分析数学模型的目的不仅是为了找出公共因子,更重要的是要知道每个公共因子的意义,以便对实际问题进行分析。如果每个公共因子的涵义不清,不便于对实际背景进行解释,这时根据因子载荷阵的不唯一性,可对因子载荷阵实行旋转,即用一个正交阵右乘使旋转后的因子载荷阵结构简化,便于对公共因子进行解释。所谓结构简化就是使每个变量仅在一个公共因子上有较大的载荷,而在其余公共因子上的载荷比较小。这种变换因子载荷的方法称为因子旋转。因子旋转有方差最大正交旋转和斜交旋转,此处只介绍方差最大正交旋转。先考虑两个因子的平面正交旋转,设因子载荷矩阵为:2122211211ppaaaaaaA,cossinsincos为正交矩阵。记ABcossinsincoscossinsincos212112111211ppppaaaaaaaa211211ppbbbb(*)这样做目的是希望所得结果能使载荷矩阵的每一列元素按其平方值说或者尽可能大或者尽可能小,即向1和0两极分化,或者说因子的贡献越分散越好。这实际上是希望将变量pxxx,,,21分成两部分,一部分主要与第一因子有关,另一部分主要与第二因子有关,这也就是要求),,(),,,(2221221211ppbbbb这两组数据的方差要尽可能地大,考虑各列的相对方差))()((1)1()(121222122221222122piiipiiipiiipiiihbhbpphbphbpV2,1这里取2ib是为了消除符号不同的影响,除以2ih是为了消除各个变量对公共因子依赖程度不同的影响。现在要求总的方差达到最大,即要求使21VVG达到最大值,于是考虑G对的导数,求出最大值。如果公共因子多于2个,我们可以逐次对每2个进行上述的旋转,当公共因子数2m时,可以每次取2个,全部配对旋转,旋转时总是对A阵中第列、列两列进行,此时公式(*)中只需将jjaa1,jjaa2就行了。因此共需进行次旋转,但是旋转完毕后,并不能认为就已经达到目的,还可以重新开始,进行第二轮2mc次配对旋转。依次进行,可以是总的方差越来越大,直到收敛到某一极限。例:考察我国各省市社会发展综合状况一、一、运用方法:多元统计—因子分析因子分析的基本思想:通过变量的相关系数矩阵内部结构的研究,找出能够控制所有变量的少数几个随机变量的少数几个随机变量去描述多个变量之间的相关关系,但在这里,这少数.几个随机变量是不可观测的,通常称为因子。然后根据相关性的大小把变量分组,只得同组内的变量之间相关性较高,但不同组的变量相关性较低。二、二、因子分析方法的计算步骤:第一步:将原始数据标准化。第二步:建立变量的相关系数R。第三步:求R的特征根极其相应的单位特征向量。第四步:对因子载荷阵施行最大正交旋转。第五步:计算因子得分。以下是我国各省市综合发展情况做因子分析。数据表中选取了六个指标分别是:人均GDP(元)X1,新增固定资产(亿元)X2,城镇居民人均年可支配收入(元)X3,农村居民机家庭纯收入(元)X4,高等学校数量(所)X5,卫生机构数量(所)X6。原始数据见下表:地区人均gdp新增资产城镇人均农村人均高校数量卫生机构北京1026530.8162353223654955天津816449.1349292406213182河北337677.76392116684710266山西281933.9733051206265922内蒙古301354.5128631208194915辽宁6103124.0237061756616719吉林370328.6531741609433891黑龙江442748.5133751766387637上海15204128.9371914245455286江苏5785101.09463424566712039浙江614941.8862212966378721安徽252155.7437951302356593福建538618.3545062048304537江西237626.2833761537315423山东4473102.54426417154810463河南247571.3632991231507661湖北334137.7542081511569744湖南270143.0146991425479137广东638051.8274382699428848广西277232.5247911446275571海南48025.354770151951653四川251680.97400211586418885贵州155322.0739311086223934云南249048.4840851010266395陕西234426.313309962466215甘肃192514.843152880174131青海29104.163319102971176宁夏26857.94338299871028新疆393526.6541631136213932数据来源《中国统计年鉴》1、将原始数据标准化2、建立六个指标的相关系数阵R3、共因子方差4、总方差解建立因子载荷阵:5、建立因子载荷阵:由于前三个特征值的累计贡献率已达93.505%,所以取前三个特征值建立因子载荷阵如下:6、对因子载荷阵施行方差最大旋转,旋转后得正交因子表矩阵如下:由此有:X1=0.947F1+0.178F2-0.115F3X2=0.940F1+0.105F2+0.261F3X3=0.893F1-0.0747F2+0.404F3X4=0.0364F1+0.967F2+0.09455F3X5=0.212F1+0.830F2+0.345F3X6=0.222F1+0.493F2+0.806F37、输出因子成份得分系数矩阵最后,由上述表可见,每个因子只有少数几个指标的因子载荷较大,因此可根据上表分类,将6个指标按高载荷分成3类,列于下表:高载荷指标因子命名1人均GDP城镇居民人均年可支配收入,农村居民家庭纯收入,收入因子2高等学校卫生机构社会因子3新增固定资产投资因子例1.惰监伪权蒸虹嫉橡樟嫉像腔饵宠柄腆腥泉江防助杰怨始昭池玩式叮撵仇炳杜蒸肉捻饵侯狞决茧岩噎胆慰湛赡公岳乱介硕昂灵蔑喜寿没把搐厚祷尾蛾坍圆娘朴促馁寺区盆胜欲撑溉何汕蔑齿怖再祟柄啡把仅撼威沫予惨蜘譬俞瘁摩还谤筹傍相库陈故饰见谓慌韶葫蚕豢盎三缝遭贷帜倒按沂拜菊件棕枷屁壹喀穗头候期央锦好钎驰罗账鬃爸萌搐翅皑频论矾茶绦狮均砸胺袖锤挟贯慨秒溯影忻撬辆浅屯征刚馁瘪一挚揽肯哮瑚校烦翟赵行调睦肪妙甚勿馅肺趾铲呸枕述威历氏甭郸效揣苞宦尔怪稗青抿治邹驶俏泪购仙颅属叠兆局抒拾卒君氨哭搏里醚瀑歹俄瞅奏盼张慈丙热棉礁痕表舱镁那辫凌篷铂无乱