06因子分析

1因子分析专题§8.1引言因子分析是主成分分析的推广，它也是一种把多个变量化为少数几个综合变量的多元分析方法，其目的是用有限个不可观测的隐变量来解释原始变量之间的相关关系。例8.1.1Linden对二次大战以来奥林匹克十项全能比赛的得分做了分析研究，他收集了160组数据，这十个全能项目依次为：100米跑、跳远、铅球、跳高、400米跑、110米跨栏、铁饼、撑竿跳高、标枪、1500米跑。但是总的来说基本上可归结为他们的短跑速度、爆发性臂力、爆发性腿力和耐力这四个方面，每一个方面都称为一个因子。用1021,,,xxx分别表示十个项目的得分，它们可以表示为含有上述四个因子的线性模型：iiiiiiifafafafax44332211，10,,2,1i其中4321,,,ffff表示4个因子，称为公因子，ija称为第i个变量在第j个因子上的载荷。i是总平均，i是第i项得分不能被四个公因子解释的部分，称之为特殊因子。这个模型形式上与线性回归模型几乎一样，但是它们有着本质的区别：回归模型中自变量是可以被观测得到的，而上述因子模型中的4321,,,ffff是不可观测的隐变量，这使得该模型理解起来较为困难；再者，两个模型的参数意义也很不相同。例8.1.2为了评价高中学生将来进大学时的学习能力，抽了200名高中生进行问卷调查，共50个问题。所有这些问题可简单地归结为阅读理解、数学水平和艺术修养这三个方面。这也是一个因子分析模型，每一方面就是一个因子。例8.1.3公司老板对48名申请工作的人进行面试，并给出申请人在15个方面所得的分数，这15个方面是：（1）申请信的形式；（2）外貌；（3）专业能力；（4）讨人喜欢的能力；（5）自信心；（6）洞察力；（7）诚实；（8）推销能力；（9）经验；（10）驾驶汽车本领；（11）抱负；（12）理解能力；（13）潜力；（14）对工作要求强烈程度（15）适应性。这些问题可以归结为如下的几个方面：申请者外露的能力，讨人喜欢的程度，申请者的经验，专业能力。每一方面都是因子模型中的一个因子。§8.2因子模型一、数学模型设p维可观测的随机向量),,,(21pxxxx的均值为),,,(21p，协方差矩阵为)(ij，因子分析的一般模型为2pmpmppppmmmmfafafaxfafafaxfafafax221122222121221121211111（8.2.1）其中mfff,,,21为公因子，p,,,21为特殊因子，它们都是不可观测的随机变量。公因子mfff,,,21出现在每一个原始变量ix),,2,1(pi的表达式中，可理解为原始变量共同具有的公共因素；每个公因子jf),,2,1(mj至少对两个原始变量有作用，否则它将归入特殊因子。每个特殊因子i),,2,1(pi仅仅出现在与之相应的第i个原始变量ix的表示式中，它只对这个原始变量有作用。（8.2.1）式可用矩阵表示为Afx（8.2.2）式中),,,(21mffff)(pm为公因子向量，),,,(21p为特殊因子向量，mpaAij:)(称为因子载荷矩阵，并假设A的秩为m。通常假定pmpmmpmfEEfEfEfdiagDEEEEVIffEfEffEfEfVEfE0)()()(),cov(),,,()()()()()()(0)(0)(2222111（8.2.3）同理易知mpfEfEfEEf0)()()(),cov(，注意两个协方差矩阵阶数不一样。由上述假定可以看出，公因子彼此不相关且具有单位方差，特殊因子彼此不相关且和公因子也不相关。因子分析与主成分分析是多元分析中两种重要的降维方法，但两者有很大的不同。主成分分析不能作为一个模型来描述，它只能作为一般的变量变换，主成分是可观测的原始变量的线性组合；而因子分析需要构造一个因子模型，公因子一般不能表示为原始变量的线性组合。二、因子模型的性质1．x的协方差矩阵的分解由（8.2.2）式知3DAAVAAEAAAAIEAfEfAEAffAEEAfEAfEAfAfEEAfEAfEAfAfEAfAfEAfAfEAfEAfAfEAfEAfVxVmppmmm)(00)()())(())(()()()()()()()()(即DAA（8.2.4）这就是的一个分解。如果x为标准化了的随机向量，则就是相关矩阵ppijR)(，即有DAAR（8.2.5）2.模型不受单位的影响将x的单位作变化，就是作一变换xx*，这里),,,(21pdiag，0j，),,2,1(pi，于是AfAfxx)(*，令*，AA*，ff*，*，则有*****fAx（仍然为因子分析模型）这个模型能满足完全类似于（8.2.3）式的假定，即pmmmpmfEfDVIfVEfE0)(),cov()()(0)(0)(*******1*1*其中4********222122222221122*2*2*212()()()()()(,)(,,,)(,,,)(,,,)ppppVDEEEEEEDdiagdiagdiag即),,,(2*2*22*1*pdiagD，222*iii，),,2,1(pi。3．因子载荷是不唯一的设T为任意mm正交矩阵，令ATA*，fTf*，则模型（8.2.2）式能表示为**fAx(8.2.6)因为0)()()(*fETfTEfEmmITTTfVTfTVfV)()()(*0)()(),cov(**fETfEf所以仍满足条件（8.2.3）式。从（8.2.4）式可以看出，也可分解为DAA**（8.2.7）因此，因子载荷矩阵A不是唯一的，在实际应用中常常利用这一点，通过因子的变换，使得新的因子有更好的实际意义。三、因子载荷矩阵的统计意义1．A的元素ija——原始变量ix与公因子jf之间的协方差函数（8.2.1）式可以表示为imimiiiifafafax2211，),,2,1(pi（8.2.8）故5ijjijjijjijjijjijjimimiiijiafVafffafffaffafafafx)(),cov(),cov(),cov(),cov(),cov(),cov(2211（8.2.9）即ija是ix与jf之间的协方差函数。若x为标准化了的随机向量，即1)(ixV，则ix与jf之间的相关系数ijjijijijiafxfVxVfxfx),cov()()(),cov(),(（8.2.10）此时ija表示ix与jf的相关系数。2．A的行元素平方和mjijiah12——原始变量ix对公因子依赖的程度对（8.2.8）式两边取方差2222212222212122112211)()()()()()()()()()(iimiiimimiiimimiiiimimiiiiaaafVafVafVaVfaVfaVfaVVfafafaVxV),,2,1(pi（8.2.11）令mjijimiiiaaaah12222212，),,2,1(pi，于是22iiiih，),,2,1(pi（8.2.12）2ih反映了公因子对ix的影响，可以看成是公因子对ix的方差贡献，称为共性方差；而2i是特殊因子i对ix的方差贡献，称为个性方差。当x为标准化了的随机向量时，1ii，此时有122iih，),,2,1(pi（8.2.13）3．A的列元素平方和piijjag12——公因子jf对x的贡献由（8.2.11）式得6222221122222121121221221121121212221121111221111122111)()()()()()()()()()()()()()()()(impiimmpiimpiimpiipiipiipimimpiipiipiipimimpiipiipiipiimimiiipiigggfVgfVgfVgfVafVafVafVafVafVaVfaVfaVfaVVfafafaVxV（8.2.14）其中piijjag122，),,2,1(mj从（8.2.14）式可见，A的第j列元素的平方和2jg是)(jfV的系数，2jg的值越大，反映了jf对x的影响越大，2jg是衡量公因子jf重要性的一个尺度，可视为公因子jf对x的贡献。§8.3参数估计设nxxx,,,21是一组p维样本，则和可分别估计为niixnx11和niiixxxxnS1))((11为了建立因子模型，首先要估计因子载荷矩阵mpaAij:)(和个性方差矩阵),,,(22221pdiagD。常用的参数估计方法有如下三种：主成分法，主因子法和极大似然法。一、主成分法设样本协方差矩阵S的特征值依次为021p，相应的正交单位特征向量为pttt,,,21。选取相对较小的主成分个数m，并使得累计贡献率piimii117达到一个较高的百分比，则S可作如下的近似分解DAADttttttDttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttSmmmpmmmmmmpppmmppmmmmppppppppmmmmpmmmmmppppmmpmppmmmppmmmpmmmmmmpppmmppmmmmpppppppmpmmmmmmpmmmmmpmmmmmmpppppmpmmpmppmmmmppmmmmpmmppmmmmpppmmmmmmˆˆˆˆˆ22211121222221221121111122112222211112211121222221221,11,211,11221,122221,2111221,11212222212211211111221122222111122111212,22,222,121,11,211,112122222122112111112,21,122,221,2112,121,11221122222111122111111222111