因子分析原理PPT

1因子分析2§1引言因子分析(factoranalysis)是一种数据简化的技术。它通过研究众多变量之间的内部依赖关系，探求观测数据中的基本结构，并用少数几个假想变量来表示其基本的数据结构。这几个假想变量能够反映原来众多变量的主要信息。原始的变量是可观测的显在变量，而假想变量是不可观测的潜在变量，称为因子。例如，在企业形象或品牌形象的研究中，消费者可以通过一个有24个指标构成的评价体系，评价百货商场的24个方面的优劣。3但消费者主要关心的是三个方面，即商店的环境、商店的服务和商品的价格。因子分析方法可以通过24个变量，找出反映商店环境、商店服务水平和商品价格的三个潜在的因子，对商店进行综合评价。而这三个公共因子可以表示为：iiiiiiFFFx33221124,,1i称是不可观测的潜在因子。24个变量共享这三个因子，但是每个变量又有自己的个性，不被包含的部分，称为特殊因子。321FFF、、i4注：因子分析与回归分析不同，因子分析中的因子是一个比较抽象的概念，而回归因子有非常明确的实际意义；主成分分析分析与因子分析也有不同，主成分分析仅仅是变量变换，而因子分析需要构造因子模型。主成分分析:原始变量的线性组合表示新的综合变量，即主成分；因子分析：潜在的假想变量和随机影响变量的线性组合表示原始变量。5§2因子分析模型一、数学模型设个变量，如果表示为iX),,2,1(pip11iiiimmiXaFaF)(pm11111211122212222212mmpppppmpmXFXFXF或XμAF或6称为公共因子，是不可观测的变量，他们的系数称为因子载荷。是特殊因子，是不能被前m个公共因子包含的部分。并且满足：mFFF,,,21iIFD111)(cov(,)0,F,F即不相关；mFFF,,,21即互不相关，方差为1。722221)(pD即互不相关，方差不一定相等，。),0(~2iiN8用矩阵的表达方式X-μ=AF+ε()EF0()Eε0()VarFI22212()(,,,)pVardiagε111212122212()()()()()()cov()()()()()ppppppEFEFEFEFEFEFEEFEFEFF,εFε09二、因子分析模型的性质1、原始变量X的协方差矩阵的分解X-μ=AF+ε()()()VarVarVarX-μ=AFA+εxΣ=AA+DA是因子模型的系数22212()(,,,)pVardiagεDD的主对角线上的元素值越小，则公共因子共享的成分越多。102、模型不受计量单位的影响将原始变量X做变换X*=CX,这里C＝diag(c1,c2,…,cn),ci0。)C(X-μ)=C(AF+εCXCμ+CAF+Cε*XCμ+CAF+Cε*****Xμ+AF+ε*FF11*()EF0*()Eε0*()VarFI*22212()(,,,)pVardiagε****cov()()EF,εFε0123、因子载荷不是惟一的设T为一个p×p的正交矩阵，令A*=AT，F*=T’F，则模型可以表示为***Xμ+AF+ε()ETF0()Eε0*()()()VarVarVarFTFTFTI22212()(,,,)pVardiagε**cov()()EF,εFε0且满足条件因子模型的条件13三、因子载荷矩阵中的几个统计特征1、因子载荷aij的统计意义因子载荷是第i个变量与第j个公共因子的相关系数ija模型为imimiiFaFaX11在上式的左右两边乘以jF,再求数学期望)()()()()(11jijmimjjijjijiFEFFEaFFEFFEaFXE根据公共因子的模型性质，有ijFxji（载荷矩阵中第i行，第j列的元素）反映了第i个变量与第j个公共因子的相关重要性。绝对值越大，相关的密切程度越高。142、变量共同度的统计意义定义：变量的共同度是因子载荷矩阵的第i行的元素的平方和。记为iX统计意义：imimiiFaFaX11两边求方差)()()()(2112imimiiVarFVaraFVaraXVarmjiija1221所有的公共因子和特殊因子对变量的贡献为1。如果非常靠近1，非常小，则因子分析的效果好，从原变量空间到公共因子空间的转化性质好。iXmjija122imjija12。mjijiah122153、公共因子方差贡献的统计意义jF因子载荷矩阵中各列元素的平方和称为所有的对的方差贡献和。衡量的相对重要性。piijjaS12),,1(mjjFiXjF16§3因子载荷矩阵的估计方法设随机向量的均值为，协方差为,为的特征根，为对应的标准化特征向量，则pxxx,,,21x021pp21u,,u,u12pΣ=UUAA+D（一）主成分分析法17上式给出的表达式是精确的，然而，它实际上是毫无价值的，因为我们的目的是寻求用少数几个公共因子解释，故略去后面的p-m项的贡献，有21111mmmmmmp1122ppuuuuuuuuuup2uuuuuuppp21122111100p212ppuuuuuu1812ˆˆˆˆmmm1122ΣAA+DuuuuuuD1121122ˆˆˆˆmmpmpmmp2uuuuuDAADu上式有一个假定，模型中的特殊因子是不重要的，因而从的分解中忽略了特殊因子的方差。22212ˆˆˆˆ(,,,)pdiagD其中221ˆmiiiijjsa19注：残差矩阵ˆˆˆSAAD－－其中S为样本的协方差矩阵。20（二）主因子法主因子方法是对主成分方法的修正，假定我们首先对变量进行标准化变换。则R=AA’+DR*=AA’=R-D称R*为约相关矩阵，R*对角线上的元素是,而不是1。2ih212112122122212ˆˆˆˆppppphrrrhrRrrhR-D直接求R*的前p个特征根和对应的正交特征向量。得如下的矩阵：******1122ppAuuu***10pR特征根：***12,,,puuu正交特征向量：2221222pRR＝当特殊因子的方差不为且已知的，问题非常好解决。i**11********221122**ppppuuuuuu23******1122mmAuuu212ˆ1ˆ100phhD24在实际的应用中，个性方差矩阵一般都是未知的，可以通过一组样本来估计。估计的方法有如下几种：首先，求的初始估计值，构造出2ih*R1）取，在这个情况下主因子解与主成分解等价；2）取，为xi与其他所有的原始变量xj的复相关系数的平方，即xi对其余的p-1个xj的回归方程的判定系数，这是因为xi与公共因子的关系是通过其余的p-1个xj的线性组合联系起来的；12ih22iiRh2iR252）取，这意味着取xi与其余的xj的简单相关系数的绝对值最大者；)(||maxˆ2ijrhiji4）取，其中要求该值为正数。pjijijirph,12115）取，其中是的对角元素。iiirh/12iir1R28例假定某地固定资产投资率，通货膨胀率，失业率，相关系数矩阵为试用主成分分析法求因子分析模型。1x2x3x15/25/15/215/15/15/1129特征根为：55.1185.026.036.0707.085.0331.055.1629.06.0707.085.0331.055.1629.0085.0883.055.1475.0A707.0331.0629.0707.0331.0629.00883.0475.0U548.0305.0783.0548.0305.0783.00814.0569.030可取前两个因子F1和F2为公共因子，第一公因子F1物价就业因子，对X的贡献为1.55。第一公因子F2为投资因子，对X的贡献为0.85。共同度分别为1，0.706，0.706。211814.0569.0FFx3212548.0305.0783.0FFFx3213548.0305.0783.0FFFx31假定某地固定资产投资率，通货膨胀率，失业率，相关系数矩阵为试用主因子分析法求因子分析模型。假定用代替初始的。。1x2x3x15/25/15/215/15/15/11)(||maxˆ2ijrhiji2ih52,1,51232221hhh221251111515/25/25/15/215/15/15/15/1*R32特征根为：9123.010877.0203对应的非零特征向量为：261.0657.0261.0657.0929.0369.00877.0261.09123.0657.00877.0261.09123.0657.00877.0929.09123.0369.0077.0628.0077.0628.0275.0352.0331211275.0352.0FFx2212077.0625.0FFx3211077.0682.0FFx新的共同度为：18129.0275.352.02221oh3966.0077.0625.02222h4710.0077.0682.02223h34§4因子旋转（正交变换）建立了因子分析数学目的不仅仅要找出公共因子以及对变量进行分组，更重要的要知道每个公共因子的意义，以便进行进一步的分析，如果每个公共因子的含义不清，则不便于进行实际背景的解释。由于因子载荷阵是不惟一的，所以应该对因子载荷阵进行旋转。目的是使因子载荷阵的结构简化，使载荷矩阵每列或行的元素平方值向0和1两极分化。有三种主要的正交旋转法。四次方最大法、方差最大法和等量最大法。（一）为什么要旋转因子35百米跑成绩跳远成绩铅球成绩跳高成绩400米跑成绩百米跨栏铁饼成绩撑杆跳远成绩标枪成绩1500米跑成绩1X2X3X4X5X6X7X8X9X10X奥运会十项全能运动项目得分数据的因子分析36102.017.002.001.039.018.008.009.007.0124.034.018.013.017.044.021.011.0124.033.023.039.024.036.020.0132.017.027.073.031.028.0134.046.036.052.040.0129.019.049.063.0138.051.034.0142.035.0159.0137变量共同度0.6910.217-0.58-0.2060.840.7890.184-0.1930.0920.70.7020.5350.047-0.17