多元统计分析——主成分分析法

主成分分析PrincipalComponentAnalysis思考1反映地区社会经济发展的指标体系X1：国内生产总值（GDP）X2：人均GDPX3：第三产业产值占GDP比重X4：人均出口额X5：工业企业劳动生产率X6：人均社会消费品零售额X7：每万人拥有卫生技术人员数X8：每万人高等学校在校生数X9：教育经费投入占GDP比重X10：人均货运总量X11：人均邮电业务总量X12：每万人电话机装机数X13：人均固定资产投资X14：人均实际利用外资X15：地方财政收入占GDP比重X16：每万人科研机构数X17：科研经费占GDP比重分析全国31个地区的社会经济发展水平。为了对常用的100种食品的生产进行经营决策，需要就消费者对食品的嗜好程度进行调查。要求每个消费者对食品进行评价，按对食品的喜好程度评分，最受欢迎的给予最高分9分，最不受欢迎的给予最低分1分。思考2为了较好地满足市场的需要，服装生产厂要了解所生产的一种服装究竟设计几种型号合适？这些型号的服装应按怎样的比例分配生产计划才能达到较好的经济效益？思考3——服装的定型分类问题大纲1.基本思想2.定义3.主成分的性质、计算等4.案例5.主成分回归E.g.Hotelling(1939)用两个主成分反映入学考试成绩：文科能力数理能力预备知识：方差为零的变量不能区分总体中的个体成员；可以用一个变量的方差来度量其所传递的信息量。主成分分析的基本概念一个假设的例子：N=100均数101.6350.71方差109.6355.40标准差10.477.44的均数=0的均数=01X2X111xXX1x222xXX2xx2X1预备知识：向量等方向都是同一个方向,22,...,,...aXbYaXbYKaXKbYab2a2b(1)创建使得尽可能大，即寻找一个方向，使得所有点在此方向上的投影的方差尽可能大1C1111122166...Caxaxax2211121aa1VarC1120.8410.539Cxx220.8410.53911147.44VarC（2）创建使得与不相关尽可能大。即寻找另一个方向垂直于所有点在上的投影方差最大。2C2211222Caxax2221221aa1C2C2VarC2C1C2C2120.5390.841Cxx220.5390.8411217.59VarC•2x1x1C2C••••••••••••••••••••••••••••••••••••12147.4417.59165.03VarCVarC12109.6355.40165.03VarXVarX1212VarCVarCVarXVarX例1985年中国人口普查资料：各省汉族青年（19-22岁）形态学指标的平均值。如何综合多个随机变量？我们想要一个或几个综合变量，概括6个形态指标的大部分信息.注意：若某指标在人群中方差较大，它就是一个好的指标。寻找综合变量标准化(1)找第1个最佳的综合变量找适宜的系数，使得与其他线性组合相比，有最大的方差最大我们关心的是之间的比值故限定iiiiXXxS1,2,...,6i0ix1iS1C111216,,...,aaa1111122166...Caxaxax1VarC111216,,...,aaa111216::...:aaa2222221112131415161aaaaaa(2)找第2个最佳的综合变量找适宜的使得最大限定(3)找第3个最佳的综合变量最大限定原有6个变量，最多可找到6个独立的综合变量21CC212226,,...,aaa2211222266...Caxaxax2VarC2222222122232425261aaaaaa312,CCC3VarC3311322366...Caxaxax2222223132333435361aaaaaa主成分的一般定义一般地,样本均数样本标准差标准化(1)在所有线性组合中，限定使得最大的便是第1主成分。12,,...PXXX12,,...PXXX12,,...PSSSiiiiXXxS1,2,...,iP11111221...PPCaxaxax22211121...1Paaa1VarC(2)在所有线性组合中，限定使得最大的便是第2主成分.………………类似地，我们可以定义第3，第4，直到第p个主成分。22112222...PPCaxaxax22221222...1Paaa1VarC1210PiiIaa21CC主成分的性质(1)主成分之间不相关Corr(Ci，Cj)=0(2)系数(ai1，ai2，…，aip)是单位向量ai12+ai22+…+aip2=1(3)方差递降Var(C1)≥Var(C2)≥…≥Var(Cp)(4)主成分的方差之和等于原变量的方差之和信息总量不增不减Var(C1)+Var(C2)+…+Var(Cp)=Var(x1)+Var(x2)+…+Var(xp)=p主成分的计算和解释(1)计算的相关矩阵(2)计算R的特征根（特征值）即求解方程12,,...PXXX12112212111pppprrrrRrr120p121122121101pppprrrrrr（3）计算特征向量即求解方程…………………得到11112121110pparara12111122110ppraara1112121110pppraraa11111221...PPCaxaxax11121,,...,paaa11VarC表1例1的相关矩阵只有前几个才是名副其实的“主成分”表2例1的相关矩阵的主成分表4例1的特征向量11234560.5222520.5255590.5112080.3459930.1887830.185358CXXXXXX21234560.1956990.0801640.1818570.0469780.6565950.699199CXXXXXX31234560.1899530.1676810.1039860.7416530.4703380.392072CXXXXXX主成分的个数实践中，（1）粗略地决定欲保留的方差百分比；——仅保留前几个主成分或（2）若某个主成分的方差大于1，就保留它——因为原变量的方差都是1究竟保留几个？——取决于课题本身的需要•碎石图ScreePlotComponentNumber654321Eigenvalue43210主成分与原变量的相关性和的关系：………………:主要反映身体的大小；身高、坐高、体重、胸围:反映宽度肩宽和骨盆宽度总之，（1）主成分有助于综合多个变量(2)主成分的意义有时不易解释iC,ijijiijiCorrCxaVarCajx11,0.5222523.173100.930298CorrCx21,0.1956991.316780.224567CorrCx2C1C例：抑郁症问卷的综合得分表1标准CESD问卷的主成分（抑郁症数据）C1:多数条目的加权和C2:反映懒散和精力状况C3:有关“别人怎样看待自己”的感觉例2关于下颚6个前齿的结石1.右犬齿2.右、侧门牙3.右、中门牙4.左、侧门牙5.左、中门牙6.左犬齿PC1：加权和，总的结石状况PC2：门牙与犬齿比较PC3：左右比较主成分分析的应用综合评价市场研究定型分类问题反映地区社会经济发展的指标体系X1：国内生产总值（GDP）X2：人均GDPX3：第三产业产值占GDP比重X4：人均出口额X5：工业企业劳动生产率X6：人均社会消费品零售额X7：每万人拥有卫生技术人员数X8：每万人高等学校在校生数X9：教育经费投入占GDP比重X10：人均货运总量X11：人均邮电业务总量X12：每万人电话机装机数X13：人均固定资产投资X14：人均实际利用外资X15：地方财政收入占GDP比重X16：每万人科研机构数X17：科研经费占GDP比重对全国31个地区上述17项指标的数据进行主成分分析，应用SAS软件进行处理。例1、主成分分析用于综合评价1、求相关系数矩阵R2、计算R的特征值主成分Y1Y2Y3Y4特征根贡献率（%）累计贡献率11.113465.3765.372.665615.6881.050.91265.3786.420.70524.1590.573、求特征根所对应的单位特征向量0.5132250.203116-0.1828580.1936180.2172900.113642-0.164527-0.114637-0.509240-0.0258320.0834710.1325920.1054020.199407-0.181330-0.261367-0.2957560.0384660.2760200.2436540.2634870.1805460.2908340.2598420.2805230.0942330.2159460.2920160.2882680.2820160.2590060.2167930.2599620.212293X1X2X3X4X5X6X7X8X9X10X11X12X13X14X15X16X17Y2Y1特征向量第一主成分名次地区Y1得分Y2得分123456789101112131415北京上海天津广东辽宁福建浙江江苏海南新疆吉林黑龙江山西宁夏云南11.725710.17765.12352.74221.13250.55860.27180.18170.0795-0.3075-0.4873-0.6307-0.7467-0.7791-0.8203-3.943962.435050.125513.349070.619421.902482.315762.53147-0.79528-1.07448-1.094130.61915-1.13709-1.92281-0.483134、主成分的表达式及其含义解释5、计算主成分得分第一主成分名次地区Y1得分Y2得分16171819202122232425262728293031陕西山东青海湖北内蒙古河北甘肃重庆湖南西藏广西四川江西河南安徽贵州-0.9116-1.0207-1.1131-1.1943-1.2295-1.4456-1.8358-1.8603-1.8806-1.9085-1.9098-2.1979-2.3049-2.3383-2.4358-2.6347-2.064812.32993-1.471450.66326-0.871811.25757-1.40987-0.364390.04577-2.04139-0.420780.331260.076600.869090.45974-0.83575为了对常用的100种食品的生产进行经营决策，需要就消费者对食品的嗜好程度进行调查。对785名消费者进行调查，要求每个消费者对100种食品进行评价，按对食品的喜好程度评分，最受欢迎的给予最高分9分，最不受欢迎的给予最低分1分。例2市场研究中的应用将被调查者按性别与年龄分成10组假若你是该食品加工业决策部门的高级顾问，为了对食品生产作出合理决策，请你对调查资料进行分析，为决策者提供建议。以组为单位，在每组中每个成员都对100种食品给予评分，然后计算每组成员对每种食品评分的平均值。食品组号12345678910123..1007.85.43.93.53.08.16.05.43.81.62.84.44.03.56.27.27.57.0.........3.12.83.33.02.53.93.53.02.82.59.03.01——5组表示男性，6——10组表示女性1——5，6——10年龄从小到大排序特征向量y1y2y3X1X2X3X4X5X6X7X8X9X100.2860.3310.3230.2990.2610.3090.3440.3480.3