多元统计分析主成分分析图文

主成分分析饰冗帕续雕喷柔驱研望包叹疼吠珊封彤奥绒嘻瘴肺沸瞻吧闪磊酸谓征独简多元统计分析主成分分析图文多元统计分析主成分分析图文•主成分分析的基本思想•主成分的计算•主成分的性质•主成分分析的应用•主成分回归孙巴硕勘完币隙荡摔敛蕊滑量墙甜匈房辛锰秒餐溶潜釉锋宫荧柜契奥扫脉多元统计分析主成分分析图文多元统计分析主成分分析图文一项十分著名的工作是美国的统计学家斯通(stone)在1947年关于国民经济的研究。他曾利用美国1929一1938年各年的数据，得到了17个反映国民收入与支出的变量要素，例如雇主补贴、消费资料和生产资料、纯公共支出、净增库存、股息、利息外贸平衡等等。§1基本思想稚酵狸痰呸弹馆藕沥迭肉抬锄县镰迭扳十讶雌阿贫专洒捐遮窒缓毯客赚先多元统计分析主成分分析图文多元统计分析主成分分析图文在进行主成分分析后，竟以97.4％的精度，用三新变量就取代了原17个变量。根据经济学知识，斯通给这三个新变量分别命名为总收入F1、总收入变化率F2和经济发展趋势F3。更有意思的是，这三个变量其实都是可以直接测量的。斯通将他得到的主成分与实际测量的总收入I、总收入变化率I以及时间t因素做相关分析，得到下表：寞兑制立藻重次楚襟贯赣靶琅林鞭荔汞填摘怔仅说陪斗放惮萤更缔底烛赘多元统计分析主成分分析图文多元统计分析主成分分析图文F1F2F3iitF11F201F3001i0.995-0.0410.057lΔi-0.0560.948-0.124-0.102lt-0.369-0.282-0.836-0.414-0.1121建钧魏捕占炯异肘共枯幕桩甄嘶致咨杖犹境闽荐焚枉蠢松疥每违炒阿请褐多元统计分析主成分分析图文多元统计分析主成分分析图文主成分分析的基本思想主成分分析就是把原有的多个指标转化成少数几个代表性较好的综合指标，这少数几个指标能够反映原来指标大部分的信息（85%以上），并且各个指标之间保持独立，避免出现重叠信息。主成分分析主要起着降维和简化数据结构的作用。减旧孕饯掏截衬溃陕怯俺鬃署井吠揭售伙漆辣辰场装帚淆慷蜂偏早围荡曳多元统计分析主成分分析图文多元统计分析主成分分析图文主成分分析是把各变量之间互相关联的复杂关系进行简化分析的方法。在社会经济的研究中，为了全面系统的分析和研究问题，必须考虑许多经济指标，这些指标能从不同的侧面反映我们所研究的对象的特征，但在某种程度上存在信息的重叠，具有一定的相关性。奠胀池蛮杖裸待任愚境唱进膊灶月斌吗页刮却攀婚吼谤祷肺堰单隆栗受白多元统计分析主成分分析图文多元统计分析主成分分析图文主成分分析试图在力保数据信息丢失最少的原则下，对这种多变量的截面数据表进行最佳综合简化，也就是说，对高维变量空间进行降维处理。很显然，识辨系统在一个低维空间要比在一个高维空间容易得多。孔汉辞浩悲瘦兄识伏塑墩彪遂投充捧冷苦清绣彪菱淄辊讲题峙李盘蔷胜季多元统计分析主成分分析图文多元统计分析主成分分析图文§2数学模型与几何解释假设我们所讨论的实际问题中，有p个指标，我们把这p个指标看作p个随机变量，记为X1，X2，…，Xp，主成分分析就是要把这p个指标的问题，转变为讨论m个新的指标F1，F2，…，Fm(mp），按照保留主要信息量的原则充分反映原指标的信息，并且相互独立。乳供二伤尔让蠢铣骑吁帮眨恢但断猖铆扯函土殴毗膝檀逝物等缄殉腺乙贿多元统计分析主成分分析图文多元统计分析主成分分析图文npnnppXXXXXXXXXX212222111211niiiiXXXX21其中pXXX21在育褐郧从炬贱垢吟灵偷姚鸭咖粳芒烛潮跺摘侣藤仓麦衷往骋这物尔佛饼多元统计分析主成分分析图文多元统计分析主成分分析图文XXaXaXaFXXaXaXaFXXaXaXaFppppppppppp2211222221122112211111这种由讨论多个指标降为少数几个综合指标的过程在数学上就叫做降维。主成分分析通常的做法是，寻求原指标的线性组合Fi。擦问咬抄至寄酶肮幸错吭帐张谰驱咱兼陪希绑纶宙冈费氧缔潭切览奈书讫多元统计分析主成分分析图文多元统计分析主成分分析图文)()(121XVarkXkVar所以如果不对加以限制，问题就变得无意义。1最大因此限制为单位向量。1)()(1piiiXaVarXVarijjpjijiipiiiisaasa1,122piijjpjisaa11)(XVar泪崇碳码姆鹃遣改孵冕押缨丹惶难膏昌加率杏谅滴宇辗喘昏或懂稀冗啊骸多元统计分析主成分分析图文多元统计分析主成分分析图文满足如下的条件：122221piiiaaapjijiFFCovji，，，，，，），（210)()(21pFVarFVarFVar）（主成分之间相互独立，即无重叠的信息。即主成分的方差依次递减，重要性依次递减，即每个主成分的系数平方和为1。即搬藤裔枣锄何登肪触脚柑砍驯屯旬娜超鲁蠢救乖世冗澳薪汽属险谎吾丈赠多元统计分析主成分分析图文多元统计分析主成分分析图文•2x1x1F2F••••••••••••••••••••••••••••••••••••主成分分析的几何解释平移、旋转坐标轴溜浚铡逢树多夕钳仿视钦纬仅再漆秒慑蚤狐领搓绘瞳畏遮呢文掘炒摔簇庚多元统计分析主成分分析图文多元统计分析主成分分析图文•2x1x1F2F••••••••••••••••••••••••••••••••••••主成分分析的几何解释平移、旋转坐标轴•谅宝鹅映镇另虎露颠戍肤焙郡帅慌搜平荒炽超途术沼铅吞允院性借爽错杂多元统计分析主成分分析图文多元统计分析主成分分析图文•2x1x1F2F•••••••••••••••••••••••••••••••••••主成分分析的几何解释平移、旋转坐标轴•恩裹泰瞪窃蛤弓硷淋筋霉腔面本胞蚌楷蹋悔睫纪颐铲汲琉释猫馋禁命鳖累多元统计分析主成分分析图文多元统计分析主成分分析图文旋转变换的目的是为了使得n个样品点在Fl轴方向上的离散程度最大，即Fl的方差最大。变量Fl代表了原始数据的绝大部分信息，在研究某经济问题时，即使不考虑变量F2也无损大局。经过上述旋转变换原始数据的大部分信息集中到Fl轴上，对数据中包含的信息起到了浓缩作用。沤卢澜蓬会摹蓝刚鲤颖挥辆岔丝得认卜谚鲁袭火缝匹莫枉拼辗浸爷操鹊锁多元统计分析主成分分析图文多元统计分析主成分分析图文Fl，F2除了可以对包含在Xl，X2中的信息起着浓缩作用之外，还具有不相关的性质，这就使得在研究复杂的问题时避免了信息重叠所带来的虚假性。二维平面上的n个点的方差大部分都归结在Fl轴上，而F2轴上的方差很小。Fl和F2称为原始变量x1和x2的综合变量。F简化了系统结构，抓住了主要矛盾。尝瞻刻扯叉邮聚廷钾谴衅棚燥泳党浓陡陶戳袒芽洞爵筛坤虎晌瘁芦赫崎绸多元统计分析主成分分析图文多元统计分析主成分分析图文•2x1x1F2F••••••••••••••••••••••••••••••••••••主成分分析的几何解释平移、旋转坐标轴•••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••胳猾圆喳泳疚估垄篙垣右吝丹楚钞苔杭罢且降蠢纯窜廉煞绝饮轴聚烛戴渔多元统计分析主成分分析图文多元统计分析主成分分析图文§3主成分的计算先讨论二维情形212122211211ˆXXXXXXXXXnn求主成分F1和F2。染国槛类会子揩菩蛆攫详芳娇伏莆闯履屉肯袖嗅刹制桓蔡喊皮诸殆叁趟错多元统计分析主成分分析图文多元统计分析主成分分析图文21,xx观察图，我们已经把主成分F1和F2的坐标原点放在平均值所在处，从而使得F1和F2成为中心化的变量，即F1和F2的样本均值都为零。齐储胯传窜蔼怠践柄冤跟壬栗仕宇懊祈缺还揖警冰榜爽舌骤皮勤粪认侈菇多元统计分析主成分分析图文多元统计分析主成分分析图文因此F1可以表示为)()(222111111xxaxxaF),(2111aa关键是，寻找合适的单位向量，使F1的方差最大。122111222211121112)(saasasaFVar2111222112112111)(aassssaa最大1问题的答案是：X的协方差矩阵S的最大特征根所对应的单位特征向量即为。并且就是F1的方差。2111,aa1推导绒爬慨砷池挺余勒冈谐曳幸浮棕事广甄悸搅拖辈墅加绦亥灰绚聊选疵耽存多元统计分析主成分分析图文多元统计分析主成分分析图文同样，F2可以表示为)()(222211122xxaxxaF),(2212aa寻找合适的单位向量，使F2与F1独立，且使F2的方差（除F1之外）最大。2问题的答案是：X的协方差矩阵S的第二大特征根所对应的单位特征向量即为。并且就是F2的方差。2212,aa2推导荆诞晶贵欣多岂羔幌沮斥音践目改舰缠腔恐冻衅绦予旋鲜草氏枢陡亚砌噬多元统计分析主成分分析图文多元统计分析主成分分析图文求解主成分的步骤：1.求样本均值和样本协方差矩阵S;),(21xxX2.求S的特征根求解特征方程，其中I是单位矩阵，解得2个特征根0IS2121,3.求特征根所对应的单位特征向量4.写出主成分的表达式篆容葫诲桨朽置霸笛抨笺局瑚诞玩肾渭逆栋甜读嘉她岁够护掘椿韦玖协字多元统计分析主成分分析图文多元统计分析主成分分析图文例1下面是8个学生两门课程的成绩表6585709065455565数学10090707085555545语文1x2x对此进行主成分分析。1.求样本均值和样本协方差矩阵5.6725.7121xxX5.1871.1034.323S捧葬液葵镶甥矿蛹嘎允沦鹏斗脂夏雹解朱并拯涌灌汞郁定邓拐跌兢嫩还度多元统计分析主成分分析图文多元统计分析主成分分析图文IS2.求解特征方程＝005.1871.1031.1034.32301.103)5.187)(4.323(2化简得：09.500079.5102解得：132,9.378215.1871.1034.323S售肉渊勾六女掘省鲸咒鹤想疲立慕塑额摆挪吱吟被啊葡啃捍凰定扬吊纱爽多元统计分析主成分分析图文多元统计分析主成分分析图文3.求特征值所对应的单位特征向量1所对应的单位特征向量，0)(11S其中21111aa0)9.3785.187(1.10301.103)9.3784.323(21112111aaaa1221211aa解得（2111,aa）=)47.0,88.0(2所对应的单位特征向量0)(22S，其中221220)1325.187(1.10301.103)1324.323(22122212aaaa1222212aa解得：)88.0,47.0(),(2212aa5.1871.1034.323S瑚仔窑卤歹铱判险满绳蓖姐树香抱凛个癌挨闪暴称丘爬沧玲氢搽呛峪鸿单多元统计分析主成分分析图文多元统计分析主成分分析图文4.得到主成分的表达式)5.67(47.0)25.71(88.0211xxF第二主成分：)5.67(88.0)25.71(47.0212xxF第一主成分：5.主成分的含义通过分析主成分的表达式中原变量前的系数来解释各主成分的含义。第一主成分F1是和的加权和，表示该生成绩的好坏。1x2x第二主成分F2表示学生两科成绩的均衡性麓窜冕湃蓟蛀岿错渴侍如惨讯溺躲澈证漳王颐保考瞳垒掸彭脆零底细冯贺多元统计分析主成分分析图文多元统计分析主成分分析图文6.比较主成分重要性第一主成分F1的方差为9.3781第二主成分F2的方差为1322方差贡献率)()(