主成份分析法经典PPT

主成分分析•主成分分析•主成分回归•立体数据表的主成分分析一项十分著名的工作是美国的统计学家斯通(stone)在1947年关于国民经济的研究。他曾利用美国1929一1938年各年的数据，得到了17个反映国民收入与支出的变量要素，例如雇主补贴、消费资料和生产资料、纯公共支出、净增库存、股息、利息外贸平衡等等。§1基本思想在进行主成分分析后，竟以97.4％的精度，用三新变量就取代了原17个变量。根据经济学知识，斯通给这三个新变量分别命名为总收入F1、总收入变化率F2和经济发展或衰退的趋势F3。更有意思的是，这三个变量其实都是可以直接测量的。斯通将他得到的主成分与实际测量的总收入I、总收入变化率I以及时间t因素做相关分析，得到下表：F1F2F3iitF11F201F3001i0.995-0.0410.057lΔi-0.0560.948-0.124-0.102lt-0.369-0.282-0.836-0.414-0.1121主成分分析是把各变量之间互相关联的复杂关系进行简化分析的方法。在社会经济的研究中，为了全面系统的分析和研究问题，必须考虑许多经济指标，这些指标能从不同的侧面反映我们所研究的对象的特征，但在某种程度上存在信息的重叠，具有一定的相关性。主成分分析试图在力保数据信息丢失最少的原则下，对这种多变量的截面数据表进行最佳综合简化，也就是说，对高维变量空间进行降维处理。很显然，识辨系统在一个低维空间要比在一个高维空间容易得多。(1)基于相关系数矩阵还是基于协方差矩阵做主成分分析。当分析中所选择的经济变量具有不同的量纲，变量水平差异很大，应该选择基于相关系数矩阵的主成分分析。在力求数据信息丢失最少的原则下，对高维的变量空间降维，即研究指标体系的少数几个线性组合，并且这几个线性组合所构成的综合指标将尽可能多地保留原来指标变异方面的信息。这些综合指标就称为主成分。要讨论的问题是：（2）选择几个主成分。主成分分析的目的是简化变量，一般情况下主成分的个数应该小于原始变量的个数。关于保留几个主成分，应该权衡主成分个数和保留的信息。（3）如何解释主成分所包含的经济意义。§2数学模型与几何解释假设我们所讨论的实际问题中，有p个指标，我们把这p个指标看作p个随机变量，记为X1，X2，…，Xp，主成分分析就是要把这p个指标的问题，转变为讨论p个指标的线性组合的问题，而这些新的指标F1，F2，…，Fk(k≤p），按照保留主要信息量的原则充分反映原指标的信息，并且相互独立。ppppppppppXuXuXuFXuXuXuFXuXuXuF22112222112212211111这种由讨论多个指标降为少数几个综合指标的过程在数学上就叫做降维。主成分分析通常的做法是，寻求原指标的线性组合Fi。满足如下的条件：122221piiiuuupjijiFFCovji，，，，，，），（210)()(21pFVarFVarFVar）（主成分之间相互独立，即无重叠的信息。即主成分的方差依次递减，重要性依次递减，即每个主成分的系数平方和为1。即•2x1x1F2F••••••••••••••••••••••••••••••••••••主成分分析的几何解释平移、旋转坐标轴•2x1x1F2F••••••••••••••••••••••••••••••••••••主成分分析的几何解释平移、旋转坐标轴••2x1x1F2F•••••••••••••••••••••••••••••••••••主成分分析的几何解释平移、旋转坐标轴••2x1x1F2F••••••••••••••••••••••••••••••••••••主成分分析的几何解释平移、旋转坐标轴•••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••为了方便，我们在二维空间中讨论主成分的几何意义。设有n个样品，每个样品有两个观测变量xl和x2，在由变量xl和x2所确定的二维平面中，n个样本点所散布的情况如椭圆状。由图可以看出这n个样本点无论是沿着xl轴方向或x2轴方向都具有较大的离散性，其离散的程度可以分别用观测变量xl的方差和x2的方差定量地表示。显然，如果只考虑xl和x2中的任何一个，那么包含在原始数据中的经济信息将会有较大的损失。•如果我们将xl轴和x2轴先平移，再同时按逆时针方向旋转角度，得到新坐标轴Fl和F2。Fl和F2是两个新变量。根据旋转变换的公式：cossinsincos211211xxyxxyxU2121cossinsincosxxyy正交矩阵，即有为旋转变换矩阵，它是UIUUUU,1旋转变换的目的是为了使得n个样品点在Fl轴方向上的离散程度最大，即Fl的方差最大。变量Fl代表了原始数据的绝大部分信息，在研究某经济问题时，即使不考虑变量F2也无损大局。经过上述旋转变换原始数据的大部分信息集中到Fl轴上，对数据中包含的信息起到了浓缩作用。Fl，F2除了可以对包含在Xl，X2中的信息起着浓缩作用之外，还具有不相关的性质，这就使得在研究复杂的问题时避免了信息重叠所带来的虚假性。二维平面上的个点的方差大部分都归结在Fl轴上，而F2轴上的方差很小。Fl和F2称为原始变量x1和x2的综合变量。F简化了系统结构，抓住了主要矛盾。§3主成分的推导及性质一、两个线性代数的结论1、若A是p阶实对称阵，则一定可以找到正交阵U，使ppp00000021AUU1pii.2.1,其中是A的特征根。2、若上述矩阵的特征根所对应的单位特征向量为ppppppuuuuuuuuu212222111211),,(p1uuU则实对称阵属于不同特征根所对应的特征向量是正交的，即有p1uu,,令AIUUUU二、主成分的推导（一）第一主成分设X的协方差阵为2212222111221pppppxΣ由于Σx为非负定的对称阵，则有利用线性代数的知识可得，必存在正交阵U，使得p001UΣUX其中1，2，…，p为Σx的特征根，不妨假设12…p。而U恰好是由特征根相对应的特征向量所组成的正交阵。ppppppuuuuuuuuu212222111211),,(p1uuUpiiiuuu，，，21iUiPi,,2,1下面我们来看，是否由U的第一列元素所构成为原始变量的线性组合是否有最大的方差。设有P维正交向量11111ppFaXaXaXL1211111)(aUUaaapFV121111,,,paaaa12p12112p1puuau,u,,uauLOMpii121)(uapiii11auuaaUUa1aa111piiiiauua21()piiiau当且仅当a1=u1时，即时，有最大的方差1。因为Var(F1)=U’1xU1=1。如果第一主成分的信息不够，则需要寻找第二主成分。ppXuXuF11111（二）第二主成分在约束条件下，寻找第二主成分0),cov(21FFppXuXuF21122因为所以0),cov(),cov(121122121uuuuxuxuFF则，对p维向量，有012uupiiipiiiiuuFV122122222)()(uuuuuupii222)(uu22upiii122uuuu222uUUu2222uu2ppXuXuXuF22221122所以如果取线性变换：则的方差次大。2F类推ppppppppppXuXuXuFXuXuXuFXuXuXuF22112222112212211111写为矩阵形式：XUFppppppuuuuuuuuu212222111211),,(p1uuU),,,(21pXXXX§4主成分的性质一、均值UU)(xE二、方差为所有特征根之和piiFVar1)(2222121pp说明主成分分析把P个随机变量的总方差分解成为P个不相关的随机变量的方差之和。协方差矩阵的对角线上的元素之和等于特征根之和。三、精度分析1）贡献率：第i个主成分的方差在全部方差中所占比重，称为贡献率，反映了原来P个指标多大的信息，有多大的综合能力。piii12）累积贡献率：前k个主成分共有多大的综合能力，用这k个主成分的方差和在全部方差中所占比重来描述，称为累积贡献率。piikii11我们进行主成分分析的目的之一是希望用尽可能少的主成分F1，F2，…，Fk（k≤p）代替原来的P个指标。到底应该选择多少个主成分，在实际工作中，主成分个数的多少取决于能够反映原来变量80%以上的信息量为依据，即当累积贡献率≥80%时的主成分的个数就足够了。最常见的情况是主成分为2到3个。四、原始变量与主成分之间的相关系数pmmj,,,2,11111211221222212ppppppppxuuuFxuuuFxuuuFLLMMMMMLXUFXUFppjjjjxuxuxuF22111122(,)(,)ijiiippjijjCovxFCovuFuFuFFuLijijjijijjiuuFx),(可见，和的相关的密切程度取决于对应线性组合系数的大小。ixjF五、原始变量被主成分的提取率前面我们讨论了主成分的贡献率和累计贡献率，他度量了F1，F2，……，Fm分别从原始变量X1，X2，……XP中提取了多少信息。那么X1，X2，……XP各有多少信息分别F1，F2，……，Fm被提取了。应该用什么指标来度量？我们考虑到当讨论F1分别与X1，X2，……XP的关系时，可以讨论F1分别与X1，X2，……XP的相关系数，但是由于相关系数有正有负，所以只有考虑相关系数的平方。1122()()iiiippVarxVaruFuFuFL222221122iiimmippiuuuuLL则jiju222/ijiju如果我们仅仅提出了m个主成分，则第i原始变量信息的被提取率为：mjijmjiijjiu12122/是Fj能说明的第i原始变量的方差是Fj提取的第i原始变量信息的比重例设的协方差矩阵为321,,xxx200052021解得特征根为，，83.5100.2217.03，，000.0924.0383.01U1002U000.0383.0924.03U第一个主成分的贡献率为5.83/（5.83+2.00+0.17）=72.875%，尽管第一个主成分的贡献率并不小，但在本题中第一主成分不含第三个原始变量的信息，所以应该取两个主成分。Xi与F1的相关系数平方Xi与F2的相关系数平方信息提取率xi10.9250.855000.8552-0.9980.996000.99630011111),(iiFx21i22i22),(iiFxi925.01383.0*83.52111111u998.05)924.0(*22221112u013定义：如果一