SPSS课件10-聚类分析

1第10章聚类分析10.1聚类分析的一般问题10.2层次聚类10.3K-Means聚类(快速聚类)2例对10位应聘者做智能检验。3项指标X，Y和Z分别表示数学推理能力，空间想象能力和语言理解能力。其得分如下，选择合适的统计方法对应聘者进行分类。应聘者12345678910X28181121262016142422Y29232223292322232927Z281816222622222424243什么是聚类分析聚类分析是统计学所研究的“物以类聚”问题的一种方法,它属于多元统计分析的范畴.它是一种建立分类的方法,能够将一批样本数据(或变量)按照它们在性质上的亲疏程度在没有先验知识的情况下自动进行分类。这里,一个类就是一个具有相似性的个体的集合,不同类之间具有明显的非相似性。在分类过程中,不必事先给出一个分类标准,聚类分析能够从样本数据出发,客观地决定分类标准。4样品间亲疏程度的测度研究样品或变量的亲疏程度的数量指标有两种，一种叫相似系数，性质越接近的变量或样品，它们的相似系数越接近于1或一l，而彼此无关的变量或样品它们的相似系数则越接近于0，相似的为一类，不相似的为不同类；另一种叫距离，它是将每一个样品看作p维空间的一个点，并用某种度量测量点与点之间的距离，距离较近的归为一类，距离较远的点应属于不同的类。5变量之间的聚类即R型聚类分析，常用相似系数来测度变量之间的亲疏程度。而样品之间的聚类即Q型聚类分析，则常用距离来测度样品之间的亲疏程度。6常用距离的算法设和是第i和j个样品的观测值，则二者之间的距离为：pkjkikijxxd12)(ipiixxx,,,21ix),,,(21jpjjxxxjx欧氏距离欧氏距离测度7聚类分析的几点说明1.所选择的变量应符合聚类的要求2.各变量的变量值不应有数量级的差异消除数量级常用的方法是标准化处理:3.各变量间不应有较强的线性相关性jjijijSxxx*8层次聚类法层次聚类分析的基本思想是,在聚类分析的开始,每个样本自成一类;然后,按照某种方法度量所有样本之间的亲疏程度,并把其中最亲密或称最相似的样本首先聚成一小类;接下来,度量剩余的样本和小类之间的亲疏程度,并将当前最亲密的样本或小类再聚成一类;再接下来,再度量剩余下的样本和小类(或小类和小类)间的亲疏程度,并将当前最亲密的样本或小类再聚成一类;如此反复,直到所有的样本分别聚成一类为止。由此可见,层次聚类方法中,度量数据之间的亲疏程度是极为关键的。要注意的是,这里并没有给定分类的标准,也没有给出所有数据分成几类,而要求比较客观地从数据自身出发进行分类。层次聚类分析的结果是凝聚状态表、冰柱图和树形图。连续变量的样本距离测度方法有欧氏距离,欧氏距离平方,切比雪夫距离,Block距离,明考夫斯基距离,夹角余弦距离，用户自定义距离等。样本数据与小类、小类与小类间亲疏程度的度量方法有最短距离法,最长距离法,组间平均链锁法,组内平均链锁法,重心法,离差平方和法。10样本数据与小类、小类与小类之间的度量1、最短距离（NearestNeighbor)x21•x12•x22•x11•13d11最长距离（FurthestNeighbor）•••x11•x21••••12d12••••••991dd组间平均连接（Between-groupLinkage)131、组内平均连接法（Within-groupLinkage)1234566ddddddx21•x12•x22•x11•14重心法（Centroidclustering):均值点的距离••11,xy22,xy15用spss输出的凝聚状态表AgglomerationSchedule461.0000059108.000006158.000006789.0000072422.5000171930.0003292734.8335482388.80070912155.000680Stage123456789Cluster1Cluster2ClusterCombinedCoefficientsCluster1Cluster2StageClusterFirstAppearsNextStage16冰柱图VerticalIcicleXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXNumberofclusters12345678938764210951Case17K-Means聚类(快速聚类)一、思想层次聚类法是一种比较成功的聚类方法。然而当样本点数量十分庞大时，则是一件非常繁重的工作，且聚类的计算速度也比较慢。比如在市场抽样调查中，有4万人就其对衣着的偏好作了回答，希望能迅速将他们分为几类。这时，采用层次聚类法就很困难，而快速聚类法就会显得方便，适用。18和层次聚类分析一致，快速聚类分析也以距离为样本间亲疏程度的标志。但两者的不同点在于:层次聚类可以对不同的聚类类数产生一系列的聚类解，而快速聚类只能产生固定类数的聚类解，类数需要用户事先指定。19快速聚类分析的计算过程首先需要用户指定聚类成多少类（如k类）然后确定k个类的初始类中心。指定方式有两种：1）用户指定；2）系统指定。Spss系统会根据样本数据的实际情况，选择k个有代表性的样本数据作为初始类中心。计算所有样本数据点到k个类中心的欧氏距离，并按照距k个类中心点距离最短原则，把所有样本数据点分派到各中心点所在的类中，形成一个新的k类，完成一次迭代过程。20重新确定k个类中心。Spss计算每个类中各个变量的变量值均值，并以均值点作为新的类中心点。然后重复上面的两步计算过程，直到达到指定的迭代次数，或终止迭代的判断要求为止。21（a）空间的群点(b)任取两个聚核(c)第一次分类(d)求各类中心22(e)第二次分类23可见，与层次聚类不同，快速聚类是一个反复迭代的分类过程，在聚类过程中，样本所属的类会不断调整，直到最终达到稳定为止。24用spss输出的结果InitialClusterCenters28.0021.0011.0029.0023.0022.0028.0022.0016.00xyz123Cluster25ClusterMembership13.93723.6113.00023.23111.22522.24522.01024.49911.87113.674CaseNumber12345678910ClusterDistance26FinalClusterCenters25.0017.8011.0028.5022.8022.0025.5021.6016.00xyz123ClusterDistancesbetweenFinalClusterCenters9.97718.1259.9778.84518.1258.845Cluster12312327ANOVA102.60027.543713.602.00441.1002.543775.711.00041.10024.31479.526.010xyzMeanSquaredfClusterMeanSquaredfErrorFSig.TheFtestsshouldbeusedonlyfordescriptivepurposesbecausetheclustershavebeenchosentomaximizethedifferencesamongcasesindifferentclusters.Theobservedsignificancelevelsarenotcorrectedforthisandthuscannotbeinterpretedastestsofthehypothesisthattheclustermeansareequal.28NumberofCasesineachCluster4.0005.0001.00010.000.000123ClusterValidMissing