搜索
K-均值聚类算法1.初始化：选择c个代表点2.建立c个空间聚类表：3.按照最小距离法则逐个对样本X进行分类：4.计算J及用各聚类列表计算聚类均值，并用来作为各聚类新的代表点（更新代表点）5.若J不变或代表点未发生变化，则停止。否则转2.6.具体代码如下：clearallclcx=[01012123678678978989;00111222666777788899];figure(1)plot(x(1,:),x(2,:),'r*')%%第一步选取聚类中心，即令K=2Z1=[x(1,1);x(2,1)];Z2=[x(1,2);x(2,2)];R1=[];R2=[];t=1;K=1;%记录迭代的次数dif1=inf;dif2=inf;%%第二步计算各点与聚类中心的距离while(dif1eps&dif2eps)fori=1:20dist1=sqrt((x(1,i)-Z1(1)).^2+(x(2,i)-Z1(2)).^2);dist2=sqrt((x(1,i)-Z2(1)).^2+(x(2,i)-Z2(2)).^2);temp=[x(1,i),x(2,i)]';ifdist1dist2R1=[R1,temp];elseR2=[R2,temp];endendZ11=mean(R1,2);Z22=mean(R2,2);t1=Z1-Z11;%%测试两次是不是相等，可以有多种方法这里只简单的列举一种t2=Z2-Z22;dif1=sqrt(dot(t1,t1));dif2=sqrt(dot(t2,t2));Z1=Z11;Z2=Z22;K=K+1;R1=[];R2=[];endholdonplot([Z1(1),Z2(1)],[Z1(2),Z2(2)],'g+')用matlab做聚类分析(2008-08-0917:07:05)转载▼标签：杂谈Matlab提供了两种方法进行聚类分析。一种是利用clusterdata函数对样本数据进行一次聚类，其缺点为可供用户选择的面较窄，不能更改距离的计算方法；另一种是分步聚类：（1）找到数据集合中变量两两之间的相似性和非相似性，用pdist函数计算变量之间的距离；（2）用linkage函数定义变量之间的连接；（3）用cophenetic函数评价聚类信息；（4）用cluster函数创建聚类。1．Matlab中相关函数介绍1.1pdist函数调用格式：Y=pdist(X,’metric’)说明：用‘metric’指定的方法计算X数据矩阵中对象之间的距离。’X：一个m×n的矩阵，它是由m个对象组成的数据集，每个对象的大小为n。metric’取值如下：‘euclidean’：欧氏距离（默认）；‘seuclidean’：标准化欧氏距离；‘mahalanobis’：马氏距离；‘cityblock’：布洛克距离；‘minkowski’：明可夫斯基距离；‘cosine’：‘correlation’：‘hamming’：‘jaccard’：‘chebychev’：Chebychev距离。1.2squareform函数调用格式：Z=squareform(Y,..)说明：强制将距离矩阵从上三角形式转化为方阵形式，或从方阵形式转化为上三角形式。1.3linkage函数调用格式：Z=linkage(Y,’method’)说明：用‘method’参数指定的算法计算系统聚类树。Y：pdist函数返回的距离向量；method：可取值如下：‘single’：最短距离法（默认）；‘complete’：最长距离法；‘average’：未加权平均距离法；‘weighted’：加权平均法；‘centroid’：质心距离法；‘median’：加权质心距离法；‘ward’：内平方距离法（最小方差算法）返回：Z为一个包含聚类树信息的（m-1）×3的矩阵。1.4dendrogram函数调用格式：[H，T，…]=dendrogram(Z,p，…)说明：生成只有顶部p个节点的冰柱图（谱系图）。1.5cophenet函数调用格式：c=cophenetic(Z,Y)说明：利用pdist函数生成的Y和linkage函数生成的Z计算cophenet相关系数。1.6cluster函数调用格式：T=cluster(Z,…)说明：根据linkage函数的输出Z创建分类。1.7clusterdata函数调用格式：T=clusterdata(X,…)说明：根据数据创建分类。T=clusterdata(X,cutoff)与下面的一组命令等价：Y=pdist(X,’euclid’);Z=linkage(Y,’single’);T=cluster(Z,cutoff);2.Matlab程序2.1一次聚类法X=[1197812.593.531908;…;5750067.6238.015900];T=clusterdata(X,0.9)2.2分步聚类Step1寻找变量之间的相似性用pdist函数计算相似矩阵，有多种方法可以计算距离，进行计算之前最好先将数据用zscore函数进行标准化。X2=zscore(X);%标准化数据Y2=pdist(X2);%计算距离Step2定义变量之间的连接Z2=linkage(Y2);Step3评价聚类信息C2=cophenet(Z2,Y2);//0.94698Step4创建聚类，并作出谱系图T=cluster(Z2,6);H=dendrogram(Z2);分类结果：{加拿大}，{中国，美国，澳大利亚}，{日本，印尼}，{巴西}，{前苏联}剩余的为一类。，MATLAB的统计工具箱中的多元统计分析中提供了聚类分析的两种方法：1.层次聚类hierarchicalclustering2.k-means聚类这里用最简单的实例说明以下层次聚类原理和应用发法。层次聚类是基于距离的聚类方法，MATLAB中通过pdist、linkage、dendrogram、cluster等函数来完成。层次聚类的过程可以分这么几步：(1)确定对象（实际上就是数据集中的每个数据点）之间的相似性，实际上就是定义一个表征对象之间差异的距离，例如最简单的平面上点的聚类中，最经常使用的就是欧几里得距离。这在MATLAB中可以通过Y=pdist（X）实现，例如X=randn(6,2)X=-0.43261.1892-1.6656-0.03760.12530.32730.28770.1746-1.1465-0.18671.19090.7258plot(X(:,1),X(:,2),'bo')%给个图，将来对照聚类结果把~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~图1~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~Y=pdist(X)Y=Columns1through141.73941.02671.24421.55011.68831.82771.96480.54012.95680.22281.37171.13771.47901.0581Column152.5092例子中X数据集可以看作包含6个平面数据点，pdist之后的Y是一个行向量，15个元素分别代表X的第1点与2-6点、第2点与3-6点,......这样的距离。那么对于M个点的数据集X，pdist之后的Y将是具有M*(M-1)/2个元素的行向量。Y这样的显示虽然节省了内存空间，但对用户来说不是很易懂，如果需要对这些距离进行特定操作的话，也不太好索引。MATLAB中可以用squareform把Y转换成方阵形式，方阵中i，j位置的数值就是X中第i和第j点之间的距离，显然这个方阵应该是个对角元素为0的对称阵。squareform(Y)ans=01.73941.02671.24421.55011.68831.739401.82771.96480.54012.95681.02671.827700.22281.37171.13771.24421.96480.222801.47901.05811.55010.54011.37171.479002.50921.68832.95681.13771.05812.50920这里需要注意的是，pdist可以使用多种参数，指定不同的距离算法。helppdist把。另外，当数据规模很大时，可以想象pdist产生的Y占用内存将是很吓人的，比如X有10k个数据点，那么X占10k*8*2Bytes=160K，这看起来不算啥，但是pdist后的Y会有10k*10k/2*8Bytes=400M。怕了把，所以，废话说在前面，用MATLAB的层次聚类来处理大规模数据，大概是很不合适的。(2)确定好了对象间的差异度（距离）后，就可以用Z=linkage(Y)来产生层次聚类树了。Z=linkage(Y)Z=3.00004.00000.22282.00005.00000.54011.00007.00001.02676.00009.00001.05818.000010.00001.3717对于M个元素的X，前面说了Y是1行M*(M-1)/2的行向量，Z则是(M-1)*3的矩阵。Z数组的前两列是索引下标列，最后一列是距离列。例如上例中表示在产生聚类树的计算过程中，第3和第4点先聚成一类，他们之间的距离是0.2228，以此类推。要注意的是，为了标记每一个节点，需要给新产生的聚类也安排一个标识，MATLAB中会将新产生的聚类依次用M+1,M+2,....依次来标识。比如第3和第4点聚成的类以后就用7来标识，第2和第5点聚成的类用8来标识，依次类推。通过linkage函数计算之后，实际上二叉树式的聚类已经完成了。Z这个数据数组不太好看，可以用dendrogram(Z)来可视化聚类树。~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~图2~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~可以看到，产生的聚类树的每一层都是一个倒置的U型（或者说是个n型，~~），纵轴高度代表了当前聚类中两个子节点之间的距离。横轴上标记出了各个数据点索引下标。稍微注意以下的是，dendrogram默认最多画30个最底层节点，当然可是设置参数改变这个限制，比如dendrogram(Z,0)就会把所有数据点索引下标都标出来，但对于成千上万的数据集合，这样的结果必然是图形下方非常拥挤。看你的应用目的了，随你玩~(3)初步的聚类树画完后，还要做很多后期工作的，包括这样的聚类是不是可靠，是不是代表了实际的对象分化模式，对于具体的应用，应该怎样认识这个完全版的聚类树，产生具有较少分叉的可供决策参考的分类结果呢？这都是需要考虑的。MATLAB中提供了cluster,clusterdata,cophenet,inconsistent等相关函数。cluster用于剪裁完全版的聚类树，产生具有一定cutoff的可用于参考的树。clusterdata可以认为是pdist,linkage,cluster的综合，当然更简易一点。cophenet和inconsistent用来计算某些系数，前者用于检验一定算法下产生的二叉聚类树和实际情况的相符程度（就是检测二叉聚类树中各元素间的距离和pdist计算产生的实际的距离之间有多大的相关性），inconsistent则是量化某个层次的聚类上的节点间的差异性（可用于作为cluster的剪裁标准）。后面这些的理解，大概需要对聚类有一个更深刻更数学的认识，我也不是很清楚，就不多说了。#Matlab