模糊聚类算法研究及其在电信客户细分中的应用

河北工业大学硕士学位论文模糊聚类算法研究及其在电信客户细分中的应用姓名：高春慧申请学位级别：硕士专业：管理科学与工程指导教师：李杰20081101河北工业大学硕士学位论文i模糊聚类算法研究及模糊聚类算法研究及模糊聚类算法研究及模糊聚类算法研究及其其其其在电信客户细分中的应用在电信客户细分中的应用在电信客户细分中的应用在电信客户细分中的应用摘摘摘摘要要要要聚类分析是在无先验知识、无指导下进行数据分析的一种数据挖掘技术。通过先进算法的恰当采用，发掘潜藏的有价值的信息，提高数据分析和解释的质量。在现实世界中，许多客观事物之间的界限往往是模糊的，对事物进行分类时就必然伴随着模糊性，由此产生了模糊聚类分析。将模糊聚类应用到客户细分中，相对硬聚类能更好地体现客户特征，从而帮助营销人员制定出更有针对性的营销策略，以提高客户的价值贡献。本文首先在介绍聚类分析以及模糊理论的基本概念和相关知识的基础上，描述了模糊C均值算法(FCM)的基本原理和步骤。从模糊划分矩阵、度量方式、加权指数m、数据类型和聚类有效性几个方面综述模糊C均值算法的研究情况，并对聚类趋势分析的研究进行了重点介绍。在综述了模糊聚类的研究情况后，针对模糊C均值算法存在的问题提出了改进算法。首先，一般基于欧氏距离的FCM算法只能检测超球体结构的数据子集，不能差别对待样本的不同属性，针对这个问题提出了基于马氏距离的MFCM算法，提高了聚类效果。然后针对FCM算法容易陷入局部优化的问题，将基于马氏距离的MFCM算法与遗传算法结合，并对这种混合算法的遗传算子做了相应改进，得到GMFCM算法。并从聚类正确率、收敛速率和对初值的敏感性三个方面对改进算法的性能进行了测试。最后，将改进的模糊聚类算法应用到电信客户细分中。实验数据为某电信公司的小灵通业务数据，对这些数据经过预处理等过程后，选定客户的呼叫行为和消费行为属性作为细分变量。对客户数据作了聚类趋势分析及聚类有效性分析后，使用matlab编程实现了改进算法对电信客户的细分。经过多次细分实验发现改进算法性能稳定。并进一步分析解释了细分结果，为企业差异化对待客户提供了科学依据。关键词关键词关键词关键词：：：：模糊聚类，模糊C均值，电信客户细分iiTHERESEARCHOFFUZZYCLUSTERINGALGORITHMANDITSAPPLICATIONINTELECOMCUSTOMERSEGMENTATIONABSTRACTClusteranalysisisdataminingtechnologywithoutprioriknowledgeandguidance.Throughtheappropriateuseofadvancedalgorithms,clusteranalysiscanexplorethepotentialvalueofinformation,improvethequalityofdatainterpretation.Intherealworld,thelinebetweenobjectivethingsisoftenambiguous,andtheclassificationofthingsisinevitablyaccompaniedbytheambiguity.Andsothereisfuzzyclusteranalysis.Theadvantageofapplyingfuzzyclusteringtocustomersegmentationisthatitcanreflectthecharacteristicsofcustomersbetterthanhardclustering,andcanhelpmarketersdevelopmoretargetedmarketingstrategyinordertoenhancethevalueofcustomers.Thisthesisintroducestheconceptsofclusteranalysisandbasicknowledgeoffuzzytheory,andthengivestheprinciplesandstepsoffuzzyc-means(FCM)algorithm.InordertoentirelysummarizetheresearchofFCM,severalaspectsareconsidered.Theaspectsinclude:theresearchoffuzzydivisionmatrixU,measurementmethods,theweightedindexm,datatypesandclustervalidityindex.Andatlastthethesisgivesafocusonclustertendencyresearch.Afteranoverviewoffuzzyclusteringalgorithmresearch,thedrawbacksoffuzzyc-meansareputforwardandthethesismakessomeimprovementsontheexistingFCM.Themainideaisasfollows:firstofall,FCMalgorithmisbasedonEuclideandistance,anditcanonlydetectdatasubsetsofsuper-spherestructure.Tosolvetheproblem,theMahalanobisdistancebasedMFCMalgorithmisproposed,whichcanmaketheclusterresultmoreeffective.Secondly,toavoidlocaloptimization,theMFCMiscombinedwithgeneticalgorithm,andsomeimprovementsaremadeforthehybridalgorithmtobemoreapplicable.TheimprovedalgorithmiscalledGMFCM.Lastly,theimprovedalgorithmsMFCMandGMFCMaretestedrespectively.Finally,theimprovedfuzzyclusteringalgorithmisappliedtotelecomcustomersegmentation.Experimentaldataisproducedfromatelecomcompany'sPHSbusinessprocess.Thevariablesofcallsbehaviorareselectedasindexesforsegmentation.Afterdatapreprocessing,theimprovedalgorithmsegmentstheselectedcustomerstosub-samples.Andpriortoconducting河北工业大学硕士学位论文iiisegmentation,clustertendencyanalysisandvalidityanalysisismade.Inordertoprovethatalgorithmisstable,aseriesofexperimentsaremade.Andthentheclusterresultsareanalyzedandinterpreted,soastogiveascientificbasicforenterprisetodiscriminatecustomers.KEYWORDS:FuzzyClustering,FuzzyC-Means,TelecomCustomerSegmentation河北工业大学硕士学位论文1第一章第一章第一章第一章绪论绪论绪论绪论§§§§1111----1111选题选题选题选题背景背景背景背景与意义与意义与意义与意义随着世界经济的全球化、市场的国际化、以及国家各项改革的进一步深化，电信市场的竞争日益激烈，电信、移动、联通等各电信运营企业在各个业务领域内已初步形成多元化的竞争局面，客户比以往有了更多的选择，也变得更加挑剔，单纯的“价格战”已经无法满足竞争需求。在这样的形势下，仅提供无差异化的产品和服务已经不能适应市场的要求，要在市场竞争中始终赢得优势，市场经营工作必须由无差异化策略向市场细分策略转变。市场细分策略的一个重要方面就是客户细分。无论是做精确化营销还是数据挖掘，都必须先有合适和正确的客户细分数据，没有客户细分，很多具体的分析和操作就会事倍功半。只有先利用客户细分定位了客户群，才能针对客户群制定营销策略或者进行相应的专题分析，为不同的客户提供不同的服务，使客户都达到满意，从而在市场上占据有利地位。电信业在运营过程中积累了大量业务数据，为数据挖掘提供了坚实的基础。可通过数据挖掘技术在大量的历史数据中挖掘分析客户消费的行为特征，根据客户属性来划分客户类，通过获得的客户类别来分析和预测客户的消费模式，尽可能地为客户提供更加理性化、个性化的产品与服务，最终为电信企业带来更多的利润。由于客户细分问题涉及的因素众多，许多因素带有模糊性，并且分类的标准因为分类目的的不同而有所不同，因此没有一种通用的方法适合各种客户细分问题。各企业可根据客户数据库中已有的类型信息的不同和自身管理的需要进行具体的分类。客户细分可使用数据挖掘中的聚类分析技术，聚类分析能帮助人们从客户数据中发现不同类型的客户群。本文选择聚类分析中的模糊聚类算法，是由于模糊聚类相对于硬聚类(任一元素只能属于某一类，是非此即彼的)能更好地体现客户特征。因为在对客户作聚类分析的时候，并不能指出某个客户一定属于或一定不属于某一客户群体。恰恰相反，一个客户样本可以属于不同的客户群。模糊聚类引入了隶属度的概念，就很好地体现了这一事实。如果采用硬聚类就不能反映出客户在属性方面的特征。而模糊聚类则可以给出客户分别属于各类的隶属度，从而帮助营销人员制定出针对客户的营销策略，以提高客户的价值贡献。§§§§1111----2222研究内容研究内容研究内容研究内容模糊聚类分析就是把模糊数学的概念引入到聚类分析中，以用来研究“物以类聚”的一种多元统计分析方法，即用数学方法把原来样本之间模糊关系定量地确定关系，从而客观地进行分型划类，以模糊聚类算法研究及其在电信客户细分中的应用2便对事物的性质进行更好的刻画，还可以对未来的的发生状态做出预测。本文主要研究了模糊聚类中的模糊C均值算法(FuzzyC-means,简称FCM)，介绍FCM的相关研究，分析其存在问题，并提出改进算法，最后将改进算法应用到电信客户细分中。本文内容如下：一、综述了模糊聚类算法的研究情况。从模糊划分矩阵、度量方式、加权指数m、数据类型和聚类有效性几个方面介绍了FCM算法的研究现状，重点介绍了FCM算法的聚类趋势分析问题，并对可视化的聚类趋势分析技术进行了介绍。二、对基本FCM算法进行了改进。首先引入马氏距离作为距离测度函数，得到MFCM算法，使得聚类效果更好；然后将遗传算法与MFCM算法结合，并对这种混合算法做了两方面改进，得到GMFCM算法，解决了FCM类型算法容易陷入局部最优的问题。三、将改进的GMFCM算法应用到电信客户细分中。分析某市电信公司的小灵通客户数据，选取客户呼叫行为和消费行为数据作为细分变量，对客户数据作聚类趋势分析和有效性分析。最后使用matlab编程实现改进算法，得到客户细分结果，并对结果做了进一步分析与解释。§§§§1111----3333论文结构论文结构论文结构论文结构本文共分为五章，论文结构图如图1.1所示。第一章，绪论。主要介绍了论文选题背景和意义以及论文的研究内容。第二章，综述了模糊聚类分析的相关理论。介绍了聚类分析技术，模糊理论基本知识以及模糊聚类算法，综述了模糊C均值算法的研究现状。第三章，模糊聚类算法的改进。首先分析基本FCM算法存在的问题，然后针对问题提出解决方案。针对F