基于数据挖掘的电信业客户流失分析与应用

重庆大学硕士学位论文基于数据挖掘的电信业客户流失分析与应用姓名：沈燕卿申请学位级别：硕士专业：控制理论与控制工程指导教师：曹长修20050501重庆大学硕士学位论文中文摘要I摘要当今，随着国内电信业的改革，各运营商在企业大客户、长途业务、IP业务、移动业务等领域展开了激烈的竞争。传统的以技术为驱动、以销售产品为目的的市场战略逐渐被以客户为中心、以满足客户需求为目的的市场战略所取代，客户资源成为了企业竞争的焦点。激烈的竞争必然导致客户处于不稳定状态，各运营商都面临严重的客户流失问题。大量而频繁的客户流失延长了企业利润回收的周期，给企业造成了巨大的损失。在这种形势下，如何防止客户流失、实施客户保持工作，已成为运营商关注的焦点之一。如何根据客户的特性和客户行为预测客户的流失，并结合竞争环境的变化制定有效的客户挽留和赢回策略并实现赢利，是电信运营企业正常运营的重要任务，也是电信客户研究咨询领域的一个重要课题。论文首先对客户价值作了初步的探讨，将客户价值分析引入客户流失预测和控制；同时，根据客户背景资料、消费/支付数据、行为资料及相关推导指标等历史数据，本文将RBF神经网络、最近邻聚类、时间序列等多种数据挖掘技术应用于客户流失研究，针对目前相关研究中存在的问题，给出了客户流失研究中涉及的主要问题的解决方案，包括客户描述、属性规约、流失原因分析以及流失预测与控制策略等，重点解决流失模型的建立问题，并利用基于梯度下降的误差纠正算法监督学习模型参数，提高模型训练和预测的精度及可靠性；最后利用训练后的模型对每个客户的流失可能性进行预测以及生成公司可能流失的客户列表。通过对实际案例的应用，作者对模型的有效性和可操作性进行了验证，取得了良好的效果，证明其具有相当的实际意义；同时，对电信企业的市场战略实施也具有现实的指导意义。关键词：数据挖掘，客户关系管理，RBF神经网络，聚类，时间序列重庆大学硕士学位论文英文摘要IIABSTRACTNowadays,withthereformofdomestictelecom,everyoperationcompanieshavespreaddrasticcompetitioninmanyareas,suchasbigcustomersofenterprise,distanceoperation,IPoperation,mobileoperation,andsoon.Tradionalmarketstratagem,whichisfocusontechniqueandproductionsell,hasbeenreplacedbynewtactic,whichconcentratesoncustomerandservice.Itmeansthatcustomerresourcehasbecomethekeyofenterprises'competition.Furiouscompetitionleadstotheunstablestateofcustomer,andoperationcompaniesalmostallconfrontwithsuchaseriousproblem--customerchurn.Justforagreatquantityofcustomers'vanishment,ithasbroughtgreatlosstomanycompanies.Insuchaseverecircumstance,ithasbecomeoneofthefocusesofoperationcorporationsthathowtoavoidcustomerchurnandcarryoutretainment.Thenmanagersfinditimportantforoperationenterprisesintelecomtopredictcustomerchurnbasedoncustomercharacterandcustomerbehavior,andmakeeffectivemeasurestorealizecustomerretainmentandcustomerattainment,whichisalsooneofthemostimportantprojectsoncustomerresearchandconsultationintelecom.Authordiscussescustomervalueprimarilyfirst,andappliesittocustomerchurn.Atthesametime,accordingtocustomers'historicaldata,thispaperappliesmanytechniqueofdataminingtotheresearchofcustomerchurn,suchasRBFNN,clustering,etc.Asforthoseproblemsexistincorrespondingresearchatpresent,authorgivesadetailedschemetosolvethem,suchascustomerprofile,attributecontraction,churnreasonanalysis,churnpredictionandcontroltactics,andsoon.Atlast,thispapersucceedstoestablishcustomerchurnpredictionmodel,getsthechurnprobabilityofeachcustomer,andproducesapossiblechurncustomers'list.Throughapplyingittopractice,authorrectifiestheeffectivenessofcustomerchurnpredictionmodel,andgetsasatisfiedresult,whichcanbeusedtoinstructtheactualizationofmarkettacticsintelecom.KeyWords:DataMining,CustomerRelationshipManagement,RBFNN,Clustering,TimeSerial重庆大学硕士学位论文1绪论11绪论1.1论文选题及其研究意义国际化的市场环境要求国内的公众电信运营企业在经营管理上向国外先进的电信运营企业看齐，以迎接电信运营业的国际化竞争。随着国内电信行业改革的深化，各运营商在企业大客户、长途业务、IP业务、移动业务等领域展开了激烈的竞争。从直接降价、业务捆绑到服务内容、服务方式、服务质量、服务意识的改变，进而到内部运营管理机制的改进，都进行了一番激烈地角逐；企业对客户资源的重视程度也超过任何时候。经营模式和服务体系都在以客户的价值取向和消费心理为导向，真正体现创造需求、引导消费的现代客户服务意识与理念。然而，尽管整个电信服务水平不断提高、价值创造不断提升，面对有限的市场，面对众多的竞争者，并且会伴随着竞争对手、技术，以及法律法规等动态市场变化，客户流失不可避免。根据中国政府对WTO的承诺，国内电信企业需要逐步面对国外电信运营商的涌入。国外商家有成熟的运作方式、先进的技术、雄厚的资金以及周到的服务，所有的这些将给国内的电信企业带来巨大的压力。所以，客户的频繁流失不仅是已经存在的现象，而且还会进一步恶化，是电信企业必需要严肃面对的问题。从电信企业所处的外部环境来看，客户保持是进行市场竞争的需要。在社会经济发展、科技进步的影响之下，我国的电信市场逐渐扩大，电信业务的需求量不断增长。由此大大吸引了电信市场大量新运营商的进入，更激发了新的市场进入者的竞争积极性。从微观经济学理论的角度分析，随着电信市场垄断局面的打破，市场上的厂商获利由垄断时期的高额利润降至市场平均利润水平。在这种情况下，客户保持的重要性就在竞争中凸现出来。从电信运营商自身的角度来看，客户保持是企业生存发展的需要。安盛咨询公司统计表明,争取、吸引一个新客户的费用是保住现有客户费用的5～15倍。预计在近5年中,这种战略转移将成为潮流。因此,在开发新用户的同时,尽量减少老用户的流失(降低用户离网率)问题，就摆到了移动通信运营企业面前[1]。一组数据可以很好地说明问题：发展一位新客户的成本是挽留一个老客户的4倍；客户忠诚度下降5％，则企业利润下降25％；向新客户推销产品的成功率是15％，然而，虽然从向现有客户推销某个业务的单独统计来看存在客户流失，但对公司整体而言客户没有流失。当然公司内的客户转移也会影响公司的收入，这是电信业发展过程中不可避免的。重庆大学硕士学位论文1绪论2在缓慢扩张业务的同时，电信企业也逐步地意识到：利润的最大化将不仅仅是以前的那种扩大市场份额；还存在着如何保留已有阵地这一严重的问题，特别是如何挽留那些会发生流失的、给企业带来高额利润的客户。由于电信市场日趋饱和，所以获取新客户的成本比挽留现有客户要付出更为高昂的代价。因此，分析客户流失原因，吸引潜在客户入网，增加现有客户满意度，减少客户流失几率，提高客户消费水平，充分占有市场，是电信企业在激烈市场竞争中制胜的关键。在激烈的市场竞争和不断变化的市场需求面前，如何最大程度的降低客户的流失率呢？常用的方法之一就是利用数据挖掘技术[2][3]。数据挖掘是一种知识发现的过程，它主要基于统计学、人工智能、机器学习等技术，高度自动化地分析数据，做出归纳性的推理，从中挖掘出潜在的、有价值的知识、模型或规则，并对未来情况进行预测，以辅助决策者评估风险、做出正确的决策。对于企业而言，数据挖掘有助于发现业务发展的趋势，揭示已知的事实，预测未知的结果，并帮助企业分析出完成任务所需的关键因素，以达到增加收入、降低成本，使企业处于更有利的竞争位置的目的。本文的工作正是基于重庆大学自动化研究所和重庆某电信运营商协作开发的“电信市场模型及智能决策支持系统”为背景展开的，通过分析客户的基本数据、交易数据和行为模式，利用RBF神经网络、聚类等现代数据挖掘技术，建立客户流失预测模型，并在此基础上进行初步的流失原因分析和流失趋势预测，给出有效控制客户流失的建议。1.2国内外研究现状与发展趋势国内电信业的发展是近六、七年的事，这段时间精力集中在抢占市场。技术研究主要是业务运营支撑系统BOSS的更新换代，如对计费系统、客户服务系统、财务管理系统的开发与完善。这些系统中保留着大量的客户通话行为数据、帐单、投诉咨询和客户基本信息数据。由于电信企业忙于业务扩张，无暇顾及对这些数据的挖掘分析。近一两年来，一些有实力的电信企业考虑到挽留高价值客户的必要才逐步着手对这些历史数据进行挖掘并尝试建立一些CRM决策支持系统，但是由于起始的时间不长，大部分还都处于试运营阶段，有的还处于调研和可行性分析阶段，没有实际投入应用。国外对这一方而的研究起步较早，已经有六、七年的研究时间，某些科研机构已经研究出了较为成熟的模型，投入到了市场应用之中。从市场的反馈来看，这些模型并不具备很强的健壮性,准确率也不是很高，大约在40%-70%。而且，随着数据量的激增，对模型的性能开销也越来越大，许多研究机构在设法提出改进的重庆大学硕士学位论文1绪论3算法来对客户流失预测分析模型进行优化、完善。同时，由于国内的电信市场与国外的电信市场存在着很大的差异，在将国外的模型应用到国内之前必须进行调整。利用数据挖掘的分类算法实现客户流失分析过程中，针对数据挖掘的分析算法也有很多种，不同特性、不同适用情况的多种方法：判定树、贝叶斯分类和贝叶斯网络、神经网络等是比较普遍被采用的方法。现有的客户流失分析方法多采用决策树及其变形算法来进行，典型的有英国Lightbride公司开发的ChurnProphet(CART，分类回归树)。数据挖掘中的分类、聚类和关联规则技术也是一种常规的客户流失分析方法。Clementine(SPSS)是SPSS的数据挖掘应用工具，其中应用了神经网络、规则归