基于用户行为数据分析的移动互联业务推荐模型

华中科技大学硕士学位论文基于用户行为数据分析的移动互联业务推荐模型姓名：吕洋申请学位级别：硕士专业：计算数学指导教师：李红2011-05-10华中科技大学硕士学位论文I摘要随着近年来国内移动互联网的强势发展与三网融合的态势进展，移动互联产品的市场竞争愈发激烈，各运营商的增值业务竞争将是服务的竞争。由于移动互联业务的多样性，国内运营商逐步从“产品独立运营”向以“客户为中心”的融合运营模式转变，新的商业模式和日趋激烈的竞争环境对电信增值业务运营管理提出了新的要求和挑战。本文的主要目的就是通过对用户上网行为数据的分析，深入分析与把握用户的需求，精确定位用户适配业务类型，并加以调整和创新，也可以把业务推广给客户，从而贯彻“从客户找业务，为业务找客户”的宗旨。本文首先探讨了用户行为分析及其方法，深入学习各种数据挖掘的算法与软件的基础上构建用户行为分析与业务匹配模型。然后在对移动互联网的数据分析理解之后进行数据收集，对于获取到的数据，按照ETL（Extraction-Transformation-Loading）思路，对七千万条数据进行清理、整合，构建数据库。通过数据挖掘的相关工具对用户行为分别在热点时间、用户兴趣、匹配业务等角度采用聚类、文本挖掘、关联分析等方法进行知识挖掘，从统计数据中发现现有营销策略的问题，给运营商提供新的思路并为精准营销提供数据支撑。本文构建的系统设计思路简洁清晰，结果经实践验证可行有效，为进一步实现更多数据源与更大数据量的用户分析系统的构建打下了良好的基础。关键字：移动互联网，用户行为分析，数据挖掘，业务推荐系统，精准营销华中科技大学硕士学位论文IIAbstractWiththerapiddevelopmentofdomesticMobileInternetindustryandtripleplayinrecentyears,marketcompetitionbetweentheproductsofMobileInternetissentmoreintense.Foroperators,thecompetitionbetweentheValueAddedServicewillbecomethecompetitionbetweentheservicequalities.AstheproductsofMobileInternetaresomultifarious，domesticoperatorsbeganaintegrationCustomer-Centricoperationinsteadoftheproductionseparateoperation.Newbusinessmolesandintensewitheachpassingdaycompetitionenvironmentputforwardsomenewrequirementsandchallengestotelecomvalue-addedbusinessoperationmanagement.ThemainaimofthisarticleistoanalysisthedataformbehaviorsofMobileInternetusers,foreseentheuserdemandtendency,accuratepositioningappropriateproducttouserandpromotionbusiness.Furthertheobjectsof“Formcustomersfindbusiness,forbusinessfindcustomers”.Inthisarticle,wehavefirstdiscussedtheuserbehavioranalysisandmethods;learnkindsofalgorithmandsoftwareofdatamining.Onthisbasis,weconstructmodelsofuserbehavioralanalysisandbusinessmatching,understandandcollectdataformMobileInternet.AccordingtotheETL（Extraction-Transformation-Loading）means,wemakeup、sortandimprovethe70millionrecordsthatwegotandbuildserverofdatabase.Formthehottime、userinterests、matchingbusinessperspectives,wemakeknowledgediscoveryindatabasesusingmethodsofcluster、textmining、associationanalysis.Wefindmarketingstrategicissuesformthestatisticaldata,andprovidethesupportfornewmeasuresofmarketingandprecisionmarketingofoperators.Thesystembuiledinthispaperhasaconciseandcleardesignidea,whichhasbeenprovedeffective.Itprovidesgoodfoundationforachievingfollowingsystemofanalysisuserswithmoredatasourcesandgreaterdataquantity.Keyword:MobileInternet,userbehavioranalysis,DataMining,businessrecommendsystem,precisemarketing独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。本论文属于保密□，在_____年解密后适用本授权书。不保密□。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日华中科技大学硕士学位论文11绪论20世纪70年代以来，互联网这一深入影响全球人类生活的技术得到了急速的发展；进入21世纪，随着移动互联网、物联网概念的深入，互联网的发展进入了新的发展时期。根据摩根士坦利（MorganStanley）的报告，全球移动互联网用户已经超越了桌面互联网用户。未来基于“物+互联网+移动互联网”的泛在物联网成为主流趋势。在摩根斯坦利的报告中估计，全球3G用户普及率已经达到20%，跨过了“高科技的裂谷”，有可能迎来新的发展高峰期[1]。图1-1摩根斯坦利关于移动互联网3G用户发展趋势的估计事实上，在2010年11月10日在上海举行的2010中国国际工业博览会论坛中，据移动互联产业发展国际论坛会议的资料显示，“2010年6月，全球3G用户达到7.57亿，占全球移动用户的15.3%，3G用户占新增移动用户的36%。发达国家3G用户渗透率已达到30%左右，发展中国家由于起步较晚，3G渗透率一般低于10%。”[2]“我国移动互联网收入规模增速迅猛，06-10年复合增长率达到74%。移动互联网华中科技大学硕士学位论文2用户的总数逐年攀升，增速远超互联网用户的总体增长率。2010年9月，全国3G用户3500万以上，3G用户渗透率达4.2%，新增3G用户占总体移动新增用户的25.3%。预计11年渗透率有望突破10%。群体传播效应也将逐步显著起来，3G在移动用户中的渗透速度也将明显加快。”[2]在3G加速渗透的背景下，3G移动业务在移动通信中的收入占比也是逐年提升的，由07年的25.2%到08年的32.7%，10年即已将超越50%，移动互联业务的发展也将是移动业务的发展方向与热点。在这样一个移动互联网与互联网交织更替的时代，产业链中的终端供货商、信息服务提供商们都急需转型，而在当今市场形势下，实施精准营销则是实现战略转型的关键举措。精准营销是为产品、业务、内容等寻找可能会感兴趣的潜在目标用户的方法过程。要尽可能精确地寻找到目标用户，必须对目标用户的行为、兴趣爱好等进行分析，并与需要营销的产品、业务、内容相匹配。因此精确营销与用户行为分析往往紧密的联系在一起。目前，精确营销已广泛应用于互联网、移动通信的各种应用。在这样一个背景下，移动互联网用户行为分析作为新领域则引起各方的关注。移动互联网用户行为研究能创造什么样的价值？移动互联网用户行为研究的技术趋势与挑战是什么？距离掘金移动互联网时代的梦想还有多远？目前移动互联网已成为人们正常办公时间外，与互联网联系的重要桥梁。而现有用户带来的价值为冰山一角，埋藏在数据中的价值就像冰山下面的蓝海。对于大部分移动领域来说，用户行为分析的价值并不低于开发一款新产品。在潜在客户识别阶段，移动互联网用户行为分析可以帮助了解用户的需求以成功的获取客户，在成熟期可以通过用户行为分析来改善用户体验帮助客户群提升、客户群成熟，在用户即将离网之时，有效的用户行为分析可以帮助识别哪些用户即将离网，做到对客户的挽留和赢回。用户行为分析对精准营销的强大作用不言而喻。本文意在研究学习用户行为数据分析的系列理论，结合移动互联业务的特点，采集有效数据并形成一套移动数据业务的个性化推荐系统。文章框架如下：第一部分为绪论，对用户行为数据分析在移动互联迅猛发展背景下的研究的目的与意义进行阐述，并介绍业务推荐、精准营销对移动互联业务发展的意义。在第二部分详细阐述用户行为数据分析的系列理论，包括用户行为数据分析的概念、特点、作用，其在国内外发展的概况和经验、流程、常用分析方法介绍和特点分析。进一步阐述其理论研究和应用现状，为本文的研究提供理论依据和参考。华中科技大学硕士学位论文3第三部分分析概述移动业务的特点，依此分析提出数据源的选取原则，并对数据量进行解释。然后介绍分析方法中的核心算法（包括聚类、语义分析算法与关联分析等[3]）。在第四部分就用这些算法来处理获取的数据并对用户行为加以建模，并基于用户行为数据的分析结果，将其与网络营销策略等相结合，从而发现目前营销活动中可能存在的问题，并为进一步修正或重新制定网络营销策略提供依据。这部分就主要提出一个实现移动互联业务推荐系统的的设计，其中简单介绍数据库的搭建与对客户与企划者的呈现层，着重介绍如何将用户行为特点与移动业务相匹配的方法。第五部分为案例应用。以文中选定移动用户的行为数据源为例，进行案例应用，分析并给出结果。经执行，看其作用和影响,确定营销预期的目标是否达到，营销方案设计是否合理有效。推荐系统的有效率是多少多少，并分析结果呈现的原因。昀后将对本次的研究过程和研究结论进行全面总结，分析其中可深入挖掘之处，为下一步的研究进行展望。华中科技大学硕士学位论文42用户行为数据分析方法2.1用户行为分析从营销学角度考虑，影响用户行为决策的因素很多。有关用户行为研究的理论模式，比较知名的有EKB（Engel-Kollat-Blackwell）模Kot式、ler模式Ho、ward-Sheth模式、Howard模式等等[4]。影响用户行为决策的因素很多，从内外因素考虑，应包括个人因素、心理因素、文化因素与社会因素[5]。个人因素是指用户行为受其年龄、职业、经济环境、生活方式、性格与其价值观等方面的影响。心理因素则是用户行为受动机、知觉、归因、学习及信念和态度等心理因素