数据挖掘在电子商务中的应用

数据挖掘在电子商务中的应用摘要：在进入大数据时代后，粗放型的电子商务时代已经无法适应当今社会的发展，精准型的电子商务时代已经开始。电子商务在企业中应用时，企业信息系统会将产生大量的数据，数据挖掘技术是数据分析的有效手段。运用数据挖掘得到的信息可以对客户关系、网络营销等进行精确化管理，从而实现高效协同、以人为本，满足每一位用户的不同要求。关键词：精准型；细分类；数据挖掘；客户关系Abstract：Afterenteringtheeraofbigdata,extensivee-commerceerahasbeenunabletoadapttothedevelopmentoftoday'ssociety,theprecisetypeofe-commerceerahasbegun.Whene-businessapplicationsintheenterprise,theenterpriseinformationsystemwillproducelargeamountsofdata,dataminingtechnologyisaneffectivemeansofdataanalysis.Informationobtainedusingdataminingcanbecustomerrelations,Internetmarketing,precisemanagement,inordertoachieveefficientcoordination,people-oriented,tomeetthedifferentrequirementsofeachuser.Keywords：Precision；Subdivisions；DataMining；CustomerRelationship1.引言随着国内外电子商务的发展，电子商务网站越来越多，行业竞争越来越激烈，电子商务网站必须加强客户关系管理，改善经营理念，服务好客户，才能获得更多的客户资源。电子商务企业要面对的客户群和市场都变得巨大而复杂，并且随着电子商务的应用日益广泛，电子商务系统中积累了大量的信息和数据，这些数据正在呈现爆炸式的增长，给电子商务的应用带来了一定的挑战。因此，电子商务网站必须研究客户的兴趣和爱好，对客户进行分类管理，针对不同的客户群推荐不同的商品。对于企业而言，数据挖掘有助于发现业务发展的趋势，帮助企业做出正确的决策，使企业处于更有利的竞争位置。2．国内外研究现状在电子商务模式下，决策的制定需要依靠通过网络途径所获得的用户访问和交易数据，因而数据挖掘作为一种数据处理工具便拥有了其用武之地。数据挖掘应用技术之后演变为Web挖掘，用于在网络环境中进行有价值信息的获取，通过各种网络文档及在线网站，实现目标信息的自动发现和获取，从而帮助企业制定决策。目前，Web数据挖掘技术在我国电子商务中的应用主要集中于如下几个方面：(1)Web挖掘算法的研究它适用于电子商务环境，其在国内的发展已经初步成熟，也得到了比较广泛的应用。各领域的数据特点不同，电子商务系统所产生的数据也必然有其个性，因而针对电子商务系统，传统的数据挖掘算法必需要进行改进，从而才能适应电子商务数据挖掘的特点及需求[1]。(2)个性化服务及电子商务推荐系统的研究。该方向已经成为当前国内学术界对于电子商务环境下Web数据挖掘的研究热点，其信息的挖掘主要依据Web服务器日志文件、用户简介、注册信息、用户对话或交易信息、用户提问信息等数据进行，从而分析网络用户的浏览行为及购买行为，进行用户忠实度的辨析，并实现更有效的面向目标客户的针对性及导向性的服务，从而增加客户的购买机会与购买行为。(3)电子商务环境下潜在客户的发现。在电子商务系统当中，少部分顾客会选择在站点注册，而较多部分的顾客并不会注册，而如何把握住这些未注册的顾客，成为电子商务条件下Web数据挖掘的研究方向之一。当前，在国外已经取得了用户兴趣模式理论体系研究及个性化服务研究的极大进展的情况下，基于电子商务环境，中国国内的相关领域对数据挖掘应用技术的研究也开始进行理论与实际应用的双向集中。然而相对而言，其起步仍然较晚，还处于比较早期的研发阶段，无论是产品方面还是应用方面与国外相比都相对滞后[2]。国内以局部挖掘算法的设计、分析、改进为研究的重点，而很少研究数据挖掘系统自身的构建、开发模式的种类等问题。Web数据挖掘的过程必须进行与电子商务业务流程的完美融合，这样才能更好地服务商家及用户，这也体现了生产内容从提供商品到提供服务的转变，体现了市场正在向成熟与专业化的方向发展。在当前电子商务环境下，分布式Web数据挖掘系统具有整体性，系统中的每一部分都紧密联系，该技术项目不仅拥有良好的发展前景，对商家而言更意味着巨大的利益空间。3.数据挖掘工具及分类数据挖掘工具：从数据仓库的组成入手，分析数据仓库的体系结构。在数据仓库的设计过程中必须注意3个关键的问题：选择数据仓库的目标数据库、数据抽取和转换工具及前端数据访问和分析工具[3]。按照Web处理对象的不同，一般将Web挖掘分为三类：Web内容挖掘,Web结构挖掘和Web使用记录挖掘。3.1内容挖掘Web内容挖掘是对Web页面内容进行挖掘，是从大量的Web数据中发现信息、抽取知识的过程。Web挖掘的数据源有：服务器数据、查询数据、在线市场数据、Web页面、Web页面的超级链接关系、客户登记信息等。3.2结构挖掘Web结构挖掘是从网页上的组织结构和链接关系中推导知识。由于超文本文档间的关联关系使得网页不仅仅可以揭示文档中所包含的信息，同时也可以揭示文档间的关联关系所代表的信息。利用这些信息可以对页面进行排序，发现重要的页面。挖掘Web结构的目的是发现页面的结构和Web结构，在此基础上对页面进行分类和聚类，从而找到权威页面[4]。3.3使用记录挖掘Web使用记录挖掘的主要目标是从Web的访问记录中抽取感兴趣的模式。互联网中的每个服务器都保留了访问日志(Webaccesslog)，记录了关于用户访问和交互的信息。分析这些数据可以帮助理解用户的行为，从而改进站点的结构，或为用户提供个性化的服务。4.电子商务中进行数据挖掘的数据源4.1服务器数据客户访问服务器就会在服务器上产生相应的服务器数据，这些数据可以分为日志文件和查询数据。其中日志文件又可以分为serverlogs、errorlogs、cookielogs、serverlog、sserverlogs有两种格式存储，一种是普通日志文件格式，另一种是扩展日志文件格式。普通日志文件格式以“DateClientIP，Username，Bytes，Server，Request，Status，ServicenameTime，Protocolversion，Useragent，Cookie，Referrer”的格式存储关于客户连接的物理信息[5]。4.2客户登记信息客户登记信息是指客户通过Web页在屏幕上输入的、电子商务活动起着非常重要的作用，特别是在安全方面，或者在对客户可访问信息的限制方面。在Web的数据挖掘中，客户登记信息必须和访问日志集成，以提高数据挖掘的准确度，能更进一步的了解客户。5Web数据挖掘的主要技术Web数据挖掘中常用的技术有路径分析技术、关联规则、序列模式、分类聚类技术等。5.1关联规则挖掘技术该技术主要用于从学习者访问序列数据库的序列项中挖掘出相关的规则。在Web数据挖掘中，关联规则挖掘就是要挖掘出学习者在一个访问期间(Session)从服务器问的页面、文件之间的联系，这些页面之间可能并不存在直接的参引(Reference)关系[6]。在网络日志数据的预处理过程中，将学习者访问的页面路径构成了学习者会话事务集，可以通过关联规则挖掘得到大量的学习者访问请求的URL之间的联系，并将挖掘出的规则按照不同的支持度和置信度进行取舍，从而保留一些有用的规则进行应用。5.2序列模式挖掘技术序列模式数据挖掘就是要挖掘出交易集之间的有时间序列的模式。在网站服务器日志里，学习者的访问是以一段时间为单位记载的。经过数据净化和事件交易确认以后是一个间断的时间序列，这些序列反映了学习者一定的行为。在网络日志文件的预处理过程中，抽取了学习者对于每个URL浏览所耗用的时间，这种元数据从侧面描绘出每个学习者对于页面上承载的知识点的理解程度和思考难度，引用时间长的证明此页面承载的知识点比较难于理解。通过分析可以得出学习者对特定知识点的掌握程度。但由于网路线路的原因，致使学习者在提出URL请求后，很长时间才将相应的网页打开，所以这种由日志中记录的浏览时间所分析出的各种模式规则并不一定真实反映学习者的学习过程，所以我们利用序列模式挖掘方式预测出学习者后续要访问的页面集，然后将此页面集中的URL预先下载到本地计算机的缓存中去，从而降低了页面的打开时间，也就使得浏览时间的准确性和有效性得到了很大的提高。这种Web页面的预取技术是利用序列模式挖掘方法来实现的。5.3聚类分类技术聚类技术可以将具有相同特征的数据项聚成一类。聚类分析模式就是将数据划分到不同的组或者簇中，组之间的差别尽可能的大，组内的差别尽可能的小，与一般认为通过学习者的固定信息进行的分类分析不同，聚类前并不知道将要划分成几个组和什么样的组，完全依靠服务器智能化的计算得出，因此聚类分析也可以称为无监督分类。通过聚类得出不同的类后，一旦某学习者的特征模式符合某个类后，推荐引擎自动将此学习者尚未访问的页面或者尚未进行的测试与练习推荐给学习者。这样就可以智能化地将处在不同学习阶段的学习者得到此类应该获得的学习和测试进程[7]。5.4路径分析技术用路径分析技术进行Web使用模式的数据挖掘时，最常用的是图。因为一个图代表了定义在网站上的页面之间的联系。图最直接的来源是网站结构图，网站上的页面定义成节点，页面之间的超链接定义成图中的边。其他的各式各样的图也都是建立在页面和页面之间联系或者是一定数量的学习者浏览页面顺序基础之上的。那么，基于Web使用模式的数据挖掘，就是从图中确定最频繁的路径访问模式或大的参引访问序列。6.Web数据挖掘的过程电子商务中的Web挖掘过程一般由3个主要阶段组成：数据准备、挖掘操作、结果表达和解释。○1数据准备。这个阶段又可分成3个子步骤：数据集成、数据选择、数据预处理。数据集成将多文件或多数据库运行环境中的数据进行合并处理，解决语义模糊准备，这个阶段又可分成为处理数据中的遗漏等。数据选择的目的是辨别出需要分析的数据集合，缩小处理范围，提高数据挖掘的质量。预处理是为了克服数据挖掘工具的局限性。○2数据挖掘。这个阶段进行实际的挖掘操作，包括的要点有：决定如何产生假设；选择合适的工具；发掘知识的操作；证实发现的知识。○3结果表述和解释。根据最终用户的决策目的对提取的信息进行分析，把最有价值的信息区分开来，并且通过决策支持工具提交给决策者。因此，这一步骤的任务不仅是把结果表达出来，还要对信息进行过滤处理，如果不能令决策者满意，需要重复上述过程。7.数据挖掘技术在电子商务的应用7.1在客户关系管理中的应用数据挖掘技术可以应用在客户群体细分、客户获得、客户保持、客户驻留和客户聚类等方面。（一）客户细分随着以客户为中心的经营理念不断深入人心，分析客户、了解客户并引导客户的需求己成为企业经营的重要课题。通过对电子商务系统收集的交易数据进行分析，可以按各种客户指标(如自然属性、收入贡献交易额、价值度等)对客户分类，然后确定不同类型客户的行为模式以便采取相应的营销措施促使企业利润的最大化。（二）客户获得通过数据挖掘可以发现购买某种商品的消费者是性别，学历、收入、爱好、职业等。甚至可以发现不同的人在购买该种商品的相关商品后多长时间有可能购买该种商品，以及什么样的人会购买什么型号的该种商品等等。在采用了数据挖掘后，针对目标客户发送的广告的有效性和回应率将得到大幅度的提高，推销的成本将大大降低[8]。（三）客户保持数据挖掘可以把你大量的客户分成不同的类，在每个类里的客户拥有相似的属性，而不同类里的客户的属性也不同。你完全可以做到给不同类的客户提供完全不