浅析大数据时代下的电子商务

1浅析大数据时代下的电子商务***摘要：云计算、物联网、社交网络等新兴服务促使人类社会的数据种类和规模正以前所未有的速度增长，大数据时代正式到来。通过对大数据时代下电子商务的现状、挑战和机遇进行详细分析，提出构建大数据时代下的电子商务服务模式，同时构建大数据时代下的电子商务服务平台。该平台的建立能够帮助电子商务企业克服整体管理水平薄弱等基本问题，同时对企业扩大业务量、扩展市场占有率、增强综合竞争力等也具有非常重要的作用，它将会是未来电子商务发展的必然趋势。关键词：大数据；电子商务；云计算；MapReduceAbstract:Cloudcomputing,networking,socialnetworkingandothernewservicestopromotedatatypesandscaleofhumansocietyisgrowingatanunprecedentedrate,theofficialarrivaloftheeraofbigdata.Bythestatusquoforthenextbigdataeraofe-commerce,adetailedanalysisofthechallengesandopportunitiespresentedtobuilde-commerceservicesinaneraoflargedatamodels,whilebuildinge-commerceserviceplatformeraofbigdata.Theestablishmentofthee-commerceplatformtohelpcompaniesovercometheoverallmanagementofweakfundamentalissues,whileenterprisestoexpandbusinessvolume,expandmarketshare,enhanceoverallcompetitiveness,alsohasaveryimportantrole,itwillbethefutureofe-commercedevelopmenttheinevitabletrend.Keywords:Largedata;E-commerce;Cloudcomputing;MapReduce0.引言随着互联网的快速发展与变化，电子商务等承载了大量个人及交易信息，电子商务中的数据不仅量大，而且结构复杂，其业务数据类型繁多，这就意味着电商的数据必须在大容量数据分析和挖掘的基础之上，才能获得最真实的价值，因此大数据应用需求在电子商务中日趋重要。同时，中国的电子商务企业已经认识到大数据蕴含着巨大的商业价值，但国内互联网巨头作为率先使用大数据技术的用户，仅仅是基于开源软件自主开发大数据应用，未形成企业级的个性化应用。本论文首先通过对大数据时代下的电子商务发现状、挑战和机遇进行分析，其次，提出构建大数据时代下的电子商务服务模式，同时在大数据时代下构建电子商务平台。大数据时代下的电子商务服务模型的构建不仅能促进企业经济的发展，而且，它还可以加快实现电子商务企业信息化的建设。它是促进电子商务企业经济发展的迫切需要；是使传统企业经济向信息化经济过渡的有效途径；是企业实现经济全球化、信息化的有效手段。1.大数据时代下的电子商务现状1.1．大数据发展现状2大数据已成为全球语言。但对于大数据的定义也是众说纷纭，没有统一的规范定义。大数据的“大”字不仅意味着数量的庞大，还代表着数据种类繁多、结构复杂，变化的速度也非常快，这些特征的出现与互联网的发展息息相关。它是继云计算、物联网之后IT产业又一次颠覆性的技术变革，对于企业将产生巨大的影响。如今，大数据分析已经成为行业研究的热点，大数据正在以多种方式创造着巨大的价值。在大数据时代，未来数年数据量将会呈指数爆炸。总体来说，未来大数据的发展趋势主要会呈现出几个特点：大数据会越来越多的进入垂直领域；越来越实时化；大数据产业会发展成生态链；开放性越来越强，大数据会越来越多的走向数据互换和数据交易。1.2.大数据时代下的电子商务企业现状电子商务经历了三个时代：（1）基于用户数的时代，此时电子商务企业通过收取会员费、广告费等方式发展客户来赚取利润；（2）基于销量的时代，电商企业通过投放广告来实现销售量的增长，以此来提升品牌影响力和企业价值；（3）基于数据的时代，电子商务公司通过对消费者的海量数据的收集、分析、整合，挖掘出商业价值，促进个性化和精确化营销的开展。随着电子商务的广泛应用，选择网上购物的消费者越来越多，使得电子商务网站的数据越来越多，这正是典型的大数据。全球迎来大数据时代，数据成为越来越有用的资源，电子商务企业在开发利用大数据的市场上存在着巨大的发展前景。2.大数据时代下电子商务的挑战善于利用大数据的电子商务企业将会获得新的发展方向和动力。要收集和发挥大数据的潜力，电子商务企业仍有很多障碍和挑战需要去克服。电子商务企业在大数据时代将会迎来重大的机遇和契机，同时也面临着大数据处理能力和隐私保护等方面的挑战。2.1拥有大数据的挑战在大数据时代下，电子商务的竞争已经成为基于数据的竞争。数据就是电子商务企业的财富和金矿，谁拥有大数据，谁就有制胜的砝码，谁就可能成为大赢家。然而网络上的消费者并不会直接告诉企业其需求，电子商务企业必须去收集、分析、跟踪、对比消费者在互联网上留下的种种“足迹”、评论、图片、视频等。当今极速爆炸的信息量远远超越了大部分企业IT架构和基础设施的承载能力，其实时性要求也大大超越了现有的计算能力。挖掘大数据的价值类似沙里淘金，由于大数据价值密度低的特性更加增添了数据收集工作的巨大性和繁重性。拥有大数据是利用大数据的前提条件，若不具备整合大数据收集和使用的能力，企业就很难在广告和多个营销渠道中提供真正3个性化和精确的产品和服务推荐，而拥有大数据的企业则能在竞争中脱颖而出，不战而胜。对于中小型电子商务企业来说，拥有大数据的挑战将显得更加的突出和严峻。因此，面对此挑战，电子商务企业首先应该从思想上认识到大数据的价值，高度重视数据的收集工作。其次，企业需要重构其IT架构，加大基础设施的承载能力，租用足够的空间，进一步加强信息化投资和建设，适应大数据时代的要求。2.2．处理大数据能力的挑战2010年12月，美国的科学技术顾问委员会、信息技术顾问委员会向奥巴马和国会提交的《规划数字化未来》的专门报告中把数据收集和使用的工作提到了战略的高度。该报告的第一个挑战就是“数据”问题，即：“如何收集、保存、维护、管理、分析、共享正在呈指数级别增长的数据是我们必须面对的一个重要挑战”。据统计，82％的公司正受到处理海量信息的挑战，而且他们花很多时间对其进行研究，89％的公司因超负荷处理数据而失去销售机会。仅仅坐拥大数据并不够，对大数据的分析和挖掘能力已成为企业的核心竞争力。因此，建议电子商务企业着手部署“大数据战略”，引进和培养大数据相关人才，创建基于大数据的研发团队，从技术层面上解决大数据的困难和挑战，提高挖掘潜在商业价值的能力，从而有效地指导企业制订精确的行动纲领和采取高效的行动。2.3.对隐私保护的挑战大数据时代，网络用户在互联网的评论、图片、视频、个人信息、兴趣爱好、交易信息、访问的网站等等均被企业记录在案。企业掌握了大量消费者的行为数据，对大数据进行整合和分析，从而可以发现新的商机，创造新的价值。然而这些数据经常包含消费者的真实信息，如在淘宝网上交易时的真实姓名、家庭住址以及银行账号等重要的真实信息，逐渐引起了我们对个人隐私的担忧。正如美国著名的计算机专家迪博德所言，在信息时代，计算机内的每一个数据、每一个字节，都是构成一个隐私的血肉。信息加总和数据整合，对隐私的穿透力不仅仅是“1＋1＝2”的，很多时候，是大于2的。3.大数据下电子商务的机遇数据已经如一股“洪流”注入了世界经济，成为全球各个经济领域的重要组成部分。企业可以分析和使用的数据在爆炸式增长，通过对大数据的收集、整合、分析，企业可以发现新的商机，创造新的价值，带来大市场、大利润和大发展。所以对于电子商务企业来说，大数据时代蕴藏着巨大的商机。3.1.大数据有利于市场营销据统计：一个销售人员为准备交易而寻找相关信息所花费的平均时间占工作4时间的24％，而这些时间和心血可以转化为26亿收入，这些钱足够一个中等财富规模的500强企业卷土而来。要做到“低成本、高效率”的营销，企业必须基于大数据的分析和优化，把营销过程中的每一分潜在的价值都挤出来，从而节约成本、战胜对手、占领市场。美国信息经济领域著名的教授达文波特认为，能够始终保证自己以“数据”最优的方式经营的公司将会在竞争中坚持到最后，并不战而胜。大数据技术能够帮助他们获得更多的生意，销售人员预计实施大数据战略将对销售有显著的影响。大数据时代，网络媒体正在从单纯的内容提供方进化成开放生态的主导者，大数据时代的社会化营销重点是理解消费者背后的海量数据，挖掘用户需求，并最终提供个性化的跨平台的营销解决方案。如果电商拥有了基于大数据的技术，在寻找潜在客户上、销售时间以及预测交易成功的几率上将会得到明显改善。3.2．大数据有利于个性化和精准的商品推荐随着电子商务的发展和对大数据的分析与研究，在信息指数性增长的同时，消费者获取、过滤、筛选、分析信息的能力却没有得到相应的提高，这必然会导致消费者淹没在浩瀚的信息海洋中。传统的商业模式在大数据时代下显得落伍了，个性化和精准的商品推荐成为未来电子商务发展的新方向。大数据为个性化商业应用提供了充足的养分和可持续发展的沃土。同时，顾客的结构、流量、点击率、购买的周期以及兴趣，都会在电子商务平台上产生大量的数据，通过对大数据的收集、整合和分析，电商可以对消费者的品位和消费意愿进行准确识别，主动为其提供个性化和精准的销售产品和服务，提高销售额和利润率。在电商领域，亚马逊就是一个值得表率的例子，它通过个性化技术为用户进行智能导购，大幅度地提升了用户的体验与销售业绩。3.3.大数据在利用中为信息安全带来发展契机随着移动互联网、物联网等新兴IT技术逐渐步入主流，大数据使得数据价值极大提高，无处不在的数据，对信息安全提出了更高要求。同时，大数据领域出现的许多新兴技术与产品将为安全分析提供新的可能性；信息安全和云计算贯穿于大数据产业链的各个环节，云安全等关键技术将更安全地保护数据。大数据对信息安全的要求和促进将推动信息安全产业的大发展。4.大数据处理下的电子商务4.1.大数据的IT基础云计算架构云计算是新型分布式网络计算架构，特别适合向各种网络应用提供计算、存储、网络、软件等在线服务，NIST认为这种架构具有5个关键功能、3种服务模式和4种部署方式，如图1所示。5云计算的特征主要有：按需自助服务、泛在网络访问、虚拟池化的资源、快速可伸缩性、可度量的服务，这些能力对当前电商的基础IT设施来说，都是必须要满足的要求。图1.云计算参考模型资料来源：陈云海，黄兰秋.大数据处理对电子商务的影响研究[J].大数据技术与应用,2013（3）.4.2.大数据处理模式大数据处理模式从传统的数据库集群演进到云计算MapReduce大规模并行处理架构，实现任务的分解处理和结果合并，从而实现对可处理数据规模的无限扩展，大数据处理技术已被认为是继云计算、物联网之后IT产业又一次颠覆性的技术变革。4.1.1．数据库集群模式集群是指通过协同工作方式运行同一套应用程序，针对客户端及应用程序提供单一系统映像，使用特定的连接方式，将硬件设备结合起来，构成的松散耦合的计算节点集合，具备以下优势：性能提升、扩展性提升、可靠性提升。数据库集群是将集群技术引入数据库。数据库集群在技术上具备一定的局限性，具体介绍如下：采用PC服务器作为功能节点，系统线缆众多，硬件复杂度过高，实施架设难度较大，可扩展性6受限；高速互联设备必须通过主机的PCI插槽与主机相连，而PCI的传输速率无法满足并行数据库集群节点间的数据通信要求；数据库安全性和数据集可扩展性提升空间极小，全面提升速度、数据同步、安全保证、可扩展性4个技