搜索
1大数据的价值实现之旅大数据开启了人类数据管理史的一段崭新旅程。人类想要测量、记录和分析世界的渴望是驱动大数据技术不断向前的动力。但如同此前的电子商务、云计算等创新构想一样，大数据也不得不怀抱变革理想在现实中披荆斩棘。我们该如何定义我们所身处的信息技术时代？是云计算、社交、移动，还是大数据？相信每位从业者和客户都会有自己的认知与解读。“一千个人眼中就有一千个哈姆雷特”，很多时候是一个放之四海皆准的道理，更何况我们正在经历一段创新趋势叠加、创新领域融合的独特时期。而对于那些想要体会技术创新真正内涵的人士，有一个话题永远不可回避，这就是技术创新到底会给其受众带来怎样的真实价值？这种价值是否能够在其被发掘后长期、持续地给予？本文重点关注大数据技术这一重大技术创新趋势在企业环境中价值实现的过程。在全民热议的氛围中，或许我们可以暂时远离那些对大数据的定义、技术特征、未来走向的种种争论，潜心聆听喧嚣中实地探索的脚步。我们希望与您共同探讨大数据所能够开辟的数据价值转换与兑现路径，从而为企业高效、合理利用快速增长的业务数据带来启发。也希望这些来自中国企业的真实应用案例能够证明，大数据并不仅仅是一个催生布道师的舞台，它正在真切地影响着我们的工作与生活。2脚踏实地的大数据人类的想象力有多丰富，大数据的未来世界就会有多广博。要让海量数据资源变成宝贵的商业资产，企业的大数据技术实践者们需要从现实中起步。大数据是为解决巨量复杂数据这种趋势而生的。巨量复杂数据有两个核心点，一个是巨量，一个是复杂。“巨量”意味着数据量大，要实时处理的数据越来越多，对企业而言最重要的成本付出就是时间成本，而恰恰时间成本是企业最稀缺的资源，今时今日，创新讲的是领先他人，市场讲的是抢占先机，服务讲的是快客户一步，快时代的用户的需求是实时的，他不愿意等，你不满足他，自有他人会满足，因此企业的策略也必须是实时的，然而企业的策略是依托数据分析结果来制定的，一旦在处理巨量数据上耗费的时间超出了可承受的范围之内，这意味着企业的策略是落后于市场的。任何的时延都会使企业蒙受损失，创新落后于人成为微创新，市场被别人抢占只能作为挑战者，服务失去优势造成客户流失，这些都是致命的。大数据还有一个核心是“复杂”。“复杂”意味着数据是多元的，不再是过去的结构化数据了，因此我们过去的那一套数据分析的模型，理论已经不管用的，必须针对多元数据重新构建一套有效的分析理论/分析模型，甚至分析行为所依托的软硬件都必须进行革新。从这两个角度看来，大数据是企业在现在及未来的发展路上不可或缺的。3确实，对于企业而言大数据很必要，其可以实现的东西也很多，稍微梳理一下，大概包括：如支撑业务战略决策，提高顾客服务水平，促进销售获得客户，开发创新产品，强化财会业务，实现决策自动化，进行基础研究，产品功能监视和检测情况，强化内部治理等等，基本上囊括了企业所有的行为，这也就是大数据的价值所在。以上所述有点偏于框架性，我们选择一个方面举个简单的例子来说明吧，“如何利用大数据促进销售获得客户？”，首先大数据能告诉策划人员什么样的实时优惠对某个用户更有效，基于此用户的偏好，哪种服务渠道能产生更好的服务效果，哪种支付方式能够快速实现交易达成，还可以分析说当一个潜在客户通过搜索关键词找到产品页面后，达成交易的可能性有多大，在每天/每周/每月/每季度，不同的节日的特定时间段中，哪种促销方式最有效，当一个用户被营销活动覆盖到后，他实现购买的机会有多大，当一个用户完成购买后，其重复购买的机会有多大，其带动身边朋友实现购买的机会有多大，等等。对于销售方而言，大数据能够让他更加了解客户消费方式，如消费者的购物决策、影响决策的关键点，让他有能力提供定制的交易内容给高价值用户，让他有能力实时评估促销效果，还可以根据消费者习惯改变商品上架位置，等等；而对客户而言，大数据能让他可从他人评价了解更多商品信息，同时享受更多定制化和独家折扣优惠，能够实时使用消费分析工具进行评估，能够实现交易过程透明化等等。4大数据内涵太大，全部展开讲的话将是一项庞大的工程，下面借用杂志《V-MARKETING成功营销》中文章《BigData,大数据重塑营销》对于“大数据”对于商业企业在五大方面的价值体现的提炼和归纳：数据的高透明度及广泛可获取性：一些制造商正试图集成多种系统的数据，甚至从外部供应商和客户处获取数据来共同制造产品。以汽车这类先进制造行业为例，全球供应商生产着成千上万的部件。集成度更高的平台将使公司及其供应链合作伙伴在设计阶段就开始协作。决策验证对竞争方式的影响：大数据可能使决策制定发生根本性的改变。利用可控实验，公司可验证假设、分析结果以指导投资决策及运作改变。应用于广泛的实时的用户定制及其对企业的影响：面向用户的企业已长期利用数据来细分和定位用户。大数据实现了用户定制的质的飞跃，使得实时个性化成为可能。下一代零售商通过互联网点击流可跟踪个体用户的行为，更新其偏爱，并实时模仿其可能的行为。大数据对管理的改变及替代作用：大数据能进一步提高算法和机器分析的作用。一些制造商利用算法来分析来自生产线的传感数据，创建自动调节过程以减少损失，避免成本高昂的人工干预，最终增加产出。5建立基于数据的商业模型：大数据催生了新类型的公司，其能建立由信息驱动的商业模型。许多公司都在价值链中发挥中间作用，通过商业交易创建极具价值的“排出数据”。如一家运输公司收集了大量的全球产品出货信息，并专门建立一个部门负责向经济预测方销售数据。除以上之外，我觉得有一点也有必要拿出来进行讨论，“大数据对于企业人才计划的影响”。《天下无贼》中充满智慧的光头黎叔曾斩钉截铁地说：“二十一世纪什么最贵？人才！“这句话一度被众多管理者奉若经典，其揭示的是人才是企业的核心竞争力。诚然，人才对于企业而言很重要，企业的很大部分资源都存在于员工的大脑中，如企业人脉关系，方法理论，经验传承，而在大数据时代，人才的这种核心竞争力正在发生异化，数据成为了企业最为重视的核心资产。员工的大脑不再是企业信息资源的核心载体，而是各种可随时调用的数据，企业的所有信息，事无巨细都可以通过各种录入终端形成数据的形式进行存储，然后通过有效的数据管理模型进行分析、导出。当然，如同中国宽带资本董事长田溯宁所说的，把数据收集处理后，其结果对企业而言就是经营智慧，这已经不只是科技层次问题，而是经营决策问题，“如何把矿（资料）炼成钢铁（智慧）是现在开始最严峻的挑战”。6如今，“大数据”总会与“变革”作为联动的词汇出现。牛津大学网络学院互联网研究所治理与监管专业教授维克托迈尔-舍恩伯格在其著作《大数据时代》一书中，将大数据定义为一次重大时代转型的开启者，称其将会引发一场生活、工作与思维的大变革。他认为，在大数据时代，人类处理数据的方法和思维模式将被彻底改变，它会呈现出一些前所未有的现象。比方说，人们将会分析更多的数据，而不再依赖于随机采样；人们将不再沉迷于对数据分析精确度的追求，转而关注对趋势的把握；人们不会再习惯性地追问事情的因果，而是寻找事物之间的相关关系。无论这些数据处理的未来趋势最终是否能够成真，我们都可以从日常的工作和生活中窥探到一些变化的端倪。首先，企业的数据管理范畴正在不断扩大，在线交易、Web日志、点击流、传感器信息、社交媒体数据等都被纳入企业的业务数据集。另一方面，我们在生活中会遇到越来越多与数据分析相关的商业创意。例如，各个电子商务、视频网站中花样繁多的推荐系统，还有超市中零食与手电筒这样不明所以、却能带来实际销售增长的摆放组合。大数据对企业究竟意味着什么？舍恩伯格在《大数据时代》一书中做出了这样的描述：“在大数据时代，数据的价值从它最基本的用途转变为未来的潜在用途。这一转变意义重大，它影响了企业评估其拥有的数据及访问者的方式，促使甚至是迫使公司改变他们的商业模式，同时也改变了组织看待和使用数据的方式。”7转变并不会在一夜之间发生。从多来源的数据采集，到通过深度分析获取洞察力，之间会是一段并不平坦的征程。毫无疑问，Hadoop等技术的日趋成熟，让企业用户可以更方便地、在更大的范围内收集业务的相关数据，但同时真正的挑战也会接踵而至。这就是如何高效地处理多来源的海量数据，并且为其找到适合的商业用途。在过去的一个月里，我们实地探访了三家正在实际部署大数据应用的企业。它们分别是京东（JD.com）、人人游戏和PPTV聚力。这三家互联网企业正在用业界前沿的数据管理思维，展开大数据技术的早期实践。同时，在它们身上也折射出全球互联网企业利用大数据的实际趋势。全球范围内与之业务相类似的在线零售巨头亚马逊（Amazon.com）、社交游戏先锋Zynga、全球最大的在线影片租赁服务商Netflix，同样处在大数据商业应用的最前沿。另外，我们还特别加入了一个寓技术于体育竞技的轻松案例。网球赛场上细致入微的数据统计和分析背后，正是大数据技术的鼎力支持。远观不如近临。大数据的价值实现之旅已经启程，改变就在我们的身边发生！【导读】京东：PB级数据价值发现8拥有一亿用户、营业规模达数百亿元的大型网络零售企业京东（JD.com），在大数据应用领域实现了分布式架构与传统BI工具的有机融合。人人游戏：360°客户视图很重要作为国内最大的网页游戏和智能手机游戏的研发、运营和发行商之一，人人游戏的大数据价值发现从结构化数据集起步，逐步向非结构化数据集延伸。PPTV聚力：看得见的大数据在全球拥有超3亿活跃用户群体的网络电视技术平台提供商PPTV聚力，正在使用Hadoop、HBase、Hive、Storm等大数据技术打造个性化视频推荐体验，优化视频播放体验，实现在线广告的精准投放。大数据助威网球赛从举世瞩目的四大满贯，到已经跻身超级赛事行列的中国网球公开赛，新一代数据分析技术为球迷、球员和教练营造出“随身而行”、“洞察入微”的高科技赛事体验。大数据时代企业怎么赢？9如果你的企业希望投身大数据时代，现阶段最大的挑战是为海量业务数据找到商业用途。京东：PB级数据价值发现拥有一亿用户、营业规模达数百亿元的大型网络零售企业京东（JD.com），在大数据应用领域实现了分布式架构与传统BI工具的有机融合。成立于2004年的京东商城（以下简称为京东）在2012年的交易金额突破600亿元，相当于每秒就会产生2000元的交易额。在网络零售市场深耕近十年之后，京东也正式迈入了PB级数据管理的新时代。对企业而言，PB级（1PB=1024TB）的数据管理算得上是衡量其数据规模和管理能力的一个重要标尺。目前，全球PB级数据管理俱乐部已经拥有Facebook、淘宝等重要成员，能够跻身其中对京东而言是荣誉，也意味着挑战。10京东副总裁李曦“针对业务数据快速增长的情况，我们在2012年正式启动了大数据平台的搭建。这个自主开发的平台基于分布式的技术，支持异构数据集市，同时也很好地利用了传统BI的展现层技术。”京东副总裁李曦说。目前，李曦正带领着300人的技术团队不断地改进和完善京东从数据的获取、平台搭建、分析到应用的电商全流程业务数据管理工作。在2012年加入京东之前，李曦在美国硅谷工作多年，相继服务于Siebel、甲骨文、谷歌等公司。全流程大数据管理11在数据获取方面，京东对各个购物频道的交易数据、出入货数据、逆向物流、用户浏览日志等数据进行了全面的收集，同时也会从互联网上抓取一些商品价格等业务相关信息。这些数据会被汇总和存储在京东自主研发的大数据平台之上。这个平台支持不同的数据集市，例如分布式的数据集市，或者是甲骨文、MySQL、微软SQLServer等关系型数据集市。平台底层的数据存储和离线批量数据运算由Hadoop实现，流式计算方面则采用的是开源实时数据处理框架Storm。在承载汇总、存储和查询任务的大数据平台之上是大数据分析层，这一层级主要涉及到一些建模的工作。例如针对用户、商品、商家、促销、反作弊、风险控制、精准营销、运营优化的数据建模等。而这些数据模型最终的分析结果会在应用层得以展现。目前，京东已经能够向内部和外部用户提供BI（商业智能）服务。其中，内部BI系统向从业务员到高级管理者