数聚中台赋能-数驱管理创新

数聚中台赋能，数驱管理创新作者：陈庆华摘要：本文作者结合过去20多年在数据管理、数据应用领域的实践经验，并阅读了大量文献、资料，听取了多方的报告，对数据中台的起源、本质、为什么受欢迎、与以前建设的数字化中心/DWH/BI是啥关系、谁该上数据中台、怎么上数据中台等进行了深入研究与分析。“数据中台”这个词，最近可谓是火遍了大江南北。业内人士都知道这个词是阿里巴巴集团提出来的，一个中国公司提出的IT概念，能够被那么多中国大中型企业认可和关注，这在以前是不可思议的。以前，IT的概念都是美国人在引领，国内企业提出的概念大多被嗤之以鼻，后来不了了之。这次阿里巴巴提出的数据中台理念被众多国内企业认可甚至采纳，一方面反映了人们对数据的重视程度，另一方面也说明国人越来越自信了。对其他中国企业的相信，其实也是国内企业对自身的相信。一、“数据中台”确实是中国独有的概念为了验证上述国人的自信，笔者利用公司的Gartner会员身份，请我司战略副总咨询了多位Gartner全球著名分析师，得到的结论是：“数据中台”这个概念确实只在中国有，国外没有这样的概念。Gartner分析师说，中台这种说法Gartner并没有在其他市场发现过，也没有在自己的报告中使用过。相比而言，Gartner建议客户使用网格应用和服务架构（MASA-MeshAppandServiceArchitecture）框架规划数字业务的应用架构。仅从上述信息看来，Gartner似乎更关注的是技术，而阿里提出的数据中台，似乎已经超越了技术。我们在为阿里感到骄傲的同时，不禁自问，数据中台究竟是什么？为什么那么受欢迎？它与我们之前做的有什么区别？笔者带着疑问开始研究阿里巴巴数据中台概念。二、数据中台究竟是什么?现在网上关于数据中台的文章铺天盖地、书店里也铺了不少关于中台的书，其中多数写文章、写书的人都要跟阿里沾点边，即使主要作者不是阿里系的，也要拉上一个在阿里待过的人作为作者之一，似乎那样才显得正宗。这让人不得不联想到西游记里那些在观音莲花池中听经的金鱼，雷音寺里听佛经的蝎子，毕竟亲耳听过菩萨念经，功力似乎就会高些。笔者不是阿里系的，还是听听阿里巴巴集团中正宗菩萨念的真经吧。幸亏阿里巴巴那些数据中台的开拓者也出了书，其中由邓中华出的《大数据大创新：阿里巴巴云上数据中台之道》（后简称《中台之道》），几乎成数据中台的教科书了。关于数据中台，《中台之道》是这么说的：云上数据中台处于计算后台与业务前台之间，其内核能力是以业务视角而非纯技术视角智能化构建数据、管理数据资产，并提供数据调用、数据监控、数据分析与数据展现等多种服务；承技术后台，启业务前台，是建设智能数据和催生数据智能的引擎。上述描述揭示了如下几点：1）数据中台后面还有计算后台(或技术后台)；2）其内核能力是业务视角，并为业务前台提供数据调用的手段；3）数据中台把数据当成资产看待，并具有智能化构建、数据监控、管理等手段；4）数据中台提供了数据分析与展现的服务。最近在乌镇互联网大会的BDAI数据中台论坛上，阿里巴巴数据技术与产品部总经理王赛说，阿里巴巴公司并没有叫“数据中台”的部门，为了完成阿里巴巴数据公共层建设，除了前期启动的23个项目，此后还投入上千人一直在不断完善、运营数据中台。建设数据中台，其实阿里巴巴自己也在不断摸索、不断完善，在向产业界输出的概念上更是在不断调整。比如其建设数据中台的方法论，以前称为“OneData”、“OneEntity”、”OneService”，蛮难理解的，现在阿里人把它们归纳为一个核心方法论OneData，并由“OneModel”、“One-Id”、“OneService”来解析上述OneData方法论，这就容易理解得多了。配套其方法论，阿里巴巴提供了相应的工具，包括数据加工与管理工具DataPhin,当然也少不了阿里自主研发的BI工具QuickBI（按王赛总的话来说，BI是“白米饭”，每个企业都需要）。所以数据中台是确确实实存在的那么一个实体，它可能涉及规划、观念、视角、方法论，甚至组织的变革，但不是虚无缥缈的。它可以作为企业级共享服务平台的形式出现，它涉及的产品可能不止一个，要建设它也不是一个项目就能做完的，它是一个系统工程。阿里巴巴在建设中台的过程中，曾经有个SOP（StandardOperationProcedure）的概念，其目的是通过提供一套标准化的流程+预留可动态注入的扩展点的方式来向前台提供服务---即赋能前台。比如淘宝和天猫在业务上可以共享一套SOP，在这套SOP的扩展点上各自注入自己不同的规则，从而满足自己的需求。这些SOP，非常好地阐释了“业务数据化与数据业务化”的水乳交融。综上，数据中台的本质是对数据的统一管理(OneData)，方法是把数据变成资产(OneModel/OneId)，重点是数据价值的业务变现（OneService）。三、数据中台是头部企业的自我修养由于数据中台是独立于业务的，所以得由专门的组织来负责。阿里巴巴也设立了这样的组织，王赛说，这个组织曾经走过弯路，早期叫“共享业务事业部”，曾一度从100多人被业务蚕食成20多人，因为业务觉得他们不能正确地理解业务的需求，把相关的人挖到业务部门去了，后来这个部门是从20多人重新组建的，由阿里巴巴CTO行癫张建峰亲自挂帅推进中台战略，作了详细规划、部署，才有了今天阿里中台的影响力，该部门也逐步发展成1000多人的有话语权的团队。可见，建设数据中台不是个一蹴而就的事，哪怕阿里都花了4-5年，而且还在持续投入。袋鼠云的创始人陈吉平在阿里干了11年，是阿里数据中台的最早建设者之一，他在乌镇互联网大会的数据中台专题研讨会上坦陈，建设数据中台的责任在建设方，数据中台是头部企业的自我修养。之所以说是头部企业的自我修养，这里有两层意思：1）头部企业，也就是说并不是所有企业都需要上数据中台；2）自我修养，即建设数据中台的责任在建设方，而不是承包一个项目给乙方就完事的工作。建设数据中台是需要投入不小成本的，其次数据中台涉及的面非常广、贯穿的时间非常长，甚至涉及到组织机构的变革。比如阿里，为建设数据中台首先启动了23个项目，而且还专门有个部门叫“数据技术与产品部”，新增了“数据产品经理”的岗位，重新规划了负责数据中台的部门的绩效考核机制…，所有这些，都是建设方需要考虑的，乙方公司顶多带来些其他公司的经验，完成其中的部分项目。说数据中台并不是所有企业都适合上，网上有篇文章说“只有符合以下条件的企业，才有实施中台的必要，切莫乱搞”，还是负责任地讲了大实话：图1企业适合做中台的条件所以，对于业务线比较单一的企业，盲目尝试中台架构有害无益。另外，我们也要清楚实施中台的目的，以及中台会给企业带来的价值，原则上讲，建设数据中台，是为了让企业级数据能力能得以复用，并因此打通数据孤岛，快速响应变化中的数据需求，赋能业务创新、转型升级、降本增效。四、数据中台的概念为什么那么受欢迎阿里巴巴提出的数据中台并非一项技术，也不是一个产品，它涉及观念、方法论、组织变革，其目的就是让数据更好地为用户业务服务，即所谓“业务数据化，数据业务化”，它强调的数据的治理与价值实现。这就不难理解数据中台的概念为什么会那么受欢迎了。我们来看一下另一项由Gartner进行的调研：图2Gartner关于需要加大投入的技术调研上述调研是2019年初Gartner就“您的组织在2019年将在哪个技术领域加大资金投入？”，在对全球上万家著名企业发出调研单后，收到了3086份有效答案（不包括那些回答“不知道”的），结果显示45%的组织把票投向了“BusinessIntelligenceordataanalyticssolution”(即“商业智能或数据分析解决方案”)，该项技术获得了第一名的排位，而且该项技术在过去十年中已经获得九次第一了。为什么会是这样的结果呢？笔者作过仔细的研究与分析，发现主要原因还是因为企业管理者感觉缺乏数据。尽管过去数十年来在信息化建设方面投入巨大，但各组织的管理层/业务层仍然缺乏有效数据支撑，他们纷纷给IT部门施加压力，从而传递到Gartner的调研上，造成了“BI与分析解决方案”是未来一年中最需要加大投入的技术领域这样一个结果。所以当今社会，几十年的信息化建设已造就大量的数据，但由于这些数据分散在各个业务系统中，形成了多个孤岛，使得管理者/业务用户仍然感觉到缺乏有效的数据支撑，而“数据中台”的概念就是要进一步治理数据，让数据更准确，成为资产而不是负担，还要让业务用户能触手可及，这当然是各组织所诉求的了，所以数据中台的概念受到极大的欢迎也是理所当然的了。五、数据中台与我们之前建设的数据仓库/BI项目有什么区别？数据中台这个概念是在大数据概念被热炒多年以后才冉冉升起的。“历史总有惊人的相似”，看来DT（DataTechnology）技术的发展也不例外。只不过人类历史的车轮更大一些，技术的发展的历史车轮更小一些，而且滚动的速度越来越快。早在上世纪80年代，BillInmon提出“数据仓库”(DWH---DataWarehouse)这个概念，一度风靡全球。可是，在数据仓库发展一段时间后，人们发现数据仓库越积越大，无论模型建设得多么有前瞻性，前端取数的性能和方便性却越来越出问题。于是，在1993年，被称为关系型数据库之父的E.F.Codd博士提出了联机分析处理(OLAP---OnlineAnalysisProcessing)的概念。把对数据技术的关注重点，从数据收集存放建模往前挪了一步，到数据供给，关注业务的数据需求。OLAP的概念也一度风靡全球；OLAP的技术提出没过多久，人们发现把对数据技术的重点放在存储和供给上都是有偏颇的，应该放在前端应用上，于是，BI(业务智能----BusinessIntelligence)的概念应运而生，并于1996年被Gartner引用，从此BI开始逐渐风靡全球。无论是“数据仓库”，还是“联机分析处理”，还是“业务智能”，其实都涉及数据的收集、存放(含建模)、供给、应用，只不过是把关注重点逐步从数据存放的后端前移到应用而已。随着信息技术的发展，数据的形态与容量发生了巨大变化，可以说从量变到质变。2008年，维克托∙迈尔-舍恩伯格及肯尼斯∙库克耶编写的《大数据时代》面世，“大数据”的概念被提出，火到现在。对大数据技术需求最大的可能要数互联网企业了，因为互联网巨大的访问量已经突破了传统数据库的处理能力。中国是互联网应用最成功的国家，阿里、腾讯、百度、京东等优秀互联网企业积累了巨量的数据。就如数据仓库时代一样，当互联网企业在数十个业务板块，百余家公司，千万级客户，上万个应用场景的情况下，原先的大数据体系架构也已经满足不了前端的需求了。人们发现数据应该统一管理/治理，应该更加关注业务需求，应该为业务需求统一建模，这就如数据仓库时代的OLAP，把对数据技术的关注点前移，于是“数据中台”概念应运而生。我们再来看看阿里巴巴的中台建设之道，下述插图来自《中台之道》：纵观阿里巴巴数据中台的整个建设过程，其实与我们在为企业提供的“数字化中心”/“数据仓库”/“BI”解决方案非常相似。阿里巴巴也是在数据越来越混乱、资源越来越浪费之后，才痛定思痛下决心，让数据独立出来集中管理和治理，把数据变成资产，更好地为业务服务。由数据中台概念催生的对数据的重视可谓达到了一个新的高度：阿里巴巴认为大数据不是营养品，而是组织缺之不可的经络、血液、大脑，它也是大创新的源泉。当然，OneService是阿里数据中台的一个重大创新，很多企业在建设数据仓库系统，或者“数字化中心”、或者BI系统时并没有OneService的概念，而OneModel/One-Id，可以说数据仓库建模、主数据就是为此而存在的。OneService让众多的业务需求都能通过一个数据API接口获得数据中台的数据服务，这对于阿里这样需要服务众多电商客户的企业，是非常有必要的，它不仅大幅减少了沟通成本，还能防止商家复制数据，并方便地向商家收取数据使用费。但某个内部无须结算数据使用费用的组织是否也一定要用OneService