大数据思维的十大核心原理

大数据思维的十大核心原理（来源：华研数据,刘鹏）大数据思维大数据思维是客观存在，大数据思维是新的思维观。用大数据思维方式思考问题，解决问题是当下企业潮流。大数据思维开启了一次重大的时代转型。大数据思维原理可概括为10项原理。一、数据核心原理从“流程”核心转变为“数据”核心大数据时代，计算模式也发生了转变，从“流程”核心转变为“数据”核心。Hadoop体系的分布式计算框架已经是“数据”为核心的范式。非结构化数据及分析需求，将改变IT系统的升级方式：从简单增量到架构变化。大数据下的新思维——计算模式的转变。例如：IBM将使用以数据为中心的设计，目的是降低在超级计算机之间进行大量数据交换的必要性。大数据下，云计算找到了破茧重生的机会，在存储和计算上都体现了数据为核心的理念。大数据和云计算的关系：云计算为大数据提供了有力的工具和途径，大数据为云计算提供了很有价值的用武之地。而大数据比云计算更为落地，可有效利用已大量建设的云计算资源，最后加以利用。科学进步越来越多地由数据来推动，海量数据给数据分析既带来了机遇，也构成了新的挑战。大数据往往是利用众多技术和方法，综合源自多个渠道、不同时间的信息而获得的。为了应对大数据带来的挑战，我们需要新的统计思路和计算方法。说明：用数据核心思维方式思考问题，解决问题。以数据为核心，反映了当下IT产业的变革，数据成为人工智能的基础，也成为智能化的基础，数据比流程更重要，数据库、记录数据库，都可开发出深层次信息。云计算机可以从数据库、记录数据库中搜索出你是谁，你需要什么，从而推荐给你需要的信息。二、数据价值原理由功能是价值转变为数据是价值大数据真正有意思的是数据变得在线了，这个恰恰是互联网的特点。非互联网时期的产品，功能一定是它的价值，今天互联网的产品，数据一定是它的价值。例如：大数据的真正价值在于创造，在于填补无数个还未实现过的空白。有人把数据比喻为蕴藏能量的煤矿，煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类，而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似，大数据并不在“大”，而在于“有用”，价值含量、挖掘成本比数量更为重要。不管大数据的核心价值是不是预测，但是基于大数据形成决策的模式已经为不少的企业带来了盈利和声誉。数据能告诉我们，每一个客户的消费倾向，他们想要什么，喜欢什么，每个人的需求有哪些区别，哪些又可以被集合到一起来进行分类。大数据是数据数量上的增加，以至于我们能够实现从量变到质变的过程。举例来说，这里有一张照片，照片里的人在骑马，这张照片每一分钟，每一秒都要拍一张，但随着处理速度越来越快，从1分钟一张到1秒钟1张，突然到1秒钟10张后，就产生了电影。当数量的增长实现质变时，就从照片变成了一部电影。美国有一家创新企业Decide.com，它可以帮助人们做购买决策，告诉消费者什么时候买什么产品，什么时候买最便宜，预测产品的价格趋势，这家公司背后的驱动力就是大数据。他们在全球各大网站上搜集数以十亿计的数据，然后帮助数以十万计的用户省钱，为他们的采购找到最好的时间，降低交易成本，为终端的消费者带去更多价值。在这类模式下，尽管一些零售商的利润会进一步受挤压，但从商业本质上来讲，可以把钱更多地放回到消费者的口袋里，让购物变得更理性，这是依靠大数据催生出的一项全新产业。这家为数以十万计的客户省钱的公司，在几个星期前，被eBay以高价收购。再举一个例子，SWIFT是全球最大的支付平台，在该平台上的每一笔交易都可以进行大数据的分析,他们可以预测一个经济体的健康性和增长性。比如，该公司现在为全球性客户提供经济指数，这又是一个大数据服务。,定制化服务的关键是数据。《大数据时代》的作者维克托·迈尔·舍恩伯格认为，大量的数据能够让传统行业更好地了解客户需求，提供个性化的服务。说明：用数据价值思维方式思考问题，解决问题。信息总量的变化导致了信息形态的变化，量变引发了质变，最先经历信息爆炸的学科，如天文学和基因学，创造出了“大数据”这个概念。如今，这个概念几乎应用到了所有人类致力于发展的领域中。从功能为价值转变为数据为价值，说明数据和大数据的价值在扩大，数据为“王”的时代出现了。数据被解释是信息，信息常识化是知识，所以说数据解释、数据分析能产生价值。三、全样本原理从抽样转变为需要全部数据样本需要全部数据样本而不是抽样，你不知道的事情比你知道的事情更重要，但如果现在数据足够多，它会让人能够看得见、摸得着规律。数据这么大、这么多，所以人们觉得有足够的能力把握未来，对不确定状态的一种判断，从而做出自己的决定。这些东西我们听起来都是非常原始的，但是实际上背后的思维方式，和我们今天所讲的大数据是非常像的。举例：在大数据时代，无论是商家还是信息的搜集者，会比我们自己更知道你可能会想干什么。现在的数据还没有被真正挖掘，如果真正挖掘的话，通过信用卡消费的记录，可以成功预测未来5年内的情况。统计学里头最基本的一个概念就是，全部样本才能找出规律。为什么能够找出行为规律?一个更深层的概念是人和人是一样的，如果是一个人特例出来，可能很有个性，但当人口样本数量足够大时，就会发现其实每个人都是一模一样的。说明：用全数据样本思维方式思考问题，解决问题。从抽样中得到的结论总是有水分的，而全部样本中得到的结论水分就很少，大数据越大，真实性也就越大，因为大数据包含了全部的信息。四、关注效率原理由关注精确度转变为关注效率关注效率而不是精确度，大数据标志着人类在寻求量化和认识世界的道路上前进了一大步，过去不可计量、存储、分析和共享的很多东西都被数据化了，拥有大量的数据和更多不那么精确的数据为我们理解世界打开了一扇新的大门。大数据能提高生产效率和销售效率，原因是大数据能够让我们知道市场的需要，人的消费需要。大数据让企业的决策更科学，由关注精确度转变为关注效率的提高，大数据分析能提高企业的效率。例如：在互联网大数据时代，企业产品迭代的速度在加快。三星、小米手机制造商半年就推出一代新智能手机。利用互联网、大数据提高企业效率的趋势下，快速就是效率、预测就是效率、预见就是效率、变革就是效率、创新就是效率、应用就是效率。竞争是企业的动力，而效率是企业的生命，效率低与效率高是衡量企来成败的关键。一般来讲，投入与产出比是效率，追求高效率也就是追求高价值。手工、机器、自动机器、智能机器之间效率是不同的，智能机器效率更高，已能代替人的思维劳动。智能机器核心是大数据制动，而大数据制动的速度更快。在快速变化的市场，快速预测、快速决策、快速创新、快速定制、快速生产、快速上市成为企业行动的准则，也就是说，速度就是价值，效率就是价值，而这一切离不开大数据思维。说明：用关注效率思维方式思考问题，解决问题。大数据思维有点像混沌思维，确定与不确定交织在一起，过去那种一元思维结果，已被二元思维结果取代。过去寻求精确度，现在寻求高效率;过去寻求因果性，现在寻求相关性;过去寻找确定性，现在寻找概率性，对不精确的数据结果已能容忍。只要大数据分析指出可能性，就会有相应的结果，从而为企业快速决策、快速动作、创占先机提高了效率。五、关注相关性原理由因果关系转变为关注相关性关注相关性而不是因果关系，社会需要放弃它对因果关系的渴求，而仅需关注相关关系，也就是说只需要知道是什么，而不需要知道为什么。这就推翻了自古以来的惯例，而我们做决定和理解现实的最基本方式也将受到挑战。例如：大数据思维一个最突出的特点，就是从传统的因果思维转向相关思维，传统的因果思维是说我一定要找到一个原因，推出一个结果来。而大数据没有必要找到原因，不需要科学的手段来证明这个事件和那个事件之间有一个必然，先后关联发生的一个因果规律。它只需要知道，出现这种迹象的时候，我就按照一般的情况，这个数据统计的高概率显示它会有相应的结果，那么我只要发现这种迹象的时候，我就可以去做一个决策，我该怎么做。这是和以前的思维方式很不一样，老实说，它是一种有点反科学的思维，科学要求实证，要求找到准确的因果关系。在这个不确定的时代里面，等我们去找到准确的因果关系，再去办事的时候，这个事情早已经不值得办了。所以“大数据”时代的思维有点像回归了工业社会的这种机械思维——机械思维就是说我按那个按钮，一定会出现相应的结果，是这样状态。而农业社会往前推，不需要找到中间非常紧密的、明确的因果关系，而只需要找到相关关系，只需要找到迹象就可以了。社会因此放弃了寻找因果关系的传统偏好，开始挖掘相关关系的好处。例如：美国人开发一款“个性化分析报告自动可视化程序”软件从网上挖掘数据信息，这款数据挖掘软件将自动从各种数据中提取重要信息，然后进行分析，并把此信息与以前的数据关联起来，分析出有用的信息。非法在屋内打隔断的建筑物着火的可能性比其他建筑物高很多。纽约市每年接到2.5万宗有关房屋住得过于拥挤的投诉，但市里只有200名处理投诉的巡视员，市长办公室一个分析专家小组觉得大数据可以帮助解决这一需求与资源的落差。该小组建立了一个市内全部90万座建筑物的数据库，并在其中加入市里19个部门所收集到的数据：欠税扣押记录、水电使用异常、缴费拖欠、服务切断、救护车使用、当地犯罪率、鼠患投诉，诸如此类。接下来，他们将这一数据库与过去5年中按严重程度排列的建筑物着火记录进行比较，希望找出相关性。果然，建筑物类型和建造年份是与火灾相关的因素。不过，一个没怎么预料到的结果是，获得外砖墙施工许可的建筑物与较低的严重火灾发生率之间存在相关性。利用所有这些数据，该小组建立了一个可以帮助他们确定哪些住房拥挤投诉需要紧急处理的系统。他们所记录的建筑物的各种特征数据都不是导致火灾的原因，但这些数据与火灾隐患的增加或降低存在相关性。这种知识被证明是极具价值的：过去房屋巡视员出现场时签发房屋腾空令的比例只有13%，在采用新办法之后，这个比例上升到了70%——效率大大提高了。全世界的商界人士都在高呼大数据时代来临的优势：一家超市如何从一个17岁女孩的购物清单中，发现了她已怀孕的事实;或者将啤酒与尿不湿放在一起销售，神奇地提高了双方的销售额。大数据透露出来的信息有时确实会起颠覆。比如，腾讯一项针对社交网络的统计显示，爱看家庭剧的男人是女性的两倍还多;最关心金价的是中国大妈，但紧随其后的却是90后。而在过去一年，支付宝中无线支付比例排名前十的竟然全部在青海、西藏和内蒙古地区。说明：用关注相关性思维方式来思考问题，解决问题。寻找原因是一种现代社会的一神论，大数据推翻了这个论断。过去寻找原因的信念正在被“更好”的相关性所取代。当世界由探求因果关系变成挖掘相关关系，我们怎样才能既不损坏建立在因果推理基础之上的社会繁荣和人类进步的基石，又取得实际的进步呢?这是值得思考的问题。解释：转向相关性，不是不要因果关系，因果关系还是基础，科学的基石还是要的。只是在高速信息化的时代，为了得到即时信息，实时预测，在快速的大数据分析技术下，寻找到相关性信息，就可预测用户的行为，为企业快速决策提供提前量。比如预警技术，只有提前几十秒察觉，防御系统才能起作用。比如，雷达显示有个提前量，如果没有这个预知的提前量，雷达的作用也就没有了，相关性也是这个原理。比如，相对论与量子论的争论也能说明问题，一个说上帝不掷骰子，一个说上帝掷骰子，争论几十年，最后承认两个都存在，而且量子论取得更大的发展——一个适用于宇宙尺度，一个适用于原子尺度。六、预测原理从不能预测转变为可以预测大数据的核心就是预测，大数据能够预测体现在很多方面。大数据不是要教机器像人一样思考，相反，它是把数学算法运用到海量的数据上来预测事情发生的可能性。正因为在大数据规律面前，每个人的行为都跟别人一样，没有本质变化，所以商家会比消费者更了消费者的行为。例如：大数据助微软准确预测世界怀。微软大数据团队在2014年巴西世界足球赛前设计了世界怀模型，该预测模型正确预测了赛事最后几轮每场比赛的结果，包括预测德国队将最终获胜。预测成功归功于微软在世界怀进行过程中获取的大量数据，到淘汰赛阶段，数据如滚雪球般增多，常握了有关球员和球队的足够信息，以适当校准模型并调整对接下来比赛的预测。世界杯预测模型的方法与设