大数据的时代背景与商务智能

大数据的时代背景与商务智能整个世界已经迎来了大数据时代。根据最新调查结果显示，2015年将有近200亿个设备连接到互联网上，这些设备不仅是电脑，更有汽车、工厂设备、数字标牌等。越来越多的智能终端设备给产业发展带来巨大机遇。到2020年，人类产生的数据总量将达到40ZB，全球范围内服务器的数量将会增加10倍，而由企业数据中心直接管理的数据量增加14倍，IT专业人员的数量增加1.5倍。2013年，世界朝着数字时代又进了一步。这是一个变化的新纪元，对社会经济的影响将比工业革命大2-3倍。世界数据总量的90%左右是在过去两年里创造出来的。到2020年，储存数据数量将比2010年大50倍。许多权威人士认为这一数据大爆炸堪比新型石油，甚至是一种全新的资产类别。传统的统计数据往往是通过数字来表达的，而在大数据时代，我们面临更多的是非结构化的数据，比如图像、文本、日志，还有比如百度的搜索数据。这些数据都从微观层面反映了社会经济、人们日常生活行为的方方面面。如果我们能够把现有的这些数据都收集起来进行深入的分析和挖掘，就会发现这些数据当中隐藏的更深刻的规律和现象，就能更好地服务于政府决策和社会各方面的需求，大数据的真正价值就体现在这里。第一部分：大数据的时代背景从数据谈起说起大数据，无疑是离不开数据的，我们就先从数据谈起。数据是无所不在的。我们就来看看大数据在以下几个领域的应用。无所不在的数据（1）——政府数据首先是政府部门的统计数据，说到这个，我们知道国家统计局每年都要编写的《中国统计年鉴》。以前国家统计数据，是层层上报，人工统计，比如，国家进行人口普查，是县级——市级——省级——国家这样层层上报人口数据，这样得到的数据往往滞后，很不准确。70万家企业联网“直报”统计数据从2012年2月18日开始，全国70万家三上企业和房地产开发经营企业在统一的数据采集和处理平台上，通过互联网直接向国家数据中心或国家认定的省级数据中心报送统计数据。这样就保证了数据的准确性，及时性。2013年11月19日下午，阿里巴巴、百度、中国联通等11家涉足大数据的领军企业代表走进北京月坛南街57号，与国家统计局签署关于大数据的战略合作协议，共同探讨和推进大数据在政府统计中的应用。战略合作内容，主要是共同研究探讨建立大数据应用的统计标准，包括指标定义、口径、范围、分类等；确定利用企业数据完善、补充政府统计数据的内容、形式及实施步骤，包括数据采集、处理、分析、挖掘、发布等。在此基础上，合作双方将建立战略合作关系。政府统计部门收集的数据来源更广更多，有各个部门的行政记录，有电商企业的数据，有包括搜索记录、社交记录和媒体等互联网数据。电子政务：通过政府信息化，大数据能够提高政府决策的科学性和精准性，提高政府预测预警能力以及应急响应能力，节约决策的成本。以财政部门为例，基于云计算、大数据技术，财政部门可以按需掌握各个部门的数据，并对数据进行分析，做出的决策可以更准确、更高效。另外，也可以依据数据推动财政创新，使财政工作更有效率、更加开放、更加透明。无所不在的数据（2）——金融数据大数据帮助金融企业提升IQ互联网对于金融，主要是支付、信贷、储蓄三个方面。我们认为，现在大数据在互联网金融领域主要解决三个问题：第一是解决运营交易成本过高的问题。网银降低了20万个网点成本，而阿里主要是把信用和抵押进行置换。第二是提供流动性，解决资产与负债流动性不匹配的问题。P2P就是将存款进行转让，比如众筹。第三是拓展4000万中小微企业市场。互联网金融出现以后，更大的变化是把市场体量做大了，不是只服务于我们现有的客户，还可以把碎片化的需求和供给进行整合，进而细化渗透到很多中小企业市场和中小客户市场。那么，是不是互联网就是终极形态？我们给出了一个经济范畴的定义，即这样的模式怎么去挣钱。互联网早期最简单的业务形式是2B，传统经济模式下，企业向客户出售产品或服务，以直接赚取金钱为目的，衡量指标就是产量等概念。第二个时代就是2C，互联网经济下，企业尽可能多地发展用户，不以直接从用户处赚取金钱为目的，希望通过后向收费或者发掘用户终身价值等方式赚取利润。这个时代，像谷歌、Facebook等公司主要是经营用户，用户体量就是衡量标准。未来我们看到的将是2D的业务形态，也就是大数据经济。数据将是未来企业的重要资产，企业通过数据创造新的商业模式，或直接通过数据售卖以及利用数据提供增值服务获得巨大利润。在这一时代，海量用户和良好的数据资产将成为未来核心竞争力与收入的重要来源。这个数据未必是靠人的点击。比如，你可能与运营商没有任何交易往来，但是手机的传感器在持续记录你的位置信息，这个信息在不断地跟基站通讯，你的行为就已经被运营商捕捉了。所以2D更多的是以数据为驱动力的生意模式。这种生意模式把附加值扩展得很大。而互联网只能通过广告来盈利，因为它依靠的是注意力经济。这种模式下，很难挣钱，只有少量通过马太效应才能盈利。现在细分市场的很多数据规模能驱动产生新的价值。以上是大的经济形态。具体来讲，大数据更多的是帮助金融企业包括传统银行获得金融IQ，即接触市场和接触用户的权利和能力。综合来看，识别用户的行为和潜在需求，了解和感知市场，进而形成一个正反馈的干预市场的能力，这可以看做是金融企业的IQ。金融企业如何拥抱大数据？另外，金融业本身也在发生业务革新。银行属性从记账式的卖方更多转向风险、欺诈、定价的买方属性，而这些特点很多都是非线性的，需要大量的计算能力。业务驱动加之科技目标驱动，使得新的基础设施部署成为必然。大数据首先要数据全量在线。现在太多系统都是孤立的，银行的对公、对私，还有卡业务都是分开的，当把所有业务糅合在一起时，会发现很多客观规律。舍恩伯格的《大数据时代》在国内非常畅销，书中有一个核心的概念——全量。因为全量视角下看到的内容、方式完全不一样。有一个保险公司的案例，这家保险公司以前只能做抽样，对高端人群、对某一个险种人群的调查，通过在两千个维度里抽取一些维度，比如收入，进行建模，建模之后进行试用，再考察结论。现在有了大规模的计算能力，就不进行干预，完全让机器自己去找规律，让机器学习出在两千个维度里到底什么是建模的规则，这完全是黑箱建模的思路。黑箱建模让我们发现了很多以前我们不知道的内容和规律。比如，实现机器学习以后，我们能发现反洗钱有1000多条在线规则。对于保险用户，我们也发现很多有意思的现象，在九千多万用户里有百分之零点几的用户的年收入4万多，但是买了7万多的保险产品。那么相应的销售人员是以怎样的保险理财理念去推销产品的？有怎样的经验？这是需要发掘的。当然，为了面向用户，所有大数据的处理要做到容易解读。在这个过程中，全量数据可以帮助发现业务规则。在无假设条件下，通过机器学习能发现用户的一些特征。这些工具、方式、方法，帮助金融用户非常清楚地了解到以前未知的市场和未知的用户。对数据进行分析可以挖掘出大量沉睡的文字性内容。比如银行信用卡记录，以前我们只能靠用户的消费水平去识别这个用户属于高端、中端还是低端。除了数字以外，是不是还有其他信息呢？比如消费记录，他是经常去沃尔玛还是其他超市购物，经常去夜店还是星巴克，怎么识别他是一个白领还是一个新新人类？这些通过分类能非常清晰地获取。也就是以前我们可以对数据进行操作，现在对文字也同样可以进行操作。无所不在的数据（3）——零售业、物联网提到零售业，我们就想到零售王国沃尔玛，沃尔玛有一个经典的案例，那就是：啤酒和尿布的例子，这个例子早已过时，现在沃尔玛有一个新的例子：东海岸——中海岸——西海岸在美国，东海岸与中海岸时差两小时，东海岸的沃尔玛超市早上开门营业两小时之后，这时候中海岸才开始营业，沃尔玛就会把东海岸当天这两小时的营业情况、相关数据传给中海岸，中海岸就会根据这个数据知道了这天人们的购买喜好，决定货品怎么摆放，哪些货物摆放在一起会比较好，然后等中海岸的沃尔玛营业两小时之后，西海岸才到早上，才开始营业，同样，把东海岸和中海岸的营业数据传到西海岸。这种方式给沃尔玛带来了很大的利润。RFID技术与物联网应用：RFID是RadioFrequencyIdentification的缩写，即射频识别，俗称电子标签。RFID射频识别是一种非接触式的自动识别技术，它通过射频信号自动识别目标对象并获取相关数据，识别工作无须人工干预，可工作于各种恶劣环境。RFID技术可识别高速运动物体并可同时识别多个标签，操作快捷方便。RFID是一种简单的无线系统，只有两个基本器件，该系统用于控制、检测和跟踪物体。系统由一个询问器(或阅读器)和很多应答器(或标签)组成。适应领域：物流和供应管理、生产制造和装配、航空行李处理、邮件、快运包裹处理、文档追踪、图书馆管理动物身份标识、运动计时、门禁控制、电子门票、道路自动收费.从大型远距离UHF标签到细小的UHF标签。可以为客户做定制化生产，满足各种要求。RFID技术在超市和图书馆中的应用。物联网：物联网（InternetofThings，缩写IOT）是一个基于互联网、传统电信网等信息承载体，让所有能够被独立寻址的普通物理对象实现互联互通的网络。物联网一般为无线网，由于每个人周围的设备可以达到一千至五千个，所以物联网可能要包含500兆至一千兆个物体，在物联网上，每个人都可以应用电子标签将真实的物体上网联结，在物联网上都可以查找出它们的具体位置。通过物联网可以用中心计算机对机器、设备、人员进行集中管理、控制，也可以对家庭设备、汽车进行遥控，以及搜寻位置、防止物品被盗等各种应用。物联网将现实世界数字化,应用范围十分广泛。物联网的应用领域主要包括以下几个方面：运输和物流领域、健康医疗领域、智能环境（家庭、办公、工厂）领域、个人和社会领域等，具有十分广阔的市场和应用前景。自从1999年最早提出“物联网概念”以来，物联网得到了极大的发展，特别是2009年8月温家宝总理提出“感知中国”以来，物联网被正式列为国家五大新兴战略性产业之一，写入“政府工作报告”，物联网在中国受到了极大的关注，物联网通过智能感知、识别技术与普适计算、广泛应用于网络的融合中，也因此被称为继计算机、互联网之后世界信息产业发展的第三次浪潮。如果说2013年的物联网在喧嚣中前行，那么2014年的物联网则是伴随着希望前行，而且曙光渐现。我们需要注意的几个重要关键词包括：车联网、云计算、大数据、北斗导航、智能家居、智慧城市。车联网说到物联网不可遗漏的当然是车联网，早在2012年的北京国际汽车展览会期间，中国移动就展示了基于TD-LTE的4G车联网概念产品，而现阶段，在4G时代全面到来的背景下，车联网的发展愈发迅猛。不仅仅巨头Google一直在深耕车联网，我国自主车企当中也有厂商在积极跟进，最早试水车联网技术的是上汽集团，一直走在本土开发车联网的前列，其inkaNet系统被广泛搭载在荣威350、荣威550、W5以及MG5等多款车型上。目前几乎所有的整车企业都在车联网技术方面进行了大量的投入。未来车联网技术将重新定义汽车DNA。借助无线通讯，城市内车与车之间，车与建筑之间，车与人之间都将建立更加智能紧密的互联。通过装载在车辆上的电子标签通过无线射频等识别技术，实现在信息网络平台上对所有车辆的属性信息和静、动态信息进行提取和有效利用，并根据不同的功能需求对所有车辆的运行状态进行有效的监管和提供综合服务。并且将电视、电脑、手机都可以和汽车里的屏幕连接在一起，驾驶过程中娱乐化的程度大大加强。无人驾驶无人驾驶被人认为是车联网的终极目标，无人驾驶车依赖的技术很多，比如导航、雷达、庞大数据计算等，要实现这些技术需要和物联网紧密结合起来。尽管车联网不过是近几年才兴起的事情，而物联网技术的成熟则极大的推动了车联网的进展。车联网技术是实现无人驾驶技术和智能化交通的第一步，而在无人驾驶技术普及的第一阶段，车联网技术将迎来爆发期。自动泊车系统在我印象中小时候经常能听到从某辆车上传出“倒车请注意”的声音，后来想想觉得当时技术不发达没有达到帮助驾驶的水平，只能通过提示车后的行人注意安全。过了没几年什么倒车雷达、倒车影像以及带有循迹功能的倒