大数据与云计算和物联网的关系

大数据与云计算和物联网的关系大数据时代的到来，是全球知名咨询公司麦肯锡最早提出的，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”《互联网进化论》一书中提出“互联网的未来功能和结构将于人类大脑高度相似，也将具备互联网虚拟感觉，虚拟运动，虚拟中枢，虚拟记忆神经系统”，并绘制了一幅互联网虚拟大脑结构图。根据这一观点，我们尝试分析目前互联网最流行的四个概念————-大数据，云计算，物联网和移动互联网与传统互联网之间的关系。从这幅图中我们可以看出：物联网对应了互联网的感觉和运动神经系统。云计算是互联网的核心硬件层和核心软件层的集合，也是互联网中枢神经系统萌芽。大数据代表了互联网的信息层(数据海洋)，是互联网智慧和意识产生的基础。包括物联网，传统互联网，移动互联网在源源不断的向互联网大数据层汇聚数据和接受数据。大数据时代的到来，是全球知名咨询公司麦肯锡最早提出的，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”近几年大数据一词的持续升温也带来了大数据泡沫的疑虑，大数据的前景与目前云计算、物联网、移动互联网等是分不开的，下面就来了解一下大数据与这些热点的关系。大数据市场格局从严格意义上来说，早在20世纪90年代“数据仓库之父”的BillInmon便提出了“大数据”的概念。大数据之所以在最近走红，主要归结于互联网、移动设备、物联网和云计算等快速崛起，全球数据量大大提升。可以说，移动互联网、物联网以及云计算等热点崛起在很大程度上是大数据产生的原因。我们可以通过这样一张图片，形象的知道大数据与移动互联网、物联网以及传统互联网的关系。物联网，移动互联网再加上传统互联网，每天都在产生海量数据，而大数据又通过云计算的形式，将这些数据筛选处理分析，提前出有用的信息，这就是大数据分析。大数据与移动互联网、物联网以及传统互联网作为数据存储巨头，EMC的大数据理念是，首先从“大”入手，“大”肯定是指大型数据集，一般在10TB规模左右。很多用户把多个数据集放在一起，形成PB级的数据量。同时从数据源来谈，大数据是指这些数据来自多种数据源，以实时、迭代的方式来实现。大数据来源我们看到，各种行业都出现了大数据趋势，有些可能是零售业商户，要对零售业数据进行分析，或者是一些有关全球天气预报模型的数据，还有油气行业一些地理信息数据，比如基因学分析，医学中也有成像类的大数据，甚至电影、娱乐行业还有用于渲染的大型数据存在。大数据与现实生活大数据能带来什么变化呢?里克·斯莫兰的“大数据人类面孔”项目讲述了许多故事：海象通过头顶的触角探索海洋;借助卫星击准蚊子;加纳用短信系统防止假药销售;智能手机可以预测谁正在变抑郁;信用卡在使用者离婚前两年就能预测离婚;药片直接将信息从人的身体传给医生。通过对卫星以及全球数亿传感器、RFID标签、带GPS的相机和智能手机实时收集的数据做可视化处理，人类就可以感知、测量、理解和影响人类的生存方式，实现先辈们遥不可及的梦想。2012年3月，里克·斯莫兰和JenniferErwitt发动全球各地100多位摄影师、编辑和作家来探索大数据的世界，以验证它是否象许多业界人士所说：代表了一种从未出现过的工具，可以帮助人类面对最大的挑战。大数据人类面孔-通过计步器记录数据分析身体状况2012年9月25日到10月2日，邀请全球各地参与者通过“大数据人类面孔”这一应用(五种语言的iOS和安卓版本免费下载)来“测量我们的世界”。这一应用可以让人们用手机作为传感器参与一系列活动，他们同时可以比较全球其它参与者对一些值得深思的问题给出了什么答案。参与者可以绘制出自己每天的路径，分享那些带给他们好运的物品和仪式，了解其他人想要在一生中经历的特别体验，发现自己身边以前没有意识到的秘密。参与者还能够得出自己的“数字身影”。2012年10月2日，邀请媒体出席在纽约、伦敦和新加坡举行的“指挥控制中心”大型活动，所有参与者的数据将在活动中加以分析、视觉化处理和诠释。大数据领域的专家们和创新者们将通过互动的“大数据实验室”分享他们的工作成果。全球各地的观众可以实时在线观看活动直播。麦肯锡全球研究机构在发布的《大数据：创新、竞争和生产力的下一个前沿领域》中表示，充分利用大数据可帮助全球个人定位服务提供商增加1000亿美元收入、帮助欧洲公共部门的管理每年提升2500亿美元产值、帮助美国医疗保健行业每年提升3000亿美元产值，并可帮助美国零售业获得60%以上的净利润增长……如果感觉此数据太过空泛，那么我们可以通过安防监控在大数据方面的应用来进行详细的了解。很多读者应该都看过电影《全民公敌》，威尔史密斯饰演的律师出现在各地任意位置的摄像头都会在第一时间被发现，这便是大数据的作用。从技术角度来看，从传统的海量存储监控，到实现联网智能化监控便是大数据很好的应用。在国际大都市中，每年行驶的车辆数据可能会达到百亿级，从这些海量信息提取车牌、车身颜色，就可以很快查出轨迹、违章等，而接下来的关联分析就是基于大数据的基础展开。再比如大家经常使用的淘宝为例。天猫副总裁王文彬曾表示“我们可以得到买家的访问量、固定频率、偏好商品等浅层分析。未来将有更多，不仅能看到商家销量的高低，甚至还可以看出其原因。”商家还可以通过对点击量、跨店铺点击，订单流转量甚至旺旺聊天信息等消费者购买行为的分析，进而有针对性的进行提高，达到提高销量的目的。从人类文明出现到2003年，人类总共才产生了5EB(ExaBytes)的数据，但是当前的人类两天内就创造出了相同的数据量，全球90%的数据都是在过去两年中生成的，到2020年全球数据使用量将大概需要376亿个1TB的硬盘进行存储。大数据当然，大数据并不等同于目前的海量数据。目前全球均比较认可IDC对“大数据”的定义：为了更经济地从高频率获取的、大容量的、不同结构和类型的数据中获取价值，而设计的新一代架构和技术。此定义也可以概括为四个特点，即高容量(volume)、多样性(variety)，速度(velocity)，以及价值(value)四个V，包括基础架构、数据管理、分析挖掘和决策支持四个层面。当然，也有其他不同的观点，IBM对于大数据的定义便是规模性(Volume)、多样性(Variety)、高速性(Velocity)和真实性(Veracity)的“4V理论”，NetApp大中华区总经理陈文所理解的大数据包括A、B、C三个要素：大分析(Analytic)，高带宽(Bandwidth)和大内容(Content)。大数据与云计算物联网、移动互联网等是大数据的来源，而大数据分析则是为物联网和移动互联网提供有用的分析，获取价值。云计算又与大数据有什么关系呢?这个问题其实早在2011年，就有人分析，例如EMCWorld2011的大会主题就是“当云计算遇见大数据”。云计算与大数据两者之间有很多的交集，业界主要做云的公司有谷歌、亚马逊等都拥有大量大数据。EMC总裁基辛格强调大数据应用必须在云设施上跑，这就是两者的关系——大数据离不开云。同时，支撑大数据以及云计算的底层原则是一样的，即规模化、自动化、资源配置、自愈性，这些都是底层的技术原则。因此基辛格认为大数据和云之间存在很多合力的地方。另一方面，随着互联网信息量的激增，用户单个数据集达到数以TB计，有的客户甚至已达到Pera级(1000Tera)了，用现有的存储系统结构处理数据量级较小，而且只能处理单一数据源数据，面对大数据的压力。在处理大量级以及多数据源的数据能力非常弱。这也就是为什么EMC收购Greenplum，支持开源的Hadoop计划的目的所在。基辛格很明白，大数据的挑战不仅仅在于存储和保护，数据分析能力的强弱，将成为这个时代的关键点：我们已经解决了数据存储和保护的问题，所需要的只是时间，但是海量数据分析的问题，我们还没有在大数据到来时做好准备。谈到大数据的特点，一是数据规模是PB级，二是多数据源，能够把半结构化、非结构化和结构化的数据很好地融合起来。同时具有实时、可迭代的特点。具体形容就是大数据环境类似于Facebook环境，随时可以添加变量。基辛格一再的支出，数据分析的历史已有30年，现在我们已进入大数据时代。