搜索
大数据的产业价值（下）目录123大数据及其相关概念理解大数据的产业价值技术发展趋势、问题与建议二、大数据的产业价值ONETWO20世纪，瑞士心理学家荣格发现了《易经》筮法中蕴涵的一种不同于因果原理的普遍联系法则，这同大数据技术的复杂相关性有着相似的地方。2012年3月，奥巴马政府宣布投资2亿美元启动“大数据研究和发展计划”，并且定义为“未来的新石油”，希望增强政府收集、分析和萃取海量数据的能力。2012年瑞士达沃斯论坛上发布《大数据大影响》报告，称数据已成为一种新的经济资产类别，就像货币或黄金一样，许多国家政府更是把大数据上升到战略层面。2015年，国务院办公厅发布《关于运用大数据加强对市场主体服务和监管的若干意见》（国办发〔2015〕51号）。IDC公司发布的数字宇宙研究报告称:全球信息总量每两年就会增长一倍,2011年全球被创建和被复制的数据总量为1.8ZB。IDC认为,到下一个十年(2020年),全球所有IT部门拥有服务器的总量将会比现在多出10倍,所管理的数据将会比现在多出50倍。预计到2020年,全球将总共拥有35ZB的数据量。2011年企业创造、采集、管理和储存信息的成本下降到2005年的1/6,而同期企业关于数据的总投资自2005年以来却反而上升了50%。数据成本的下降助推了数据量的增长,而新的数据源和数据采集技术的出现则大大增加了未来数据的类型,数据类型的增加导致现有数据空间维度增加,增加了未来大数据的复杂度。VolumePB+数据处理实时数据流数据非再现数据TBPBEB结构化非结构化半结构化价值Velocity实时处理Value海量数据挖掘Variety多数据类型交叉分析大数据分析技术是对大数据的产生、存储、挖掘和展现的全生命周期进行综合分析处理的过程。科学家通过大数据分析,可以发现隐藏于其中的有价值的信息和知识。FBI和警察局依赖于庞大的数据基础，包括媒体对马拉松赛报道的大量图片、视频，以及来自互联网用户上传的大量现场图像和视频，快速定位嫌疑人。2013年4月15日下午2时50分，科普里广场有两枚炸弹分别于终点线附近观众区及一家体育用品店先后被引爆。美国波士顿于4月15日举行第117届波士顿马拉松大赛，现场大量观众、记者等通过手机、相机等设备拍照，产生了大量的视频、图片数据。Google基于搜索数据和历史信息，预测流行性感冒的爆发与强烈等级。•2009成功预测美国甲型H1N1爆发；•2013年1月准确判定美国的流感活动等级为“强烈”。2003年美国华盛顿大学人工智能负责人开发了Farecast系统并成立公司，通过2000亿条数据记录帮助预测美国国内航班的票价。系统预测准确度达到75%以上，平均每张机票节省50美元。2012年1月23日英国两名游客飞往美国，出发前在社交网站推特上发布：“提前八卦一下，这周过后，我要前往美国摧毁它。”美国国土安全部通过情报分析技术发现其言论，将其列为潜在威胁，怀疑他策划到美国实施犯罪。这两人带着手提箱到达洛杉矶国际机场，持枪警卫立即将他们逮捕并没收了他们的护照。微软专家DavidRothschild通过大数据分析，对第85届奥斯卡各奖项的归属进行成功预测。除最佳导演外，其它各项奖预测全部命中。尿布&啤酒—沃尔玛智能交通---交通蝴蝶效应谷歌提前预测电影票房收入麦肯锡强调大数据对零售商的影响美国总统预测几千年前：基于观察和经验，描述自然现象。几百年前：基于理论和模型，解释自然现象。几十年前：基于计算技术，模拟复杂现象。当今：基于大数据分析，统一理论、实验和模拟。发布数据用户产生数据Web1.0250,000网站Web2.0发布数据用户产生数据CyberspaceAnyPersonAnyWhereAnyTime5年的信息量增加10倍!全球每天通过Internet网络传输的电子邮件多达2100亿封。Facebook每月新增10亿照片和1000万个视频。腾讯公司注册用户超过7亿，同时在线人数超过1亿。某微博网站4亿多节点,12亿次用户访问，2TB每天用户访问日志。▪基于SQL语言:面对OLAP的传统行和列。▪不基于SQL或map-reduce的:由谷歌率先发起。▪数据流:基于运行商数据直接生成任意图形。新平台技术数据入口/汇聚数据平台分析不同范围的服务▪传统交付模式-单片或基于设备的解决方案。▪云:能够充分利用物理设施的弹性，以实现处理快速增长数据的能力。“数据库将演变成一个虚拟的，基于云计算，超级可扩展的分布式平台。”-ForresteranalystJimKobielus新的传输方案1812:43美国17个经济部门中的15个部门，员工超过1000人的企业存储了平均235太字节的数据，超出了美国国会图书馆的藏书。当下正是中国大数据市场元年，2013年大数据市场增速为138.3%，到2016年整个市场规模逼近百亿。大数据时代来临美国政府已经把“大数据”上升到了国家战略的层面。2012年3月29日，奥巴马政府宣布投资2亿美元启动大数据研究和发展计划。华尔街日报将大数据、智能制造和无线网络称作是当代三大技术变革。《商业价值》杂志将大数据比作未来世界的新石油。分析技术处理技术存储技术解决方案•数据处理：自然语言处理技术•统计和分析：top排行榜；地域占比；文本情感分析•数据挖掘：关联规则分析；分类；聚类•模型预测：预测模型；机器学习；建模仿真•数据采集：ETL工具•数据存取：关系数据库；NoSQL；SQL等•基础架构支持：云存储；分布式文件系统•计算结果展现：云计算；标签云；关系图•结构化数据：海量数据的查询、统计、更新等操作效率低•非结构化数据：图片、视频、word、pdf、ppt等文件存储，不利于检索、查询和存储•半结构化数据：转换为结构化存储或按照非结构化存储•Hadoop、MapReduce•流计算•内存计算•分布式与高性能计算三、技术发展趋势、问题及建议（一）大数据的发展趋势Gartner2012年技术成熟度曲线CloudComputingBigdataIoTGartner2013年技术成熟度曲线CloudComputingBigdataIoTGartner2014年技术成熟度曲线BigdataIoTCloudComputingIoT自动驾驶汽车Gartner2015年技术成熟度曲线2-5年内成为主流：•市民数据科学（CitizenDataScience）；•混合云计算（HybridCloudComputing）；•机器学习(MachineLearning)。5-10内成为主流：•自动驾驶汽车、物联网、物联网平台；•信息安全、3D打印器官移植、智能咨询；•虚拟个人助手、软件定义安全以及小的数据中心等。ONETWO大数据打破了企业传统数据的边界，改变了过去商业智能仅仅依靠企业内部业务数据的局面，而大数据则使数据来源更加多样化，不仅包括企业内部数据，也包括企业外部数据，尤其是和消费者相关的数据。大数据应用已经凸显出了巨大的商业价值，触角已延伸到各行各业。未来大数据还将彻底改变人类的思考模式、生活习惯和商业法则，将引发社会发展的深刻变革，同时也是未来最重要的国家战略之一。（二）大数据存在的问题我国缺乏核心技术，能否实现弯道超车有待努力；人才缺口非常大，缺乏统计学人才和数据挖掘人才；信息资源保护意识的缺失造成极大的安全隐患；大数据利用的不开放性会带来新的垄断和社会资源浪费；大数据时代的个人隐私难以得到保护。Volume•容量大要求数据的高效管理、存储和压缩；VelocityVariety•组合运用结构化和非结构化数据寻找问题的答案；Varacity•基本数据是准确、可靠、值得信赖的，并且具有一致性。•1s界限；•数据的高效组织管理；大数据不再强调“大”；大数据是机会，但不是终极解决方案，要结合云计算；非结构化数据占比不断增大，但对结构化大数据的分析处理更重要；组合运用结构化和非结构化数据寻找问题答案，是成功进行预测的基础；大数据强调关联的同时，永远不会忽略因果；相比数据抓取和存储，数据的管理更重要；架构上，存储和IO依然是主要问题。（三）大数据发展的建议统筹物联网、云计算以及智慧城市以及大数据建设，避免各立山头；自然科学研究、环境保护、生物医药研究、教育以及国家安全等领域才是大数据技术突破的重点；在扶持大数据在电商企业应用的同时，更要大力支持大数据在基础科学研究、国防以及若干关键领域的应用研究；大数据的应用和推广，技术是关键，人才是保障。你以为我懂，我以为你懂，可能谁也不懂，却都在不懂装懂；你说我忽悠，我说你忽悠，不知谁在忽悠，不忽悠白不忽悠；能搞的人拿不到钱，拿到钱的人不再真心搞，没钱没权确实难搞；企业在谈，政府在谈，专家教授也在谈，谈笑间风起云涌，但愿不再空谈。