大数据研究综述_涂新莉

第31卷第6期计算机应用研究Vol.31No.62014年6月ApplicationＲesearchofComputersJun．2014大数据研究综述*涂新莉1，刘波1，林伟伟2(1．华南师范大学计算机学院，广州510631;2．华南理工大学计算机科学与工程学院，广州510640)摘要:主要从大数据的概念着手，对比分析了国内外大数据研究和应用现状，重点分析比较当前大数据主流处理工具的优缺点，并深入归纳总结了基于数据存储的大数据处理技术、基于数据挖掘的大数据处理技术、基于查询的大数据处理技术的优缺点和适用场景。最后，在前面比较和分析的基础上给出了大数据研究和发展的方向，为大数据的研究提供有益参考。关键词:大数据;数据处理;数据挖掘中图分类号:TP311文献标志码:A文章编号:1001-3695(2014)06-1612-05doi:10．3969/j．issn．1001-3695．2014．06．003SurveyofbigdataTUXin-li1，LIUBo1，LINWei-wei2(1．SchoolofComputer，SouthChinaNormalUniversity，Guangzhou510631，China;2．SchoolofComputer，Science＆Engineering，SouthChinaUniversityofTechnology，Guangzhou510640，China)Abstract:Thispapermainlycomparedandanalyzedtheresearchandapplicationstatusofbigdatahomeandabroad，fromtheconceptofbigdata，layingspecialstressonanalyzingandcomparingcurrentmainprocessingtoolsofbigdata，focusingonadvantagesanddisadvantages，summarizingtheadvantages，disadvantagesandapplicablescenarioofbigdataprocessingtech-niques，whichwerebasedondatastorage，dataminingandqueries．Finally，itpresentedimportantdirectionsofresearchanddevelopmentofbigdataforfuture，providingreferenceforbigdataresearch．Keywords:bigdata;dataprocessing;datamining提及大数据几乎是无人不晓，但大数据这个概念并不是近几年才有的，早在1980年，著名未来学家阿尔文·托夫勒便在《第三次浪潮》一书中，将大数据热情地赞颂为“第三次浪潮的华彩乐章”。在20世纪80年代我国已经有一些专家学者谈到了海量数据的加工和管理，但是由于计算机技术和网络技术的限制大数据未能引起足够的重视，它蕴藏的巨大信息资源也暂时隐藏了起来。随着云计算技术的发展，互联网的应用越来越广泛，以微博和博客为代表的新型社交网络的出现和快速发展，以及以智能手机、平板电脑为代表的新型移动设备的出现，计算机应用产生的数据量呈现了爆炸性增长的趋势。2012年末出版的《大数据时代》的作者英国牛津大学网络学院互联网研究所治理与监管专业教授维克托·尔耶·舍恩伯格在书的引言中说，大数据正在改变人们的生活以及理解世界的方式，而更多的改变正蓄势待发。美国总统奥巴马的成功竞选及连任的背后都有大数据挖掘的支撑，美国政府认为，大数据是“未来的新石油”，并将对大数据的研究上升为国家意志，这对［1］，未来的科技与经济发展必将带来深远影响。如今大数据已成为一项业务上优先考虑的工作任务，因为它能够对全球整合经济时代的商务产生深远的影响。大数据的应用范围如此广泛，与大数据相关的很多问题都引起了专家和学者的重视。大数据最基本的问题———大数据的定义目前还没有一个统一的定论，但大数据作为一种基础性资源需要被处理才能显现其潜在的价值，那么如何更好地处理大数据这种基础性资源就显得特别重要，因为这些问题都关系到大数据核心价值的体现。为此，本文从大数据若干个版本的概念出发，调查分析了大数据的研究和应用现状，重点分析了当前主流的大数据处理工具和技术，最后预测了大数据未来的几个研究和发展方向。1大数据的概念大数据本身就是一个很抽象的概念，提及大数据很多人也只能从数据量上去感知大数据的规模，如:百度每天大约要处理几十PB的数据;Facebook每天生成300TB以上的日志数据;据著名咨询公司IDC的统计，2011年全球被创建和复制的数据总量为1．8ZB(1021)，但仅仅是数据量并不能区分大数据与传统的海量数据的区别。在2008年《Science》杂志出版的专刊中，大数据被定义为“代表着人类认知过程的进步，数据集的规模是无法在可容忍的时间内用目前的技术、方法和理论［2］去获取、管理、处理的数据”。比较有影响力的Gartner公司［3］，也给出了大数据的定义大数据是高容量、高生成速率、种类繁多的信息价值，同时需要新的处理形式去确保判断的作出、洞察力的发现和处理的优化。这种定义不仅是数据规模大，更重要的是如何从这些动态快速生成的数据流或数据块中收稿日期:2013-10-14;修回日期:2013-11-28基金项目:国家自然科学基金资助项目(61070015);广东省自然科学基金资助项目(S2011010001754，S2012030006242);广东省科技计划资助项目(1311050300017，1311020500039);中央高校基本科研业务费专项资金资助项目(2013ZZ0044)作者简介:涂新莉(1988-)，女，硕士研究生，主要研究方向为分布计算系统;刘波(1968-)，男，教授，博士，主要研究方向为分布计算系统;林伟伟(1980-)，男(通信作者)，副教授，博士，主要研究方向为云计算、大数据、分布式系统([e-mail])．第6期涂新莉，等:大数据研究综述·1613·获取有用的具有时效性价值的信息，但是这些数据类型众多，结构化、半结构化、非结构化的数据对已有的数据处理模式带来了巨大的挑战，其中也体现了大数据在3V基础上发展的4V定义。4V定义即volume，variety，velocity，value，关于第4个V的说法并不统一，国际数据公司(InternationalDataCorporation，IDC)认为大数据还应当具有价值性(value)［4］，大数据的价值往往呈现出稀疏性的特点;而IBM认为大数据必然具有真实性(veracity)［5］，这样有利于建立一种信任机制，有利于领导者的决策。百度百科对大数据的定义是:大数据(bigdata)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理并整理成为帮助企业经营决策更积极目的的资讯。大数据的科学家Ｒauser提到一个简单的定义:大数据就是超过了任何一个计算机处理能力的庞大数据量。2大数据的研究与应用现状虽然大数据的概念没有一个统一的定论，但这对于大数据的研究而言并不是最重要的，如何使用大数据才是关键。研究大数据其实也就是为了更好地应用大数据，所以国内外对大数据的研究与应用都相当重视。事实上，大数据的研究与应用已经在互联网、商业智能、咨询与服务以及医疗服务、零售业、金融业、通信等行业显现，并产生了巨大的社会价值和产业空间。来自麦肯锡2012年大数据报告中的一组数据显示，大数据产业为美国医疗系统带来每年3000亿美元的收益;为欧洲公共管理部门带来2500亿欧元的收益;为零售业增加60%的净利润;为制造业减少50%的产品研发等成本。而Canner认为，2015年超过85%的财富500强企业将在大数据竞争中失去优［6］，势。据市场调研机构IDC预测大数据技术与服务市场将从2010年的32亿美元攀升到2015年的169亿美元，实现40%的年增长率(IT与通信产业增长率的7倍)［7］。从上面的统计数据很容易看出大数据的应用之广，价值之大。国外的大数据研究工作主要集中在如何进行大数据存储、处理、分析以及管理的技术及软件应用上。在学术界，《Na-ture》早在2008年就推出了“bigdata”专刊，从互联网技术、超级计算、生物医学等方面来专门探讨对大数据的研究。2012年3月，美国公布了旨在提高和改进人们从海量信息数据中获［1］取信息能力的“大数据研发计划”。2012年4月欧洲信息学［8］，与数学研究协会会刊《EＲCIMNews》出版专刊“bigdata”讨论了大数据时代的数据管理、数据密集型研究的创新技术等问题。2012年7月，日本推出“新ICT战略研究计划”，其中重点关注大数据应用，将大数据定位为战略领域之一。在具体的实际应用方面，大数据也显现出了它的价值所在。文献［9］中，谷歌公司通过对人们在网上检索的词条与疾病中心的数据进行分析处理，有效及时地判断出了流感的传播来源，为公共卫生机构提供了有价值的信息，这是来自2009年《Science》杂志上发表的一篇论文。乔布斯通过大数据辅助癌症治疗，丹麦癌症协会通过大数据研究手机是否致癌等。美国最大的西奈山医疗中心(MountSinaiMeddicalCenter)使用来自大数据创业公司Ayasdi的技术分析大肠杆菌的全部基因序列，包括超过100万个DNA变体，来了解为什么菌株会对抗生素产生抗药性。Ayasdi的技术使用了一种全新的数学研究方法———拓扑数据分析(topologicaldataanalysis)来了解数据的特征。医疗行业的大数据不仅量大，而且繁杂，其中蕴涵的信息价值也是丰富且多样。英特尔全球医疗解决方案架构师吴闻新等人也预测了医疗行业数据的增长之快，特别是影像数据和EMＲ电子病历数据［10］。英特尔协助用友医疗进行了合理的架构分析和指导，对于基于大数据分析的解决方案进行了深入的探索和研究，并且制定了基于英特尔大数据解决方案的区域卫生数据中心建设目标:文档快速检索，存储模式满足数据模式的更新，透明化扩展容量和性能。美国俄亥俄州运输部(ODOT)利用INＲIX的云计算分析处理大数据来了解和处理恶劣天气的道［11］，，路状况减少了冬季连环撞车发生的概率方便了人们的出行。在能源行业，SaaS型软件公司Opower使用数据分析提供［9］，消费用电的能效。2012年11月6日美国总统奥巴马成功击败对手罗姆尼再次赢得美国总统，奥巴马总统获胜的秘密———通过大数据系统进行数据挖掘，用科学的方法指定策略，它帮助奥巴马在获取有效选民、投放广告、募集资金等方面起到了很大的作用。与国外相比，国内大数据的研究和应用还处在起步阶段。2012年5月，香山科学会议组织了以“大数据科学与工程———一门新兴的交叉学科”为主题的会议，深入讨论了大数据的理论与工程数据研究、应用方向，指出目前最重视的都是大数据分析算法和大数据系统效率，通过研究大数据的关系网络整体而全面地研究大数据。同年6月，中国计算机学会青年计算机科技论坛(CCFYOCSEF)举办了“大数据时代，智谋未来”学术报告会，就大数据时代的数据挖掘、体系架构理论、大数据安全、大数据平台开发与大数据现实案例进行了全面的讨论。随着大数据时代的到来，油田勘探开发过程中也产生了规模巨大、类型多样的数据。文献［12］在计算机集群上构建油田勘探开发一体化数据管理模型和数据访问基础架构，从而解决油田实际应用中所面临的大数据问题，即交叉复用、信息可见、信息传承。应用文献［12］中构建的数据模型及其接口，专业分析软件可以很容易地获得本研究区域齐、全、准的勘探开发信息，从而进行分析，部署勘探开发生产任务。以部署探井为例，分析软件可以利用“大数据”接口非常方便地获得探井区域的地震剖面、测井曲线、层位、断层等信息。文献［7，13］分别从商务管