论大数据的现状及其发展研究

龙源期刊网论大数据的现状及其发展研究作者：袁露肖志勇王映龙来源：《教育教学论坛》2014年第44期摘要：随着大数据时代的降临，计算、物联网、社交网络等新型服务促使人类社会的数据种类和规模逐渐扩大，数据量随之也愈来愈大。数据从简单的对象处理开始转变为一种基础性资源。大数据的存储和管理以及大数据的分析是一个很大的问题。本文主要针对大数据的现状、基本概念、关键技术、面临的困难和挑战、如何适应好“大数据”时代做了探讨以及大数据在毕业生就业的应用。关键字：大数据；云计算；数据处理中图分类号：G642.0文献标志码：A文章编号：1674-9324（2014）44-0086-02近年来，伴随着物联网、云计算、移动互联网等新技术的迅猛发展，数据出现逐渐增长的趋势，而且增长幅度比较大，于是大数据涌现了。大数据是继云计算之后IT产业又一次颠覆性的技术革命。它贯穿于整个社会，正处于成长阶段，大数据引起了产业界、科技界和政府机构的广泛关注。大数据随着新型SNS网络的发展等在肥沃的土壤中更加迅速地成长。现在，大数据时代占据了大部分市场和企业，规模不断壮大。一、大数据的现状随着网络技术、信息技术的发展，人类产生的数据成指数增长。资料显示，2011年，全球数据规模为1.8ZB，可以填满575亿个32GB的iPad。到2020年，全球数据达到40ZB。我国，2010年新存储的数据为250PB，2012年中国的数据存储量达到364EB，约为日本的60%，北美的7%。全球互联网行业巨头以百度、阿里巴巴、腾讯等为代表的国内互联网企业开始创建自己的数据中心，并在IT基础设施和创新方面有显著的成就。由此看来，大数据慢慢走向成熟，即将成为社会、生活不可缺少的一部分。二、大数据的概念及特点大数据（BigData），可以认为，它所涉及的资料量规模巨大，通过一些方法和手段，在合理时间内达到获取、管理、处理并整理这些大量的资料数据，进一步帮助企业高层做出经营决策。“大数据”的出现不是偶然事件，它是在社会发展的推动下，逐渐网络化、信息化。比如各种二维码、虹膜等都可以认为是大数据。对于数据的识别和分析是很有难度的。大数据的特点如下。①数据类别大。大数据一般包括以事务为代表的结构化数据，以网页为代表的半结构化数据和以视频和语音信息为代表的非结构多类数据，并且它们的处理和分析方式区别很大。②数据量大。通过各种方式，比如市场、信息、网络等产生的一系列大量数据。所谓大数据，数量肯定是很大的了。③数据快速化。有些数据是具有时效性的。比如电商行业，数据是有时龙源期刊网间限制的，否则数据无意义，或者会造成误差。④数据的灵活性与复杂性。数据更新迅速，是变化的，数据的类型、用途不同，分析方式的不同、需求的不同导致了数据的灵活性和复杂性。三、大数据的关键技术大数据的处理主要是从一大堆的数据当中筛选出有价值的数据，然后进行对比、分析、处理等。解决大数据问题的核心是大数据技术，主要可分为：数据采集、数据存取、基础架构、数据处理、统计分析、数据挖掘、模型预测、结果呈现等8种技术。大数据技术主要形成了批处理、流处理和交互分析三种计算模式。大数据的关键技术主要还是对海量数据的存储和计算处理等，特别是对数据的分类，根据用途需求的不同，筛选出对于某一个领域某一个用途有意义、有价值的一系列数据，抛弃相对而言无用的数据。四、大数据面临的机遇和挑战1.用户的个人隐私问题。比如日常生活中我们经常使用的微信、旺信以及一些其他如淘粉吧、团购网等需要授权的网站和软件应用，都需要读取使用者的个人信息等数据，有可能会导致数据的泄露。2.在未来的社会中，大数据即将成为未来交易的对象。特别是大数据中的价值数据，当然价值包括数据本身的价值和其使用价值，价值也分为绝对价值和相对价值，企业可以通过这些数据分析未来的发展趋势。国内三大巨头BAT坐拥数据金矿，我们来看百度、阿里巴巴、腾讯三大巨头的大数据利用以及三者的不同之处（如下页表1）。3.大数据的挖掘和应用成为核心。大数据的重心将从存储和传输，过渡到数据的挖掘和应用。索取我们的个人位置信息可创造潜在价值6000亿美元。沃尔玛为其网站Walmart.com自行设计了最新的搜索引擎Polaris，利用语义分析、数据挖掘等使得购物完成率提升了10%～20%，这意味着数十亿的金额。五、如何适应“大数据”时代1.加强领域合作。加强各个领域之间的合作关系，加强企业商业智能、社会服务、市场营销等各大领域的合作。企业服务于民众和政府，政府也推动企业的发展，激励市场的需求，企业根据商业智能对数据的分析了解当今市场发展趋势，进行产品的生产和市场分配，根据用户的需求了解当今社会的发展要求，政府把握公民动态，了解民生。2.数据安全性。防止数据被非法交易、倒卖、窃取、泄漏或者纂改。大量的数据通过云端存储，数据管理比较分散。数据从产生到获取，再到分析、处理等每一个过程都牵扯用户的隐私和安全问题，整个过程中，如不采取相应措施，非法用户容易入侵，窃取和纂改数据，数据的正确性没有了保障。因此，如何保证大数据的安全以及分析结果的可靠是信息安全领域所要解决的问题。龙源期刊网加强大数据人才的培养。大数据发展离不开人才的需求。大数据兴起的时间不算长，这方面的人才还是急缺的。可以根据社会的需求培养具有大数据思维和创新能力的复合型人才，企业可以根据企业自身的需要对企业内部人员进行教育培训，另外可以通过招聘引进一些具有大数据经验的人士。引导员工职业发展，采用员工激励制等，鼓励员工不断地学习提升自我。加强大数据人才的培养也是大数据发展的重点之一。六、大数据的应用大数据通过互联网渠道，遍布全球的各个角落。互联网企业与其他数据传播手段相比，开展大数据应用存在“近水楼台先得月”的优势。百度、阿里巴巴、腾讯、谷歌、亚马逊等都拥有强大的数据资源和数据技术平台。美国等先进国家政府部门投资2亿美元开展大数据应用。我们要向美国学习推进大数据的应用实践。大数据的应用主要体现在互联网应用、电信应用、金融应用和政府应用。大数据应用的核心思想是将数学算法运用到海量数据中预测事情发生的可能性。作为高校的一名教师，我们可以将大数据运用到高校教学中，以院系的软件工程专业为例（图1），该专业的学生毕业初期76.52%都是选择在公司处理IT编程相关领域，4.45%选择了考研，5.27%选择考公务员等，五年之后他们的选择又如何，仍然坚守在IT岗位上的人又有多少？这些数据，我们都可以进行统计分析，了解每一年的毕业生就业情况。大数据在大学生就业中的应用体现在：根据毕业生的就业情况统计出的数据反映社会对软件技术专业人才的需求以及学生就业选择的方向，发现未来软件方向的就业趋势。同时，在高校开设的《职业生涯规划课》上可以根据往届学生的就业情况给予新生更好地引导，让学生产生良好的认识，不会盲目地做出选择。大数据应用在毕业生就业上的指导有一定参考性，数据证明了趋势，更加生动、真实。七、总结大数据已被越来越多的人熟悉，在未来的日子里，大数据将迎来一场激烈的竞争。我们应该抓住大数据的关键点，跟上时代的步伐，适应科技时代的发展，顺应大数据时代的需求，从国家战略制定、人才培养、基础技术研究、信息安全保障体系建设等方面开展相应的工作。大数据的共享是未来的发展趋势，如何更好地保护好数据，如何更好地存储、分析数据，都还需要继续探索。我们要充分有效地利用和组织大数据推动社会的发展。参考文献：[1]赛迪智库，大数据时代需要加快局[EB/OL].2012-05-17.http：//？m=content&c=index&catid=201&id=53375.[2]大数据时代[J].中国电子科学研究院学报，2013，（1）.龙源期刊网[3]淄博市经济和信息化委员会.“大数据”现状及发展浅谈[Z].2013-08-27.[4]严霄凤，张徳馨.大数据研究[J].计算机技术与发展，2013，23（4）：170.[5]刘菊香.大数据分析在大学生就业中的应用[J].文教资料，2013，（28）：145.[6]栗蔚，魏凯.大数据的技术、应用和价值变革[J].电信网技术，2013，（7）：9.[7]王秀磊，刘鹏.大数据关键技术[J].中兴通讯技术，2013，19（4）.[8]关志刚.IT经理网[EB/OL].http：//detail.tmall.com/item.htm？id=36959152604.[9]李国杰，程学旗.大数据研究：未来科技及经济社会发展的重大战略领域——大数据的研究现状和科学思考[J].中国科学院院刊战略与决策研究，2012，27（6）.基金项目：基于“案例模式”的《计算机导论》课程实践教学模式研究。项目编号2013B2ZC27作者简介：袁露（1987-），女，江西丰城人，硕士研究生，实验员，助理实验师，研究方向：数据挖掘。通讯作者：王映龙。