搜索
广东石油化工学院专题讲座与创新实践论文题目：大数据时代信息探索专业：电气工程及其自动化姓名：张小健班级：电气12-4指导老师：熊建斌学号：12034470443摘要：大数据（BigData）是指那些超过传统数据库系统处理能力的数据。它的数据规模和转输速度要求很高，或者其结构不适合原本的数据库系统。大数据的特征是数据量大、数据种类多、非标准化数据的价值最大化。大数据的整体态势和发展趋势，主要体现在几个方面：大数据与学术、大数据与人类的活动，大数据的安全隐私、关键应用、系统处理和整个产业的影响。大数据整体态势上，数据的规模将变得更大，数据资源化、数据的价值凸显、数据私有化出现和联盟共享。因此，大数据的价值是通过数据共享、交叉复用后获取最大的数据价值。关键字：大数据折叠编辑本段折叠市场1.1大数据概念大数据或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。“大数据”是指以多元形式，自许多来源搜集而来的庞大数据组，往往具有实时性。在企业对企业销售的情况下，这些数据可能得自社交网络、电子商务网站、顾客来访纪录，还有许多其他来源。这些数据，并非公司顾客关系管理数据库的常态数据组。从技术上看，大数据[1]与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式计算架构。它的特色在于对海量数据的挖掘，但它必须依托云计算的分布式处理、分布式数据库、云存储和/或虚拟化技术。(在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代[4]》中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据的方法）大数据的4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）。1.1.1大数据意义大数据的意义是由人类日益普及的网络行为所伴生的，受到相关部门、企业采集的，蕴含数据生产者真实意图、喜好的，非传统结构和意义的数据。2013年5月10日，阿里巴巴集团董事局主席马云在淘宝十周年晚会上，将卸任阿里集团CEO的职位，并在晚会上做卸任前的演讲，马云说，大家还没搞清PC时代的时候，移动互联网来了，还没搞清移动互联网的时候，大数据时代来了。从海量数据中“提纯”出有用的信息，这对网络架构和数据处理能力而言也是巨大的挑战。在经历了几年的批判、质疑、讨论、炒作之后，大数据终于迎来了属于它的时代。2012年3月22日，奥巴马政府宣布投资2亿美元拉动大数据相关产业发展，将“大数据战略”上升为国家战略。奥巴马政府甚至将大数据定义为“未来的新石油”。大数据时代已经来临，它将在众多领域掀起变革的巨浪。但我们要冷静的看到，大数据的核心在于为客户挖掘数据中蕴藏的价值，而不是软硬件的堆砌。因此，针对不同领域的大数据应用模式、商业模式研究将是大数据产业健康发展的关键。我们相信，在国家的统筹规划与支持下，通过各地方政府因地制宜制定大数据产业发展策略，通过国内外IT龙头企业以及众多创新企业的积极参与，大数据产业未来发展前景十分广阔。大数据就是互联网发展到现今阶段的一种表象或特征而已，没有必要神话它或对它保持敬畏之心，在以云计算为代表的技术创新大幕的衬托下，这些原本很难收集和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值。产业洞察研究院表示无论如何，大数据在风电领域已有所建树。首先，结合了大数据分析和天气建模技术的能源电力系统能够提高风电的可靠性。以往对风资源的预测不够精准，在风能无法贡献预期功力时，火电就要作为后备电力。这样，电网对风电的依赖程度越高，需要建设后备电站的成本就越高。另外，启用火电站的就等于向环境中释放碳排。然而，在大数据分析的帮助下，温度、气压、湿度、降雨量、风向和风力等变量都得到充分考虑，对风电的预测更加精准。电网调度人员可以提前做好调度安排，也有助于电网消纳更多风电。除了做到更精准的预测，检测和采集风机的运转数据、风场的运营数据还有利于风机制造商更好地改善风机的性能，风电场业主在追求风场效益最大化时也离不开大数据。大数据在风电领域的应用前景看起来很美，但当前存在的问题是，将风机、风场的数据汇集起来并非易事。这些数据分散在风机制造商、风场业主、系统运营商和运维服务商等多个环节手中，他们能从这些数据中得到利益却无法做到合理分配，所以，有些利益相关方宁愿不分享这些数据。知识产权问题也是大数据影响风电进程的一个拦路虎。试想，如果多家风机制造商都公开风机的设计数据，那将是整个行业的幸事，通过交流和分享，风机的设计会有所改善性，性能会提高。但出于商业竞争考虑，风机制造商往往将这些数据视为商业机密、竞争利器，不愿公开。同理，风场业主收集和保存的风电运行数据不但有助于他们做出更好的业务决策，也有利于第三方运维企业提供更好的服务，但在实际情况下，运维商却很难得到这些数据。风电行业的意义在于向终端消费者提供更稳定、更清洁、更廉价的电力，这是行业存在合理性的根据，也是业界努力的方向。共建并分享运营数据，进而激发这些数据的全部潜力才是风电行业迎接大数据时代的应有姿态。对于大数据，它也是经常可以创建适用于大多数分析的汇总数据。例如一个计算不同地点车辆数量的交通遥测应用。这中方法可以产生大量的数据，但是如果汇总数据最后一分钟还存储在内存中，最后一小时存储在闪存中，最后一天存在磁盘上，那么控制应用程序所需的实际时间可以通过快速访问资源得到满足,然而假设分析时我们可以使用一些更便宜、更慢的应用程序是会怎样。SOA都是抽象的，但当抽象隐藏了底层影响性能和响应时间的复杂性时，这种抽象的危险程度会提高。数据访问也是这样的，因此,SOA架构师需要认真地考虑抽象与性能之间的平衡关系，并为其特定的业务需求优化它。1.1.2折叠编辑本段大数据特点第一，数据体量巨大。从TB级别，跃升到PB级别。第二，数据类型繁多，如前文提到的网络日志、视频、图片、地理位置信息，等等。第三，价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。第四，处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。2.1折叠编辑本段最新动态中国报告网调查员最新获悉，最近，十多位院士向高层建议，我国应制定大数据国家战略，并在发展目标、发展原则、关键技术等方面作出顶层设计。与此同时，国家发改委与中科院正在启动“基础研究大数据服务平台应用示范项目”。权威人士透露，有关部门正在积极研究，大数据国家战略或将提上议程。多位中国科学院院士和中国工程院院士表示，在我国国家战略层面的文件中，对大数据提得不多，希望国家制定大数据国家战略。多位院士的建议方案认为，所要制定的大数据国家战略是国家层面的顶层规划。其主要内容包括：构建大数据研究平台，整合创新资源，实施“专项计划”，突破关键技术；构建大数据良性生态环境，制定支持政策，形成行业联盟，制定行业标准；构建大数据产业链，促进创新链与产业链有效嫁接。一位中国工程院院士在一份《关于实施大数据国家战略研究》的报告中表示：“虽然我们意识到大数据的重要性，却并未在真正意义上将其提升到国家战略高度来考量，我们迫切需要从国家层面上制定大数据发展规划，将大数据上升为国家战略。”这份研究报告指出，要“通过国家层面的战略规划明确大数据产业的发展重点、空间布局和保障措施，推动和改善与大数据相关的收集、储存和分析工具及技术，并在公共服务领域如安防、医疗、卫生、教育等开展大数据应用示范，提高应急处置能力和安全防范能力，提升服务能力和运作效率。”调查员从国家发改委了解到，最近，国家发改委和中科院正在推进国家高技术服务业研发与产业化专项“基础研究大数据服务平台应用示范”项目。国家发改委高技术产业司有关人士表示：“我们将依靠新的方式、新的理念、新的技术对大数据进行挖掘应用，帮助科技、经济、社会发展；希望结合有关国家研究机构的优势与特色，能够探索大数据的潜在发展前景与效益，支持相关领域内的融合创新与思想碰撞。”中国科学院科学数据中心主任黎建辉研究员则表示“目前我们正在对基础研究的大数据获取方式、组织与管理、关联与发现、分析与可视化等方面进行研究，下阶段将研究大数据的协同创新、科研模式变革、服务模式、产业化探索、人才培养等方面问题。”科技部高新司副司长杨咸武表示：“当前全球已经全面进入信息时代，数据的深度分析和利用将对推动经济持续增长、提升企业的竞争力起到重要的作用。”重点任务主要有布局关键技术、推进示范应用、完善支持政策等三方面。首先，布局关键技术研发创新。一是以数据分析技术为核心，加强人工智能、商业智能、机器学习等领域的理论研究和技术研发，夯实发展基础。二是加快非结构化数据处理技术、非关系型数据库管理技术、可视化技术等基础技术研发，并推动与云计算、物联网、移动互联网等技术的融合，形成较为成熟、可行的解决方案。三是面向大数据应用，加强网页搜索技术、知识计算搜索技术、知识库技术等核心技术的研发，开发出高质量的单项技术产品，并与数据处理技术相结合，为实现商业智能服务提供技术体系支撑。其二，加速推进示范应用。一是面向能源、金融、电信等行业，引导企业参与，发展数据监测、商业决策、数据分析等软硬件一体化的行业应用解决方案；二是面向城镇化建设与民生需求，加快推动大数据在城市建设生活服务领域的应用，不断提升数字内容加工处理软件等服务发展水平。三是推动行业数据深加工服务。大力开发深度加工的行业数据库，对高科技领域数据进行深度加工，建立基于不同行业领域的专题数据库，提供内容增值服务。四是推进政府及大型公共信息服务平台建设。发展和利用跨部门的政府信息大平台，提高行政工作效率，降低政府运行成本。利用政府信息大平台，提高政府决策的科学性和精准性，提高政府预测预警能力以及应急响应能力。最后，完善支持政策，鼓励民间投资。一是加大财政投入。加大中央预算内投资和中央财政信息技术专项资金对大数据产业的投入，安排国有资本经营预算支出支持重点企业实施大数据项目。二是拓展投融资渠道。积极创新金融产品和服务，支持大数据成果转化和产业化。鼓励和引导民间投资和外资进入大数据领域。2.1.2折叠编辑本段发展影响大数据意味什么?企业与厂商斯隆数字巡天收集在其最初的几个星期，比在天文学的历史，早在2000年的整个数据收集更多的数据。自那时以来，它已经积累了140兆兆字节的信息。这个望远镜的继任者，大天气巡天望远镜，将于2016年在网上和将获得的数据，每5天沃尔玛处理超过100万客户的交易每隔一小时，反过来进口量数据库估计超过2.5PB的是相当于167次，在美国国会图书馆的书籍。FACEBOOK处理400亿张照片，从它的用户群。解码最初的人类基因组花了10年来处理时，现在可以在一个星期内实现。“大数据”的影响，增加了对信息管理专家的需求，甲骨文，IBM，微软和SAP花了超过15亿美元的在软件智能数据管理和分析的专业公司。这个行业自身价值超过1000亿美元，增长近10%，每年两次，这大概是作为一个整体的软件业务的快速。大数据已经出现，因为我们生活在一个社会中有更多的东西。有46亿全球移动电话用户有1亿美元和20亿人访问互联网。基本上，人们比以往任何时候都与数据或信息交互。1990年至2005年，全球超过1亿人进入中产阶级，这意味着越来越多的人，谁收益的这笔钱将成为反过来导致更多的识字信息的增长。思科公司预计，到2013年，在互联网上流动的交通量将达到每年667艾字节。3.1折叠市场中国人口众多，互联网用户数在2013年已经超过5亿人，全球第一。海量的互联网用户创造了大规模的数据量。据预测，到2015年全球有超过85%的财富500强企业将在大数据竞争中失去优势。我们认为这种发展趋势在国内同样不可避免，在未来的市场竞争中，能在第一时间从大量互联网数据中获取最有价值信息的企业才最具有优势。当前，大部分中国企业在数据基础系统架构和数据分