第14章 大数据管理

数据库系统概论AnIntroductiontoDatabaseSystem第14章大数据管理xxxxx目录大数据概述大数据的应用大数据管理系统小结大数据概述什么是大数据？什么是大数据定义：一般意义上，大数据是指无法在可容忍的时间内用现有IT技术和软硬件工具对其进行感知、获取、管理、处理和服务的数据集合。还有专家给出的定义是，大数据通常被认为是PB（103TB）或EB（1EB=106TB）或更高数量级的数据，包括结构化的、半结构化的和非结构化的数据。什么是大数据分类：按大数据的应用类型将大数据分为海量交易数据（企业OLTP应用）、海量交互数据（社交网、传感器、全球定位系统、Web信息）和海量处理数据（企业OLAP应用）。大数据的特征巨量（Volume）多样（Variety）快变（Velocity）价值（Value）大数据的特征—巨量大数据的首要特征是数据量巨大，而且在持续、急剧地膨胀。大规模数据的几个主要来源有：科学研究、互联网应用和电子商务领域、传感器数据、网站点击流数据、移动设备数据、无线射频识别数据等。大数据的特征—巨量观点：大是相对的，是和当时的计算机处理能力相关的，超过了现有技术的能力。但是，“大规模”又是大数据的基本要求。80年代，百万条记录就是VERYLARGEDATA00年代，TB级别就是DATAINTENSIVE10年代，100T以上，甚至PB级才能够算得上是大数据从现在起，每18个月，新增的存储量等于有史以来存储量之和！——1998年图灵奖获得者JimGray大数据的特征—多样数据的多样性通常是指异构的数据类型、不同的数据表示和语义解释。现在，越来越多的应用所产生的数据类型不再是纯粹的关系数据，更多的是非结构化、半结构化的数据，如文本、图形、图像、音频、视频、网页、推特、和博客等。大数据的特征—快变大数据的快变性也称为实时性，一方面指数据到达的速度很快，另一方面指能够进行处理的时间很短，或者要求响应速度很快，即实时响应。数据到达或者产生的速度太快，对系统处理造成巨大的压力。例如，入库速度要求：100GB/S。大数据的特征—快变时间交易额描述0时0分52秒超过10亿一分钟超10亿的交易额0时14分16秒超19亿超过2012年双十一全天交易额1时突破353亿超过2013年双十一全天交易额6时54分53秒超571亿超过2014年双十一全天交易额15时19分13秒912亿超过2015年双十一全天交易额24时超1207亿交易额翻了一番无线交易额占比81.87%，覆盖235个国家和地区“现象级”应用：在某一个时期，对系统的压力突然暴增，极易导致系统的崩溃。大数据的特征—价值大数据的价值是潜在的、巨大的。大数据不仅具有经济价值和产业价值，还具有科学价值。这是大数据最重要的特点，也是大数据的魅力所在。大数据的应用大数据的应用特征：大数据作为一种新的战略资源，要重视对数据对象的管理、重视数据治理。大数据作为一种新的研究方法，已经在许多学科领域取得成效在：第四研究范型大数据作为一种新的信息化的思维，强调跨界应用，数据整合基础上的创新。大数据的应用应用案例：感知现在预测未来——互联网文本大数据管理与挖掘数据服务实时推荐——基于大数据分析的用户建模互联网文本大数据管理与挖掘互联网媒体文本大数据应用：时事探针高速发展的互联网媒体在给人们获取信息带来便利的同时，也带来了新的挑战，其中之一便是“信息过载”问题。当一个重要新闻事件发生后，各种互联网媒体会有大量相关报道。时事探针系统可以实时监控、收集互联网媒体数据，并对数据进行深入的挖掘和分析。其主要功能包括动态数据抓取、历史数据保留、数据深度智能分析、数据可视化展示、敏感信息实时捕捉、预定阈值报警等。互联网文本大数据管理与挖掘互联网媒体文本大数据应用：时事探针该系统可以有效地帮助用户、企业以及政府机构对所关注的新闻话题在互联网媒体中的报道进行感知、获取、跟踪、预警和深入分析，具有极大应用价值。互联网文本大数据管理与挖掘互联网文本大数据管理的挑战无法事先预定义关系模式和值域无法直接用关系型数据进行存储和查询可扩展性和实时性要求高对于文本大数据处理，目前广泛使用的互联网搜索引擎只是对文本数据的简单索引和查找，不能满足用户对所关注的话题进行实时监测、深入分析以及决策支持等需求。互联网文本大数据管理与挖掘互联网文本大数据管理系统时事探针系统时事探针系统是一个面向互联网文本大数据的通用的管理和分析平台。整个系统分为离线处理和在线处理两个部分。其中离线部分是设计的重点，主要功能有：1.多源异构网络大数据的感知和获取2.文档理解及结构化数据抽取和集成3.数据存储和索引4.离线主题文本立方体建立及更新互联网文本大数据管理与挖掘互联网文本大数据管理的特点：•互联网文本大数据蕴含着丰富的社会信息，可以看作是对真实社会的网络映射•实时、深入分析互联网文本大数据，帮助人们在海量数据中获取有价值的信息，发现蕴含的规律，可以更好地感知现在、预测未来，体现了第四范式数据密集型科学发现的研究方式和思维方式。•互联网文本大数据管理对大数据系统和技术的挑战是全面的、跨学科领域的，需要创新，也需要继承传统数据管理技术和数据仓库分析技术的精华。基于大数据分析的用户建模面向用户建模的大数据系统架构面向大众的信息服务类应用在为大规模的用户提供信息服务的同时，通过用户原创内容（UserGeneratedContent，UGC）或者系统日志等方式不断地收集数据。这些数据与用户的行为紧密相关，被用来分析用户的兴趣特征，创建用户的描述文件，这就是基于大数据分析的用户建模。基于大数据分析的用户建模面向用户建模的大数据系统架构用户建模的目标是为了准确地把握用户的行为特征、兴趣爱好等，进而较为精准地向用户提供个性化地信息服务或信息推荐。基于大数据分析的用户建模面向用户建模的大数据系统架构上层应用（信息推荐等）数据服务（用户兴趣模型表）在线分析离线分析实时大数据历史大数据面向用户建模的大数据系统架构示意图基于大数据分析的用户建模数据分析：用户建模的基础工具一大类用户建模方法采用的是批处理方式的离线分析方法，对结构化或半结构化的历史日志数据进行SQL分析或者使用数据挖掘和机器学习的深度分析方法。特点：当数据量很大时，很耗时；其次，这类离线分析方法复杂度高、处理代价巨大，不能够频繁调用；实时性较差。主要适合分析那些通过大规模数据得出的相对稳定的用户属性。基于大数据分析的用户建模数据分析：用户建模的基础工具另一大类用户建模方法则采用实时的在线分析方法，数据即来即分析，更强调数据的实时分析处理能力。特点：实时性较好；当处理用户规模很大时，其代价是昂贵的。这类方法适合于捕捉一些时效性强的用户属性，比如用户当前的位置、手机信号强度等。基于大数据分析的用户建模数据服务：用户建模的价值体现特点：模型的建立来自对大数据的分析结果。建模的过程是动态的，随着实际对象地变化，模型也在变化。数据处理既有对历史数据的离线分析和挖掘，又有对实时流数据的在线采集和分析，体现了大数据上不同层次的分析：流分析、SQL分析、深度分析的需求。用户模型本身也是大数据，纬度高，信息稀疏，用户模型的存储、管理是数据服务的重要任务，要满足大规模应用需求的高并发数据更新与读取。大数据管理系统数据管理技术和系统是大数据应用系统的基础。为了应对大数据应用的迫切需求，人们研究和发展了以Key/Value非关系数据模型和MapReduce并行编程模型为代表的众多新技术和新系统。大数据管理系统NoSQL数据管理系统NewSQL数据库系统MapReduce技术大数据管理系统的新格局大数据管理系统NoSQL数据管理系统NoSQL是以互联网大数据应用为背景发展起来的分布式数据管理系统。NoSQL有两种解释：一种是Non-Relational，即非关系数据库；另一种是NotOnlySQL，即数据管理技术不仅仅是SQL。目前第二种解释更为流行。NoSQL系统支持的数据模型通常分为Key-Value模型、BigTable模型、文档模型和图模型4种模型。大数据管理系统NewSQL数据库系统NewSQL系统是融合了NoSQL系统和传统数据库事务管理功能的新型数据库系统。大数据管理系统系统名称易用性对事物的支持扩展性数据量成本代表系统操作方式一致性、并发控制经典关系数据库系统SQL系统易用SQLACID强一致性1000结点TB高Oracle，DB2，GreenplumNoSQL系统Get/Put等存取原语弱一致性最终一致性10000结点PB低BigTable,PNUTSNewSQL系统SQLACID10000结点PB低VoltDB,SpannerSQL系统、NoSQL系统、NewSQL系统的比较大数据管理系统MapReduce技术MapReduce技术是Google公司于2004年提出的大规模并行计算解决方案，主要应用于大规模廉价集群上的大数据并行处理。MapReduce是一种并行编程模型。它把计算过程分解为两个阶段，即Map阶段和Reduce阶段。大数据管理系统大数据管理系统的新格局面向操作型应用的关系数据库技术面向分析型应用的关系数据库技术面向操作型应用的NoSQL技术面向分析型应用的MapREduce技术小结什么是大数据两个大数据应用案例数据管理技术和数据管理系统习题1.请阅读本章内容2.请自主学习3.请自主查找资料4.没有作业