2010’NJUPT之Spark胡楠南京邮电大学计算机学院云计算技术和大数据2010’NJUPT纲要Spark综述1核心技术2Spark架构3BDAS简介4函数式编程简介7Spark应用实例6Spark安装部署52010’NJUPT一、Spark综述Spark是什么1Spark是基于内存计算的大数据并行计算框架。Spark基于内存计算,提高了在大数据环境下数据处理的实时性,同时保证了高容错性和高可伸缩性,允许用户将Spark部署在大量廉价硬件之上,形成集群。Spark于2009年诞生于加州大学伯克利分校AMPLab。并且于2010年开源。2013年6月Spark进入Apache孵化器。目前,已经成为Apache软件基金会旗下的顶级开源项目。’NJUPT一、Spark综述Spark与Hadoop2Spark相比HadoopMapRedue的优势如下:1、中间结果输出基于MapReduce的计算模型会将中间结果序列化到磁盘上。而Spark将执行模型抽象为通用的有向无环图执行计划。且可以将中间结果缓存内存中。2、数据格式和内存布局Spark抽象出分布式内存存储结构RDD,进行数据存储。Spark能够控制数据在不同节点上的分区,用户可以自定义分区策略。2010’NJUPT一、Spark综述Spark与Hadoop33、执行策略MapReduce在数据shuffle之前总是花费大量时间来排序。Spark支持基于Hash的分布式聚合,在需要的时候再进行实际排序。4、任务调度的开销MapReduce上的不同作业在同一个节点运行时,会各自启动一个JVM。而Spark同一节点的所有任务都可以在一个JVM上运行。2010’NJUPT一、Spark综述Spark发展现状3Spark生态随着BDAS的完善,已经成型。Spark全面兼容Hadoop的数据持久层。从而让把计算任务从原来的MapReduce计算任务迁移到Spark中更加简单。目前Spark的工业应用在国内已经大范围落地。包括BAT在内的一众互联网公司都建立了自己的Spark集群2010’NJUPT纲要Spark综述1核心技术2Spark架构3BDAS简介4函数式编程简介7Spark应用实例6Spark安装部署52010’NJUPT二、Spark关键技术RDD的全称是弹性分布式数据集(resilientdistributeddataset)是Spark的核心数据模型,RDD是Spark中待处理的数据的抽象,它是逻辑中的实体。对于使用者来说,你得到的数据操作接口就是RDD,在对RDD进行处理的时候不需要考虑底层的分布式集群,就像在单机上一样即可,这也正是Spark的优势之一。什么是RDD12010’NJUPT二、Spark关键技术从Hadoop文件系统输入(比如HDFS)创建。从父RDD转换得到新的RDD。将数组或者集合这样的数据结构并行化,转化成RDD。通过cache()函数将计算后的RDD缓存到内存中。RDD创建方式22010’NJUPT二、Spark关键技术从逻辑上来看,RDD就是数据。而实际上,从物理上来看,RDD是一种分布式内存的抽象。Spark中的数据实际上是像HDFS那样分块存储RDD存储结构32010’NJUPT二、Spark关键技术分区列表计算每个分片的函数对父RDD的依赖对“键值对”数据类型RDD的分区器,控制分区策略和分区数。每个数据分区的地址列表。所以RDD实际上只是一个元数据对象,用于将对数据集的操作映射到物理存储之上。RDD的重要内部属性如下:2010’NJUPT二、Spark关键技术RDD中的依赖关系RDD之间的依赖关系可以分为两类:窄依赖:每个父RDD的分区都至多被一个子RDD的分区使用;窄依赖允许在单个集群节点上流水线式执行,这个节点可以计算所有父级分区。在窄依赖中,节点失败后的恢复更加高效。因为只有丢失的父级分区需要重新计算,并且这些丢失的父级分区可以并行地在不同节点上重新计算。宽依赖:多个子RDD的分区依赖一个父RDD的分区。宽依赖需要所有的父RDD数据可用并且数据已经通过类MapReduce的操作shuffle完成。在宽依赖的继承关系中,单个失败的节点可能导致一个RDD的所有先祖RDD中的一些分区丢失,导致计算的重新执行。2010’NJUPT二、Spark关键技术宽依赖和窄依赖的样例。每一个方框表示一个RDD,其内的阴影矩形表示RDD的分区。2010’NJUPT二、Spark关键技术TransformationTransformation操作是延迟计算的,也就是说从一个RDD转换生成另一个RDD的转换操作不是立即执行的,而是需要等到Action操作是才真正出发运算。ActionAction算子会触发Spark提交作业,并将数据输出到Spark系统。RDD操作算子,RDD中的操作算子可以分为两类:Transformation(变换)算子与Action(行动)算子。RDD算子42010’NJUPT二、Spark关键技术RDD算子操作举例如下:Valline=sc.textFile(Test.txt)line.map(n=Integer.parseInt(n)*Integer.parseInt(n)).reduce(_+_)2010’NJUPT二、Spark关键技术运行逻辑52010’NJUPTspark的容错机制6二、Spark关键技术基于血统的容错机制(lineage):在spark中RDD具有不变性,在数据处理过程中,spark通过lineage图记录了各个RDD之间的变换关系,一旦某个数据处理过程出现错误,spark可以根据lineage图快速进行容错恢复。特别是对于map操作来说,当某个节点的任务失败,spark只需要重新计算相应分区的数据,而不必将整个任务重新计算。在很多分布式数据处理系统中通过备份来进行容错,相比于这种会导致巨大存储消耗的容错方式,spark的lineage图只需要十几kb的存储空间。Spark允许用户将数据cache下来,对于将来可能频繁使用的某个计算结果,将这个RDDcache下来是明智的选择。2010’NJUPT二、Spark关键技术检查点支持:虽然lineage可用于错误后RDD的恢复,但对于很长的lineage的RDD来说,这样的恢复耗时较长。由此,可以考虑将某些RDD进行检查点操作(Checkpoint)保存到稳定存储上。Spark当前提供了为RDD设置检查点操作的API,让用户自行决定需要为哪些数据设置检查点操作。由于RDD的只读特性使得比常用的共享内存更容易做checkpoint.由于不需要关心一致性的问题,RDD的写出可在后台进行,而不需要程序暂停或进行分布式快照2010’NJUPT纲要Spark综述1核心技术2Spark架构3BDAS简介4Scala简介7Spark应用实例6Spark安装部署52010’NJUPT三、Spark体系架构架构组成1MasterWorker2010’NJUPT三、Spark体系架构架构图22010’NJUPT三、Spark体系架构角色任务3Master进程和Worker进程,对整个集群进行控制。Driver程序是应用逻辑执行的起点,负责作业的调度,即Task任务的分发Worker用来管理计算节点和创建Executor并行处理任务。Executor对相应数据分区的任务进行处理。2010’NJUPT三、Spark体系架构执行流程4Client提交应用,Master找到一个Worker启动DriverDriver向Master或者资源管理器申请资源,之后将应用转化为RDDGraphDAGScheduler将RDDGraph转化为Stage的有向无环图提交给TaskSchedulerTaskScheduler提交任务给Executor执行。2010’NJUPT纲要Spark综述1核心技术2Spark架构3BDAS简介4Scala简介7Spark应用实例6Spark安装部署52010’NJUPT四、BDAS简介目前,Spark已经发展成为包含众多子项目的大数据计算平台。伯克利将Spark的整个生态系统称为伯克利数据分析栈(BDAS),目前包含四个已经比较成熟的组件。2010’NJUPT四、BDAS简介谈到SparkSQL:首先需要从Shark说起。SparkSQL1.12010’NJUPT四、BDAS简介Shark起源1.2为了给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具,Hive应运而生,它是当时唯一运行在Hadoop上的SQL-on-Hadoop工具。但是MapReduce计算过程中大量的中间磁盘落地过程消耗了大量的I/O,降低的运行效率,为了提高SQL-on-Hadoop的效率,大量的SQL-on-Hadoop工具开始产生。其中就包括Shark2010’NJUPT四、BDAS简介Shark与hive1.3Shark基于Hive修改了内存管理、物理计划、执行三个模块,并使之能运行在Spark引擎上,从而使得SQL查询的速度得到10-100倍的提升2010’NJUPT四、BDAS简介SparkSQL1.4Shark缺陷:Shark对于Hive的太多依赖,制约了Spark的OneStackRuleThemAll的既定方针,制约了Spark各个组件的相互集成SparkSQL抛弃原有Shark的代码,汲取了Shark的一些优点,如内存列存储(In-MemoryColumnarStorage)、Hive兼容性等,重新开发了SparkSQL代码;由于摆脱了对Hive的依赖性,SparkSQL无论在数据兼容、性能优化、组件扩展方面都得到了极大的方便2010’NJUPT四、BDAS简介SparkSQL特点1.5*数据兼容方面不但兼容Hive,还可以从RDD、JSON文件中获取数据*性能优化方面采取In-MemoryColumnarStorage、byte-codegeneration等优化技术*组件扩展方面无论是SQL的语法解析器、分析器还是优化器都可以重新定义,进行扩展。2010’NJUPT四、BDAS简介Overview1.6SparkSQL是一个用于结构化的数据处理的模块。SparkSQL和SparkRDDAPI的区别如下:1、SparkSQL的接口提供更多的关于数据以及操作的结构方面的信息。2、SparkSQL会利用这些信息对数据操作进行额外的优化。可以通过三种方式与SparkSQL进行交互:SQL、DataFramesAPI、DatasetsAPI这三种API/语言最终都同一个执行引擎完成操作。所以你可以选择任何一种舒服的方式来书写自己的数据处理逻辑。2010’NJUPT四、BDAS简介SQL1.7SparkSQL的使用方式之一是用来执行SQL查询。特性如下:同时支持标准的SQL语句和HiveQL能够从Hive表中读取数据(需要进行配置)查询结果将返回一个DataFrame支持在交互式环境中使用SQL语句2010’NJUPT四、BDAS简介DataFrames1.7DataFrame用来描述结构化的数据。Spark官方给出的定义为:ADataFrameisadistributedcollectionofdataorganizedintonamedcolumns.DataFrame概念上等同于关系型数据库中的一个表或者R/Python语言中的dataframe,不同的是Spark提供更丰富的优化。DataFrame可从多种资源中构建:结构化的数据文件、hive中的表、外部数据库、现有的RDD等。DataFrame提供了丰富的API。2010’NJUPT四、BDAS简介SparkStreaming2SparkStreaming是建立在Spark上的实时计算框架,