Hive理论_Hive-基于MapReduce框架的数据仓库解决方案_ZN

文档名称文档密级：2020-5-22华为机密，未经许可不得扩散第1页,共9页Hive-基于Map-Reduce框架的数据仓库解决方案AshishThusoo,JoydeepSenSarma,NamitJain,ZhengShao,PrasadChakka,SureshAnthony,HaoLiu,PeteWyckoff,RaghothamMurthyFacebookDataInfrastructureTeamTranslatorQichen1介绍在商业智能领域（BI，businessintelligence），海量数据的搜集和分析发展尤为迅速，意味着使用传统的数据仓库解决方案会变得极其昂贵。Hadoop是一个流行的开源框架，实现了map-reduce，使用普通硬件就能对海量数据进行存储和处理。然而，map-reduce编程模型较底层，需要开发者编写很多程序，这些程序又难于维护和复用。本文将展示Hive，它是一个基于Hadoop之上的开源数据仓库解决方案。Hive提供了与SQL类似的一种查询语言HiveQL，用于支持查询表达并能将其转化为map-reduce任务在hadoop中执行。HiveQL还支持在查询中插入自定义的map-reduce脚本。HiveQL包含了一个类型系统，用来支持表中出现的原始类型、类似于数组和map的集合类型以及由他们嵌套组成的类型。可以扩展其基本IO库进行自定义格式的数据查询。Hive还包括了一个系统目录(systemcatalog)Hive-Metastore，此系统提供模式（schemas）和统计，用于数据挖掘和查询优化。在Facebook公司，Hive数据仓库中存有数千张容量至少为2PB的表，有超过100人使用其做报告和查询分析之用。本文其它章节的描述如下：第2节描述Hive数据模型和HiveQL使用实例第3节描述Hive体系结构及概览查询的各阶段第4节对演示进行了说明在第5节我们讨论未来的工作并以此结束2HIVE数据库2.1数据模型Hive中的数据可划分为如下类型：表（Tables）类似于传统数据库中的表。表中的数据存储在HDFS目录中。Hive为用户提供了一个框架，用于访问由DDL语句创建的具有基本数据类型格式的表（或分区）。用户还可以通过定义新的序列化和去序列化方法（又称为SerDe’s）的方式提供相应的抽取器（extractors）和加载器（loaders），用以访问新数据类型格式的表。表和新数据格式的关联关系被存储在系统目录(systemcatalog)中，在编译和执行查询文档名称文档密级：2020-5-22华为机密，未经许可不得扩散第2页,共9页的时候被Hive自动使用。Hive还提供了默认的序列化格式，默认的格式采用了压缩和惰性去序列化。此外，Hive还支持扩展表，这些表的数据可能存储在HDFS，NFS和本地目录中。分区（Partitions）每张表可以有1或多个分区用以划分数据，划分后的数据存放到表所在目录下的子目录中。比如，表T的数据存储在目录/wh/T，现按列ds=20090101和ctry=US对其进行划分，那么划分后的数据将会存储在目录/wh/T/ds=20090101/ctry=US中。桶（Buckets）分区中的数据还能依次分成不同的桶，桶的划分基于表中各列的哈希值（Hash），桶做为分区目录中的一个文件存储的。Hive支持原始的列类型（integers，floatingpointnumbers，genericstrings，dates和booleans）和嵌套的集合类型：array和map。用户也可以定义自己的类型。2.2查询语言HiveQL是一种很像SQL的查询语言。事实上，SQL查询所包含select，project，join，aggregate，unionall和from语句下的子查询也适用于HiveQL。Hive支持数据定义（DDL）语句，能用来创建，删除和修改表，还允许用户从外部源加载数据以及分别通过加载（load）和插入（insert）数据操作语句（DML）将查询得到的结果插入到Hive的表中。HiveQL目前不支持更新（updating）和删除（deleting）表中的行。HiveQL还支持多表插入，用户可以对相同的输入数据使用一个HiveQL语句进行多维查询，Hive通过共享输入数据优化了这种查询。HiveQL也易于扩展，用户能插入用java编写的自定义的列转换和聚合功能。此外HiveQL允许用户嵌入自定义map-reduce脚本，这些脚本可以用任何语言进行编写，并且都是简单的基于行（row-bashed）书写的，比如从标准输入读入行以及输出行到标准输出。此特点就能将行转化字符串。我们省略了很多的细节，有关HiveQL语言的更多描述可以参考其手册。2.3实例：StatusMeme我们现在展示一个简单的应用：StatusMeme，来自FacebookLexicon。当Facebook的用户更新其状态时，更新的信息会记录到NFS目录中/logs/status_updates，更新每天都在持续。我们加载数据到hive中一个表中：status_updates(useridint,statusstring,dsstring)使用如下语句进行数据的加载：LOADDATALOCALINPATH‘/logs/status_updates’INTOTABLEstatus_updatesPARTITION(ds=’2009-3-20’)每一条记录包含用户标识符（userid），状态字串（status）和状态更新的日期（ds），这张表按ds列进行划分。更详细的用户信息比如性别，读过的学校保存在profiles文档名称文档密级：2020-5-22华为机密，未经许可不得扩散第3页,共9页（useridint,schoolstring,genderint）表中。首先我们统计出当日状态信息被更新的记录，然后按学校项统计当日的记录数量并输出到school_summary(schoolstring,cntint,dsstring)表中以及按性别项统计当日的记录数量并输出到gender_summary(genderint,cntint,dsstring)表中。注意到输出表也按ds列进行了分区，并且HiveQL允许用户在输出表的指定分区中插入查询结果。FROM(SELECTa.status,b.school,b.genderFROMstatus_updatesaJOINprofilesbON(a.userid=b.useridanda.ds=’2009-03-20’))subq1INSERTOVERWRITETABLEgender_summaryPARTITION(ds=’2009-03-20’)SELECTsubq1.gender,COUNT(1)GROUPBYsubq1.genderINSERTOVERWRITETABLEschool_summaryPARTITION(ds=’2009-03-20’)SELECTsubq1.school,COUNT(1)GROUPBYsubq1.school接下来，我们按学校项显示出每个学校最流行的10个memes。同时展示通过使用HiveQL的map-reduce完成这次计算。我们联合status_updates和profiles两张表并插入一个自定义的Pythonmapper脚本meme-extractor.py得到了结果。这个脚本用自然语言的方式去描述从状态字串中抽取memes。因为Hive还不支持范围聚合功能（rankaggregationfunction），所以每个学校的top10memes的计算是使用自定义的Pythonreduce脚本top.py完成的。FROM(SELECTsubq1.school,subq1.meme,COUNT(1)AScntFROM(MAPb.school,a.statusUSING‘meme-extractor.py’AS(school,meme)FROMstatus_updatesaJOINprofilesbON(a.userid=b.userid))subq1GROUPBYsubq1.school,subq1.memeDISTRIBUTEBYschool,memeSORTBYschool,meme,cntdesc)subq2;REDUCEsubq2.school,subq2.meme,subq2.cntUSING‘top10.py’AS(school,meme,cnt)文档名称文档密级：2020-5-22华为机密，未经许可不得扩散第4页,共9页3HIVE体系结构图1Hive架构图1显示了Hive中的主要部件以及其和Hadoop的交互关系。Hive的主件有：外部接口Hive提供了两个用户接口：命令行（CLI）和webUI以及应用编程接口（API）：JDBC和ODBCThriftServer提供了一个很简单的API用于执行HiveQL语句。Thrift框架提供多语言服务，是用一种语言（如Java）编写的客户端，也支持其它语言编写。Thrift客户端可由不同语言生成，用来构建通用驱动程序如JDBC（java），ODBC（c++）以及用php,perl,python等语言编写的脚本驱动。Metastore是一个系统目录（systemcatalog）。与metastore交互的其它Hive组件详见3.1节Driver掌管HiveQL语句的生命周期，周期包括编译，优化和执行。用于接收了来自thrift服务器或其它接口的HiveQL语句。Driver会创建一个sessionhandle用以统计执行时间，输出行个数等信息。Compiler由dirver调用，将接收到的HiveQL语句转换为由map-reduce任务的DAG组成的策略（plan），详见3.2节ExecutionEnginedirver提交单独的map-reduce任务到执行引擎（Execution文档名称文档密级：2020-5-22华为机密，未经许可不得扩散第5页,共9页Engine），这些任务来自DAG并以拓扑顺序被提交。目前，Hive使用Hadoop做为它的执行引擎接下来我们对metastore和compiler进行详细阐述3.1MetastoreMetastore是系统目录(catalog)用于保存Hive中所存储的表的元数据（metadata）信息。每次在使用HiveQL创建或使用表时均会指定元数据。Metastore是Hive被用作传统数据库解决方案（如oracle和db2）时区别其它类似系统的一个特征，这些系统如Pig和Scope也是构建在map-reduce框架上的数据处理系统。Metastore包含如下的部分：Database是表（table）的名字空间。默认的数据库（database）名为‘default’，提供给那些没有被指定数据库名的表使用。Table表（table）的原数据包含信息有：列（listofcolumns）和它们的类型（types），拥有者（owner），存储空间（storage）和SerDei信息。还包含有任何用户提供的key和value数据；这一能力在将来还可能被用于存储表（table）的统计信息。存储空间（storage）信息包含表（table）的数据，数据格式和桶信息。SerDe元数据包含有：实现序列化和去序列化方法的类以及实现时所需要的信息。所有这些信息会在表创建的时候产生。Partition每个分区（partition）都有自己的列（columns），SerDe和存储空间（storage）。这一特征将被用来支持Hive中的模式演变（schemaevolution）Metastore存储系统在随机访问和更新的在线事务上还需优化。像HDFS文件系统适用于序列扫描而非随机访问。这样metastore可使用传统的数据库（像MySQL，Oracle）或文件系统（如本地系统，NF