Hive用户指南_V1.1

1Hive用户指南V1.12目录1.Hive基本概念..........................................................................................................................31.1Hive简介..................................................................................................................31.1.1什么是Hive.......................................................................................................31.1.2为什么使用Hive...............................................................................................31.1.3Hive的特点.......................................................................................................31.2Hive架构..................................................................................................................41.2.1架构图...............................................................................................................41.2.2基本组成...........................................................................................................41.2.3各组件的基本功能...........................................................................................51.3Hive与Hadoop的关系...........................................................................................51.4Hive与传统数据库对比..........................................................................................61.5Hive的数据存储......................................................................................................72.Hive基本操作..........................................................................................................................82.1DDL操作.................................................................................................................82.1.1创建表...............................................................................................................82.1.2修改表.............................................................................................................102.1.3显示命令.........................................................................................................112.2DML操作................................................................................................................112.2.1Load................................................................................................................112.2.2Insert...............................................................................................................132.2.3SELECT.............................................................................................................152.3表关联.....................................................................................................................182.4Hive函数................................................................................................................192.4.1内置运算符.....................................................................................................192.4.2内置函数.........................................................................................................222.5HiveShell基本操作................................................................................................282.5.1Hive命令行.....................................................................................................282.5.2调用python、shell语言................................................................................2931.Hive基本概念1.1Hive简介1.1.1什么是HiveHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。1.1.2为什么使用Hive面临的问题人员学习成本太高项目周期要求太短我只是需要一个简单的环境MapReduce如何搞定复杂查询好难Join如何实现为什么要使用Hive操作接口采用类SQL语法，提供快速开发的能力。避免了去写MapReduce，减少开发人员的学习成本。扩展功能很方便。1.1.3Hive的特点可扩展Hive可以自由的扩展集群的规模，一般情况下不需要重启服务。延展性Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数。容错良好的容错性，节点出现问题SQL仍可完成执行。41.2Hive架构1.2.1架构图1.2.2基本组成用户接口：包括CLI、JDBC/ODBC、WebGUI。元数据存储：通常是存储在关系数据库如mysql,derby中。解释器、编译器、优化器、执行器。hive用HDFS进行存储，利用MapReduce进行计算。51.2.3各组件的基本功能用户接口主要由三个：CLI、JDBC/ODBC和WebGUI。其中，CLI为shell命令行；JDBC/ODBC是Hive的JAVA实现，与传统数据库JDBC类似；WebGUI是通过浏览器访问Hive。元数据存储：Hive将元数据存储在数据库中，目前只支持mysql、derby，下一版本会支持更多的数据库。Hive中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。解释器、编译器、优化器完成HQL查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在HDFS中，并在随后有MapReduce调用执行。Hive的数据存储在HDFS中，大部分的查询由MapReduce完成。1.3Hive与Hadoop的关系61.4Hive与传统数据库对比1.查询语言。由于SQL被广泛的应用在数据仓库中，因此，专门针对Hive的特性设计了类SQL的查询语言HQL。熟悉SQL开发的开发者可以很方便的使用Hive进行开发。2.数据存储位置。Hive是建立在Hadoop之上的，所有Hive的数据都是存储在HDFS中的。而数据库则可以将数据保存在块设备或者本地文件系统中。3.数据格式。Hive中没有定义专门的数据格式，数据格式可以由用户指定，用户定义数据格式需要指定三个属性：列分隔符（通常为空格、”\t”、”\x001″）、行分隔符（”\n”）以及读取文件数据的方法（Hive中默认有三个文件格式TextFile，SequenceFile以及RCFile）。由于在加载数据的过程中，不需要从用户数据格式到Hive定义的数据格式的转换，因此，Hive在加载的过程中不会对数据本身进行任何修改，而只是将数据内容复制或者移动到相应的HDFS目录中。而在数据库中，不同的数据库有不同的存储引擎，定义了自己的数据格式。所有数据都会按照一定的组织存储，因此，数据库加载数据的过程会比较耗时。4.数据更新。由于Hive是针对数据仓库应用设计的，而数据仓库的内容是读多写少的。因此，Hive中不支持对数据的改写和添加，所有的数据都是在加载的时候中确定好的。而数据库中的数据通常是需要经常进行修改的，因此可以使用INSERTINTO...VALUES添加数据，使用UPDATE...SET修改数据。5.索引。之前已经说过，Hive在加载数据的过程中不会对数据进行任何处理，甚至不会对数据进行扫描，因此也没有对数据中的某些Key建立索引。Hive要访问数据中满足条件的特定值时，需要暴力扫描整个数据，因此访问延迟较高。由于MapReduce的引入，Hive可以并行访问数据，因此即使没有索引，对于大数据量的访问，Hive仍然可以体现出优势。数据库中，通常会针对一个或者几个列建立索引，因此对于少量的特定条件的数据的访问，数据库可以有