搜索
HBase简介数据部：桂宇目录1.HBase简介2.HBase体系结构3.HBase数据模型4.HBase提供的接口5.HBase优化6.HBase用途HBase简介•Hadoop生态系统成员名用途HadoopCommonHadoop体系最底层的一个模块，为Hadoop各子项目提供各种工具，如：配置文件和日志操作等。AvroAvro是dougcutting主持的RPC项目，有点类似Google的protobuf和Facebook的thrift。avro用来做以后hadoop的RPC，使hadoop的RPC模块通信速度更快、数据结构更紧凑。ChukwaChukwa是基于Hadoop的大集群监控系统，由yahoo贡献。HBase基于HadoopDistributedFileSystem，是一个开源的，基于列存储模型的分布式数据库。HDFS分布式文件系统Hivehive是基于hadoop分布式计算平台上的提供datawarehouse的sql功能的一套软件。使得存储在hadoop里面的海量数据的汇总，即席查询简单化。hive提供了一套QL的查询语言，以sql为基础，使用起来很方便。MapReduce实现了MapReduce编程框架PigPig是SQL-like语言，是在MapReduce上构建的一种高级查询语言，把一些运算编译进MapReduce模型的Map和Reduce中，并且用户可以定义自己的功能。ZooKeeperZookeeper是Google的Chubby一个开源的实现。它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。HBase简介•HBase是一个分布式的、多版本的、面向列的开源数据库–利用HadoopHDFS作为其文件存储系统，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。–利用HadoopMapReduce来处理HBase中的海量数据–利用Zookeeper作为协同服务。HBase简介•HBase中表的特点–大：一个表可以有上亿行，上百万列（列多时，插入变慢）–面向列：面向列(族)的存储和权限控制，列(族)独立检索。–稀疏：对于为空(null)的列，并不占用存储空间，因此，表可以设计的非常稀疏。–每个cell中的数据可以有多个版本，默认情况下版本号自动分配，是单元格插入时的时间戳；–HBase中的数据都是字符串，没有类型；HBase特点•强一致性–同一行数据的读写只在同一台RegionServer上进行•水平伸缩–Region的自动分裂以及Master的balance；–只用增加Datanode机器即可增加容量；–只用增加RegionServer机器即可增加读写吞吐量HBase特点•行事务–同一行的列的写入是原子的；•ColumnOriented+三维有序–SortedMap(RowKey，List(SortedMap(Column，List(Value，Timestamp))))–rowKey(ASC)+columnLabel(ASC)+Version(DESC)--valueHBase特点•支持有限查询方式和一级索引–仅支持单行事务–仅支持三种查询方式（singlerowkey、rangerowkey、scanallrowsoftable）【可通过hive等实现多表关联查询】–仅基于rowkey的索引•高性能随机写–WAL(WriteAheadLog)HBase特点•和Hadoop无缝集成–Hadoop分析后的结果可直接写入HBase；–存放在HBase的数据可直接通过Hadoop来进行分析。HBase与RDBMS对比HBaseRDBMS数据类型只有字符串丰富的数据类型数据操作简单的增删改查各种各样的函数，表连接存储模式基于列存储基于表格结构和行存储数据保护更新后旧版本仍然会保留替换可伸缩性轻易的进行增加节点，兼容性高需要中间层，牺牲功能目录1.HBase简介2.HBase体系结构3.HBase数据模型4.HBase提供的接口5.HBase优化6.HBase用途HBase体系结构HBase体系结构•Client–包含访问HBase的接口并维护cache来加快对HBase的访问•Zookeeper–保证任何时候，集群中只有一个master–存贮所有Region的寻址入口。–实时监控Regionserver的上线和下线信息。并实时通知给Master–存储HBase的schema和table元数据•Master–为Regionserver分配region–负责Regionserver的负载均衡–发现失效的Regionserver并重新分配其上的region–管理用户对table的增删改查操作•RegionServer–Regionserver维护region，处理对这些region的IO请求–Regionserver负责切分在运行过程中变得过大的region-ROOT-与.META.表•-ROOT-–表包含.META.表所在的区域列表，该表只会有一个HRegion；–Zookeeper中记录了-ROOT-表的location•.META.–表包含所有的用户空间区域列表，以及RegionServer的服务器地址；Region定位16.META.表的一行在内存中大约占用1KB。并且每个region限制为128MB。那么此三层结构可以保存的region数目为：(128MB/1KB)*(128MB/1KB)==2(34)个region目录1.HBase简介2.HBase体系结构3.HBase数据模型4.HBase提供的接口5.HBase优化6.HBase用途逻辑视图、物理视图18HBase以表的形式存储数据。表由行和列组成。列划分为若干个列族(rowfamily)RowKeyTimeStampCFcontents:CFanchor:CFmime:“fashon.com“tuan.comt9“fashion.360buyt8“tuan.360buyt6html...text/htmlt5html...t3html...RowKeyTimeStampColumn“contents::fashon.com“fashion.360buyt8anchor:tuan.com“tuan.360buyRowKeyTimeStampColumnmime:每个列族存储为一个StoreHBase数据表中一些关键概念•Rowkey键•ColumnFamily列族•Cellqualifier列族修饰符（列）•Timestamp时间戳•Region区域键Rowkey•表中行的键是字节数组(最大长度是64KB)•任何字符串都可以作为键；•表中的行根据行的键值进行排序，数据按照Rowkey的字节序(byteorder)排序存储；–字典序对int排序的结果是1,10,100,11,12,13,14,15,16,17,18,19,2,20,21,…,9,91,92,93,94,95,96,97,98,99。要保持整形的自然序，行键必须用0作左填充•所有对表的访问都要通过键–通过单个rowkey访问–通过rowkey的range–全表扫描列族ColumnFamily•HBase表中的每个列都归属于某个列族，列族必须作为表模式(schema)定义的一部分预先给出。如create‘test’,‘course’；•列名以列族作为前缀，每个“列族”都可以有多个列成员(column)；如course:math,course:english,•新的列族成员可以随后按需、动态加入；•权限控制、存储以及调优都是在列族层面进行的；–同一列族成员最好有相同的访问模式和大小特征；•HBase把同一列族里面的数据存储在同一目录下，由几个文件保存。单元格修饰符Cellqualifier•通过列族:单元格修饰符，可以具体到某个列；•可以把单元格修饰符认为是实际的列名；•在列族存在，客户端随时可以把列添加到列族；HTabletable=newHTable(conf,tableName);Getget=newGet(rowKey.getBytes());Resultrs=table.get(get);for(KeyValuekv:rs.raw()){System.out.print(newString(kv.getRow())+);System.out.print(newString(kv.getFamily())+:);System.out.print(newString(kv.getQualifier())+);System.out.print(kv.getTimestamp()+);System.out.println(newString(kv.getValue()));}时间戳Timestamp•在HBase每个cell存储单元对同一份数据有多个版本，根据唯一的时间戳来区分每个版本之间的差异，不同版本的数据按照时间倒序排序，最新的数据版本排在最前面。•时间戳的类型是64位整型。•时间戳可以由HBase(在数据写入时自动)赋值，此时时间戳是精确到毫秒的当前系统时间。•时间戳也可以由客户显式赋值，如果应用程序要避免数据版本冲突，就必须自己生成具有唯一性的时间戳。区域Region•HBase自动把表水平划分成多个区域(region)，每个region会保存一个表里面某段连续的数据；•每个表一开始只有一个region，随着数据不断插入表，region不断增大，当增大到一个阀值的时候，region就会等分会两个新的region；•当table中的行不断增多，就会有越来越多的region。这样一张完整的表被保存在多个Region上。Cell单元格•由行和列的坐标交叉决定；•单元格是有版本的；•单元格的内容是未解析的字节数组；•由{rowkey，column(=family+label)，version}唯一确定的单元。cell中的数据是没有类型的，全部是字节码形式存贮。锁•HBase的写操作是锁行的，每一行都是一个原子元素，无论对行进行访问的事务设计多少列，对行的更新都是原子的。都可以加锁。这使得加锁模型简单化。HBase中数据表的物理存储方式物理存储281、Table中的所有行都按照rowkey的字典序排列。2、Table在行的方向上分割为多个HRegion。物理存储293、Region按大小分割的，每个表一开始只有一个region，随着数据不断插入表，region不断增大，当增大到一个阀值的时候，HRegion就会等分会两个新的HRegion。当able中的行不断增多，就会有越来越多的HRegion。物理存储304、HRegion是HBase中分布式存储和负载均衡的最小单元。最小单元就表示不同的HRegion可以分布在不同的HRegionserver上。但一个HRegion是不会拆分到多个server上的。物理存储315、HRegion虽然是分布式存储的最小单元，但并不是存储的最小单元。事实上，HRegion由一个或者多个Store组成，每个store保存一个columnsfamily。每个Strore又由一个memStore和0至多个StoreFile组成。如图：StoreFile以HFile格式保存在HDFS上。物理存储32HFile的格式为：物理存储•HFile分为六个部分：–DataBlock段：保存表中的数据，这部分可以被压缩–MetaBlock段(可选的)：保存用户自定