一文讲清HBase存储结构

前言

Hbase 是一个分布式的、多版本、面向列的开源 KV 数据库。运行在 HDFS 的基础上，支持 PB 级别、百万列的数据存储。做为性能如此强大的KV数据库，HBase的存储结构到底是怎样的呢？面向列的存储结构究竟有什么样的不一样之处呢？接下来会详细讲解这部分。

HBase的存储结构

为了清晰地表述这个，咱们把HBase的存储结构分为逻辑结构和物理结构两个部分来描述。

逻辑存储结构

经过下图直观地展现 HBase 的逻辑存储结构：

在本图中，列簇（Column Family）对应的值就是 info 和 area ，列（ Column 或者称为 Qualifier ）对应的就是 name 、 age 、 country 和 city ，Row key 对应的就是 Row 1 和 Row 2，Cell 对应的就是具体的值。

• Row key ：表的主键，按照字典序排序。
• 列簇：在 HBase 中，列簇将表进行横向切割。
• 列：属于某一个列簇，在 HBase 中能够进行动态的添加。
• Cell : 是指具体的 Value 。
• Version ：在这张图里面没有显示出来，这个是指版本号，用时间戳（TimeStamp ）来表示。

看完这张图，是否是有点疑惑，怎么获取其中的一条数据呢？既然 HBase 是 KV 的数据库，那么固然是以获取 KEY 的形式来获取到 Value 啦。在 HBase 中的 KEY 组成是这样的：

KEY 的组成是以 Row key 、CF(Column Family) 、Column 和 TimeStamp 组成的。

TimeStamp 在 HBase 中充当的做用就是版本号，由于在 HBase 中有着数据多版本的特性，因此同一个 KEY 能够有多个版本的 Value 值（能够经过配置来设置多少个版本）。查询的话是默认取回最新版本的那条数据，可是也能够进行查询多个版本号的数据，在接下来的进阶操做文章中会有演示。

Region Server 和 Region 的关系

• 一个 Region Server 就是一个机器节点(服务器)
• 一个 Region Server 包含着多个 Region
• 一个 Region 包含着多个列簇 (CF)
• 一个 Region Server 中能够有多张 Table，一张 Table 能够有多个 Region

物理存储结构

先来看这张图：

为了避免混淆，咱们能够先把如下的概念一一对应起来

逻辑结构	物理结构
Region Server	HRegion Server
Region	HRegion
CF	HStore(这里指的是Store)

在具体的物理结构中

• HRegion Server 就是一个机器节点，包含多个 HRegion ，可是这些 HRegion 不必定是来自于同一个 Table ，负责响应的是用户的 IO 请求，和 HDFS 进行交互，是服务器中的一个进程。
• HRegion 包含多个 HStore 。
• 一个 CF 组成一个 HStore ，默认是 10 G，若是大于 10G 会进行分裂。HStore 是 HBase 的核心存储单元，一个 HStore 由 MemStore 和 StoreFile 组成。
• MemStore 是一块内存，默认大小是 128M，若是超过了这个大小，那么就会进行刷盘，把内存里的数据刷进到 StoreFile 中。
• 在 HStore 对应着的是 Table 里面的 Column Family，无论有 CF 中有多少的数据，都会存储在 HStore 中，为了不访问不一样的 HStore 而致使的效率低下。
• HRegion 是 Hbase 中分布式存储和负载均衡的最小单元，但不是存储的最小单元。
• 一个 Hstore 能够有多个 StoreFile

在HBase中查找不一样的CF的数据

从不一样的 CF 中查询 Row 3 主键的数据，结果集以下：

更加直观地显示，在 HBase 中是以 CF 为单元的存储结构。

HBase的架构

以下图，HBase 的架构图，在 HBase 中咱们看到有 Client、Zookeeper、HMaster 和 HRegion。

• Client 是客户端，要求读写数据的发起者。
• ZK 集群是负责转发 Client 的请求和提供心跳机制，会让 HRegion Server 和 HRegion 注册进来，同时保存着 Rowkey 和 Region 的映射关系。
• HMaster 中能够有多个待命，只有一个在活跃。

Hbase读取数据的过程

Client 请求读取数据时，先转发到 ZK 集群，在 ZK 集群中寻找到相对应的 Region Server，再找到对应的 Region，先是查 MemStore，若是在 MemStore 中获取到数据，那么就会直接返回，不然就是再由 Region 找到对应的 Store File，从而查到具体的数据。

在整个架构中，HMaster 和 HRegion Server 能够是同一个节点上，能够有多个 HMaster 存在，可是只有一个 HMaster 在活跃。

在 Client 端会进行 rowkey-> HRegion 映射关系的缓存，下降下次寻址的压力。

HBase 写入数据的过程

先是 Client 进行发起数据的插入请求，若是 Client 自己存储了关于 Rowkey 和 Region 的映射关系的话，那么就会先查找到具体的对应关系，若是没有的话，就会在ZK中进行查找到对应 Region server，而后再转发到具体的 Region 上。全部的数据在写入的时候先是记录在 WAL 中，同时检查关于 MemStore 是否满了，若是是满了，那么就会进行刷盘，输出到一个 Hfile 中，若是没有满的话，那么就是先写进 Memstore 中，而后再刷到 WAL 中。

PS：画图的过程是真滴累啊！！！

题图：chichimaru