Hbase基础知识

HBase简介

分布式，多版本，面向列的数据库
特色：强一致性 高扩展 高可用

HBase数据原型

• RowKey: 表中每条记录的主键，RowKey会进行字典排序
• Column Family: 列族，将表进行横向切割，后面简称CF
• Column: 属于某一个列族，可动态添加列
• Version Number: 类型为Long，默认值是系统时间戳，可由用户自定义
• Value: 真实的数据

1. 一行数据能够包含多个列族，可是通常不超过三个

2. 存储在HBase里面的表通常有上亿行，因此HBase表会对整个数据按照 RowKey 进行字典排序，而后再对这张表进行横向切割。切割出来的数据是存储在 HFile 里面，而不一样的 Column Family 虽然属于一行，可是其在底层存储是放在不一样的 HFile 里。因此这张表用了六种颜色表示，也就是说，这张表的数据会被放在六个 HFile 里面的，这就能够把数据尽量的分散到整个集群

3. 不一样的列族会存储到不一样的HFile上，可是它们仍是存储在同一个Region中，在同一个节点上

HBase结构

• Region 表按RowKey水平划分红一个集合
• ReginServer 至关于HDFS的DataNode，存放Region
• Hlog 预写日志文件
• Store 存放在Region中
• StoreFile 数据实际存储的位置
• MemStore 内存存储空间

1. RegionServer主要管理两种文件，一是Hlog（预写日志 write-ahead log WAL），二是region（实际的数据文件）
2. 用户向HBase写入数据，首先在Hlog中产生写入记录，若是HBase服务器崩溃，能够经过Hlog回滚尚未持久化的数据,
3. 在Hlog中写入记录后，数据存在MemStore，当MemStore中数据写满时，数据就会被刷写到磁盘中StoreFile中，
4. StoreFile存放在Region中，当其中数据写满，就会等分产生另外一个Region
5. 当table中的行不断增多，就会有愈来愈多的region。这样一张完整的表被保存在多个Region上
6. 从上面的图也能够清晰看到，一个RegionServer管理多个 Region；而一个 Region 管理一个或多个列族