HBase的Write Ahead Log (WAL) —— API与基本概念

HBase的数据写入操做，会先记录到HLog中，再真正写入到MemStore中。
前者是对写入友好的格式，后者是对查询友好的格式。因此前者吞吐量更高，写入成功率大，提升了系统的可靠性，“基本”能够实现宕机后继续没有完成的数据更新操做。

API

WAL interface提供了对外的WAL API。

其中最经常使用的方法是append()。

long append(HRegionInfo info, WALKey key, WALEdit edits, boolean inMemstore) throws IOException;

它追加写入一系列WALEdit。

API的调用方

每个HBase region有一个单独的WAL interface的实例：

HBase客户端 == Protobuf协议 ==> HRegionServer.execRegionServerService() => MultiRowMutationProtos.callMethod() => MultiRowMutationProtos.mutateRows()=> MultiRowMutationEndpoint.mutateRows() => HRegion.processRowsWithLocks() =>HRegion.doWALAppend()会写入WAL。

HRegion.processRowsWithLocks()是HRegion更新操做的总控方法——驱动了 获取所、写入WAL、写入MemStore 这一流程。

 

 

原子性

为了实现HBase写入一行里的多个列时的原子性，对一行上全部列（即全部KeyValue）的更新操做，都包含在同一个WALEdit对象中：

因此WALEdit中最主要的成员变量，是一系列KeyValue(也就是Cell)的集合：

 

AbstractFSWAL —— 为基于文件系统的WAL实现，提供通用支持

AbstractFSWAL.findRegionsToForceFlush() - 返回当前WAL实例中最老的文件所包含的、还彻底被Flush掉的Region

所谓Flush应该是指将这个Region的业务数据从MemStore写入Store。

若是一个Region被Flush了，那么其业务数据已经落地到了HFile中。则这个Region的WAL日志（数据操做记录）就没有必要存在了，能够删除，以腾出磁盘空间。

AbstractFSWAL.findRegionsToForceFlush() 用于找到已经被Flush的、相应WAL日志能够被删除的Region。

 

1. 从AbstractFWSAL.byWalRegionSequenceIds找到第一个文件。

ConcurrentNavigableMap<Path, Map<byte[], Long>> byWalRegionSequenceIds 维护了当前WAL的全部文件，以及每一个文件所涉及的Region (包括Region的byte[]名称和这个Region中最后一次append操做的sequence id)

即 Path (WAL文件名) =>  (byte[] Region名称, Long sequence id)

 

2. 从第一个文件，找到它的全部Region中，哪些尚未被Flush

 ConcurrentMap<byte[], ConcurrentMap<byte[], Long>> AbstractFWSAL.SequenceIdAccounting.lowestUnflushedSequenceIds 维护了byte[] Region名称 + byte[] family名称 到第一个（即最小的）没有被Flush的sequence id的映射，称为lowestUnflushedSequenceId。这里，每一次append操做对应一个自增的sequence id。全部大于等于lowestUnflushedSequenceId的sequence id，其对应的append操做都没有被Flush。

所以对于第一步获得的第一个WAL日志文件所涉及的全部Region, 和每一个Region的最大sequence id，若是这个最大的sequece id大于这个Region的lowestUnflushedSequenceId，说明这个Region有WAL日志尚未被Flush。那么这个Region就会被包含在findRegionsToForceFlush()的结果中。