Hbase基本优化策略

Hbase基本优化策略

重点

1、适当增大regionServer的内存

2、配置文件根据以下属性优化：

Hbase写优化：

1）Hbase写数据是先写入memStore，然后写入Hlog中，可以考虑同步批量提交或者异步批量提交，异步批量提交可能存在数据丢失的风险；

2）WAL预写日志优化，是否必须，持久化等级，如果可以接受数据部分丢失，可以考虑关闭WAL机制；或者WAL异步写入；

WAL机制（默认开启）：是防止memStore缓存数据丢失，可以从日志中恢复，及集群之间数据异步复制；

Hbase读优化：

1）在客户端设置Scan缓存，分批次获取数据，减少网络带宽或者防止客户端因大量数据内存溢出；

2）BlockCache配置是否合理，查询时命中BlockCache的几率大小，Hfile是否过多，过多时文件寻址比较耗费性能，可考虑合并Hfile；

3）表结构设计问题