HBase版本:1.3.1shell
Hadoop版本:2.7.1oop
Zookeeper版本:3.4.63d
---------------------------------日志
检查线上业务系统的磁盘空间,blog
发现HDFS的oldWALs日志占用了大量的空间。rem
咱们的集群分为两套,前置一套,后置一套,get
其中,利用hbase的replication功能能,由前置向后置集群同步数据。同步
通过一翻调查以后,发现replication功能打开的时候,it
hbase的oldWALs就不会自动清理了,因而尝试关闭replication功能。io
- 前置集群
在hbase shell中,使用remove_peer命令,删除复制的peer。
HBase自动清理了必定的oldWALs,释放了必定的空间。
修改以后的结果以下:
- 后置集群
与前置集群略有不一样,采用的措施是把hbase下面这个配置项关掉
关掉以后,重启HBase集群,oldWALs就被清理 掉了。
好了,明天能够安心的去北戴河度假了。
很是感谢热心网友的帮助。
参考连接:
https://stackoverflow.com/questions/28725364/hbase-oldwals-what-it-is-and-how-can-i-clean-it
https://developer.ibm.com/answers/questions/334976/why-is-my-hbase-oldwals-folder-just-filling-up/