在学习过程当中,配置完HA进行验证:手动kill主namennode进程,可是备用namenode始终是standby状态,一直找不到缘由,非常郁闷,还觉得是hadoop版本跟老师将的不同,进而须要不一样的配置致使的。
今天,终于找到问题缘由了。记录以下,但愿对遇到此问题的朋友有所帮助。
解决办法:
在备用namenode上查看 hadoop-grid-zkfc-server102.log日志,发现异常以下
2016-10-16 00:09:32,465 WARN org.apache.hadoop.ha.SshFenceByTcpPort: PATH=$PATH:/sbin:/usr/sbin fuser -v -k -n tcp 53310 via ssh: bash: fuser: command not found
2016-10-16 00:09:32,465 WARN org.apache.hadoop.ha.NodeFencer: Fencing method org.apache.hadoop.ha.SshFenceByTcpPort(null) was unsuccessful.
2016-10-16 00:09:32,465 WARN org.apache.hadoop.ha.ActiveStandbyElector: Exception handling the winning of election
2016-10-16 00:09:34,552 WARN org.apache.hadoop.ha.FailoverController: Unable to gracefully make NameNode at server101.hadoop.com/192.168.1.101:53310 standby (unable to connect)
2016-10-16 00:09:34,592 WARN org.apache.hadoop.ha.SshFenceByTcpPort.jsch: Permanently added 'server101.hadoop.com' (RSA) to the list of known hosts.
由上面的警告可知:fuser: command not found,在作主备切换时执行fuser命令失败了。
查看hdfs-site.xml配置文件,
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
hdfs-site.xml经过参数dfs.ha.fencing.methods来实现,在出现故障时经过哪一种方式登陆到另外一个namenode上进行接管工做。
====》》》dfs.ha.fencing.methods参数解释
系统在任什么时候候只有一个namenode节点处于active状态。
在主备切换的时候,standby namenode会变成active状态,原来的active namenode就不能再处于active状态了,
不然两个namenode同时处于active状态会有问题。
因此在failover的时候要设置防止2个namenode都处于active状态的方法,能够是Java类或者脚本。
fencing的方法目前有两种,sshfence和shell
sshfence方法是指经过ssh登录到active namenode节点杀掉namenode进程,因此你须要设置ssh无密码登录,还要保证有杀掉namenode进程的权限。
如下是具体解决步骤:
# 查找fuser
[root@server101 ~]# yum provides "*/fuser"
Loaded plugins: fastestmirror
Determining fastest mirrors
* epel: mirrors.tuna.tsinghua.edu.cn
psmisc-22.20-9.el7.x86_64 : Utilities for managing processes on your system
Repo : base
Matched from:
Filename : /usr/sbin/fuser
# 在namenode主、备节点上安装fuser(datanode节点不用安装)
[root@server101 ~]# yum -y install psmisc
[root@server102 ~]# yum -y install psmisc
安装完成后,再次测试,namenode自动切换成功!!!html