Hadoop2.5.2 HA高可靠性集群搭建MapReduce Yarn HA配置

在参考下面文章搭建过Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper)后,能够参考本文直接接着搭建html

http://www.javashuo.com/article/p-dlfyylea-mk.htmlnode

若是没有参考过能够选择性的参考下面的文章,或者找其它文档参考搭建apache

1. 在hadoop文档中找目录(直接点连接):ResourceManager High Availability 往下拉,找到这个配置文件浏览器

http://hadoop.apache.org/docs/r2.5.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.htmloop

2. 把上面的配置文件拷贝到hadoop的/etc/hadoop目录下的yarn-site.xml,而后作修改,(第一个配置项须要本身补上)。.net

(注意上图最后一个配置项的value也是自定义的,它标识你当前配置的yarn集群,后面会用到,注意,不要和hdfs的命名空间冲突了。)xml

3. 在hadoop文档下找到这个目录(直接点连接):htm

http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/SingleCluster.htmlblog

找到这一块的配置:(把这两个配置原封不动配置过来,注意配置在相应的配置文件中哦)hadoop

4. 配置完成,把刚刚配置的文件复制到全部hadoop节点上。(或者复制整个etc/hadoop 覆盖其它节点的此目录)

5. 启动yarn,前提先得启动全部的zookeeper节点(正常启动),在任意一台配置了resourceManager的机器上启动。(yarn-site.xml上面配置时就指定的时(node1,node2))

6. 在另一台resourceManager机器上启动yarn,注意启动命令和上面的不同。

7.经过浏览器访问一台ResourceManager注意访问端口是8088(注意我这儿访问的是第二台,随便访问哪一个节点它都会跳转到活跃的那个节点)(访问获得下面的结果页面,说明你访问的ResourceManager节点是正在工做的)

8. 访问另一台,他会出现下面一个文字提示,而后自动跳转到活跃的那台(说明这台机器为备用)

9. 手动关掉活跃的节点,看看会不会自动接管。

10. 访问node2,发现失败了

 

 

11. 访问另外一台接管的,看看是否真的接管了(我关掉的是node2,因此访问node1)

注意刚开始接管,nodeManage会报告本身的状态给resourceManager,因此它的Nodes会逐渐添加到列表中,如上图,个人三台nodemanager都添加上了。

12. 高可用MapReduce Yarn-HA配置结束,若是有疑问或者遇到困难,请直接留言,我会及时回复。

相关文章
相关标签/搜索