hadoop集群部署注意问题

一、namenode 或datanode 被迫升级。node

1)降级namenode,缺点:须要中止服务,不肯定性因素太多(降级可能会致使全部数据丢失),测试周期长且复杂;优势:只要操做一个节点服务器

2)升级全部的datanode,缺点:须要操做集群全部机器(也能够只升级单台机器);优势:测试简单,风险小oop

很明显,第二种方案是优选方案,测试过程以下:测试

1)找一台采集服务器,上面已经部署了hadoop客户端,启动datanode,成功,日志信息显示版本为:203.1ui

2)删除build目录,再次启动datanode,失败日志

3)恢复build目录,再次启动datanode,成功xml

4)将build目录拷贝到出错的datanode上,修改hdfs-site.xml配置,将data目录修改成新建目录,启动datanode,成功hadoop

5)将data目录修改成最原始的配置,启动datanode,成功部署

第二种方案测试成功,在namenode上运行fsck命令,正常输出。it

因而升级整个集群,到目前为止,集群运行正常。