Hadoop节点迁移

增删节点 数据迁移

 

 

1、全部事情开始以前，先要备份好cloudera manager的数据库，以及hadoop集群中的一些组件带的数据库。这里保存了不少元数据，像hive这种丢了很麻烦的。

 

2、若是须要换nameNode的存储目录

一、备份nameNode原始数据

 

cp -r /ddhome/dfs/nn /ddhomebak/

 

#Hive Metastore NameNodes #未找到该命令（刷新hive的hdfs设置）

 

重启后，若是有数据问题，则会hdfs会进入安全模式。能够使用下面这个命令接触。

实际过程当中还报了一个：不能写入temp/.XXX目录的一个错误。实际就是安全模式没法写入。

sudo -uhdfs hdfs dfsadmin -safemode leave

 

切换数据存储目录 须要手动把数据文件复制过去

 

cp -r /ddhome/dfs/ /home/hdfs/

 

cp -r /ddhome/dfs/dn /home/hdfs/dfs

 

cp -r /ddhome/dfs/dn /ddhome/dfs_bak

 

3、数据整理（根据须要进行）

 

一、先把数据备份成三分

hadoop dfs -setrep -w 3 -R /

 

2数据均衡

https://bbs.aliyun.com/detail/335179.html?page=e

1.对hdfs负载设置均衡，由于默认的数据传输带宽比较低，能够设置为64M，

hdfs dfsadmin -setBalancerBandwidth 67108864

 

2.默认balancer的threshold为10%，即各个节点存储使用率误差不超过10%，咱们可将其设置为5%;而后启动Balancer,sbin/start-balancer.sh -threshold 5，等待集群自均衡完成便可

#./start-balancer.sh -threshold 5

hdfs balancer -threshold 1 #这个是机器资源使用率的差额，若是设置过小，可能不会迁移

#详细使用请参照下面这篇博客

HDFS的Block数据balancer重分布实战 - CSDN博客

 

 

 

 

=============================================================================

 

4、hadoop组件迁移：

一、能够有多个主节点的主键，能够先添加好备用的主键节点。而后重启，等备用节点彻底同步了主节点以后，就能够中止老的主几点了。会自动切换到新的主节点上。这个时候就能够删除老的主节点了。

zk、hbase、hdfs、yarn、hive（ Hive Metastore Server和 HiveServer2均可以）。

 

二、一些机器不相关的组件，能够直接删除了，加入新机器以后，直接在新的节点上从新装这部分组件。

典型的有yarn、spark on yarn、hue、

 

3 比较难迁移的就是hdfs。由于它涉及到真正的数据存储在哪一个位置。

须要一个节点一个节点的：中止---数据同步到其余节点----删除这节点。

 

这里要注意：nameNode角色迁移，删除老节点以后，整个hdfs就锁死不能进行操做了。由于删除该节点以后，hdfs没有自动进行配置修改，它任然是高可用模式，你作什么操做 它都提示错误不能进行。须要手动到hdfs的配置里面把高可用相关的配置所有去除掉。而后从新添加新节点上的nameNode。能够在这个时候直接进行高可用部署方式。