Hadoop动态增长节点与删除节点

 　　Hadoop的全分布式安装网上也不少教程，踩过不少坑，整理不出来了……赶忙把增长删除节点留住。

均衡数据

（1）设置数据传输带宽为64M（默认值比较低）

　　hdfs dfsadmin -setBalancerBandwidth 67108864

（2）平衡数据，默认balancer的threshold为10%，即各个节点存储使用率误差不超过10%，咱们可将其设置为1%（1~100）

  　　./sbin/start-balancer.sh -threshold 1

      或者hdfs balancer -threshold 1（显示平衡过程）

从hadoop的web页面能够观察到各个节点的存储使用率更接近了

1.增长节点

已有CentOS 7的虚拟机node00（namenode）、node01（datanode）、node02（datanode），虚拟机上都有JDK1.8.0_45，Hadoop-2.6.5。准备一个新的虚拟机node03（datanode）。

 

为了方便，选择克隆虚拟机node02，克隆后修改新虚拟机node03的配置：

（1）删除logs和core-site.xml配置文件中hadoop.tmp.dir的目录

　　rm -rf /usr/local/hadoop-2.6.5/logs/*.*

　　rm -rf /usr/local/hadoop-2.6.5/tmp/*

（2）删除hdfs-site.xml配置文件中datanode.data.dir目录

　　rm -rf /app/hadoop/data/*

（3）修改主机名、IP地址

    vi  /etc/sysconfig/network

　　vi  /etc/sysconfig/network-scripts/ifcfg-ens33

 

而后修改全部虚拟机的配置（加上新节点）：

（1）/etc/hosts

（2）Slaves

 

设置无密码访问node03（在node00生成密钥并分发给其余虚拟机）

　　ssh-keygen -t rsa

    scp -p ~/.ssh/id_rsa.pub node01@192.168.59.254:/root/.ssh/authorized_keys

　　scp -p ~/.ssh/id_rsa.pub node02@192.168.59.253:/root/.ssh/authorized_keys

　　scp -p ~/.ssh/id_rsa.pub node03@192.168.59.252:/root/.ssh/authorized_keys

 

启动node03的datanode和nodemanager

　　hadoop-daemon.sh start datanode

　　yarn-daemon.sh start nodemanager

刷新hadoop 的web页面便可看的新的节点。若是原节点中有数据，会自动分给新节点必定量的数据

2. 删除节点

在namenode中打开hdfs-site.xml，设置节点排除文件的位置（绝对路径）

　　<property>

　　<name>dfs.hosts.exclude</name>

　　<value>/usr/local/hadoop-2.6.5/etc/hadoop/excludes</value>

　　</property>

 

在路径中新建文件excludes，并在文件中添加要排除的节点主机名

 

在namenode中强制从新加载配置

　　hdfs dfsadmin -refreshNodes

 

在hadoop的web页面上看到该节点变成Decommission，此时namenode会检查并将数据复制到其它节点上以恢复副本数（要移除的节点上的数据不会被删除，若是数据比较敏感，要手动删除它们）。

经过命令也能够查看状态：

　　hdfs dfsadmin -report

等状态变成Decommissioned后就能够关闭该节点

　　hadoop-daemon.sh stop datanode

几分钟后，节点将从Decommissioned进入Dead状态。

 

最后更新集群配置，从namenode的excludes文件及slaves文件、hosts文件中去掉已经移除的主机名，在全部DataNode上执行hadoop-pull.sh脚本，同步配置。

 

删除的节点能够清空数据从新使用

　　rm -rf /usr/local/hadoop-2.6.5/logs/*.*

　　rm -rf /usr/local/hadoop-2.6.5/tmp/*

　　rm -rf /app/hadoop/data/*

 

 原始数据分布

 

 自动备份中

 

 自动备份后

 删除节点后