CentOS7安装CDH 第八章：CDH中对服务和机器的添加与删除操做

时间 2019-12-01

标签 centos7 centos 安装 cdh 第八服务机器添加删除栏目 Tomcat 繁體版

原文原文链接

1. CDH动态添加机器

1.2. 对新机器的环境配置

一、配置新机器的JDK环境，保持和其余机器一致，可参考上述JDK的安装；

二、关闭防火墙，若是在线上环境要开放好端口；

三、上传MySQL的链接Jar包；

四、修改原有集群的全部机器的/etc/hosts，将新机器的对应ip添加进去：

　　echo “192.168.12.120 centos.ouyang.com” >> /etc/hosts

五、将老机器中的/etc/hosts中ip地址对应的主机名的内容复制到新机器上；

六、检查新机器的python版本，要和老机器保持一致；

七、配置新机器的yum源，能够直接到老机器上复制便可；

　　cd /etc/yum.repos.d/

　　scp cloudera-manager.repo 192.168.12.120:/etc/yum.repos.d/

注意：

一、在添加其余机器时操做系统和原机器的操做系统要保持版本一致；

二、若是使用jar包安装JDK，安装地址为/usr/java目录下，其余目录下会报错；

三、上传的MySQL链接Jar包需上传到/usr/share/java目录下；

四、安装JDK时建议使用上述的rpm包安装，这样会将python更新一下；

1.2. 在CDH的web界面添加新机器

一、点击向集群中添加新主机按钮

二、添加主机向导

三、输入新机器的IP地址搜索新机器，若是是使用阿里云等云服务机器，请输入内网IP，在阿里云上，内网速度比外网快不少

四、搜索到新机器，点击继续按钮

五、选择自定义存储库，自定义存储库中的地址就是yum源配置的地址，能够经过cat cloudera-manager.repo命令查看，将其中的baseurl的地址复制进去便可，请注意其中的协议要为http，不能是https

六、不安装自带JDK，点击下一步

七、输入用户的密码

八、在新添加的机器中安装agent（这是拼人品的时候，遇到问题请查看日志，而后解决问题，再从新安装），安装成功后点击继续按钮

注意：若是在安装过程当中，点击了停止按钮，此时须要到命令行端，执行ps -ef | grep yum命令，查找到对应的yum进程，并kill掉，再去web界面从新安装，不然不能从新安装成功，在web界面停止，不会把yum源彻底关闭，须要在命令行界面完全关闭才行

九、安装选定的包，安装完成以后点击继续按钮

十、进行主机检查，能够参考上述的CDH安装中，设置大页面和swap

十一、选择主机模板，通常是不选择模板的，先添加一台空机器进入集群中

十二、部署客户端配置，点击继续按钮便可

1三、添加成功

2. CDH动态添加服务

一、选择对应服务中的添加角色实例按钮（以HDFS为例）

二、为要添加的服务选择具体的主机（以DataNode为例）

三、审核更改DataNode的数据目录和容忍DataNode能够失败的卷（请注意CentOS中挂载的其余磁盘，若是没有挂载其余磁盘，就以下所示，当磁盘容量充足时，不须要添加其余的目录，保留以下目录便可）

四、从新部署客户端配置

按照流程往下走便可，其中的从新部署客户端配置选项必定要选，以下图：

五、重启过期服务，重启以后点击完成便可

六、添加完成，在主界面有一些配置等小问题须要更改，请根据具体状况进行修改便可，例在HDFS中添加了一个DataNode，此时HDFS中的块能够备份为3个，CDH就会提示进行修改，以下图所示，但在生产环境中最好不要修改配置，由于修改配置后有重启服务的提示，一不当心重启服务在生产环境中会形成很差的后果（注：生产环境中通常状况下不要重启服务，若是必定要重启服务请在晚上等业务较少时再进行操做）

七、若是碰到以下状况，新添加的服务仍是没有启动，能够手动启动

3. CDH的迁移服务

一、场景一，A机器的磁盘快满了，新添加了B机器（大磁盘）到集群上：

此时，须要在B机器上添加DN，并删除A机器的DN，但当在B机器上添加DN，并删除A机器的DN时，HDFS集群会自动修复数据，即会保持HDFS中的block块备份为3个，此时会有不少数据经过B机器的DN写入到B机器的磁盘中，会占大量的网络和磁盘IO，此时应该评估B机器的磁盘是否够用（预估2年后的数据量，B机器磁盘是否能装下），是否处于业务低谷，即会不会影响Job的执行。

二、场景二，HDFS中log分区的数据备份：

将存储到HDFS中6个月前的冷数据迁移到 aws s3 / aliyun oss / 或另外的集群上，达到数据备份并清理集群中机器磁盘的目的。

三、注意：

　　a) 有些服务不能迁移（如DataNode），只能在新机器上添加服务，再在老机器上删除服务。

　　b) 在迁移服务时会重启集群上的该服务，因此应该选择在业务低谷中对服务进行迁移。

　　c) 在HDFS中，有balancer平衡器对各个机器中的数据进行平衡，但当一个机器中的数据太多时（另外还有个机器的数据不多），使用平衡器不会将该机器中的数据移除太多，只会移除比较少的一部分，因此通常是在新机器上添加服务，将老机器上的服务删除。

4. CDH中的删除服务和机器

一、选中该机器，并中止该机器上的全部角色

二、去对应的服务中删除该机器中每个角色

三、经过命令行，关闭该机器的的agent服务，并将该机器从集群中移除

四、成功将该机器从集群中移除（移除也能够直接选中该机器，而后解除受权，但速度太慢，不建议使用，上述删除每一个服务的方法速度较快）