Cloudera Certified Associate Administrator案例之Install篇

　　　　　Cloudera Certified Associate Administrator案例之Install篇

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　做者：尹正杰

版权声明：原创做品，谢绝转载！不然将追究法律责任。

 

 

 

一.建立主机模板（为了给主机套用，说白了就是给新加入集群的节点提早分配好角色）

问题描述：
　　公司新购了一批机器，准备扩充DataNode节点。你决定用CM的host template功能来为新机器配置DataNode通用的服务。新节点须要做为HDFS和YARN的工做节点，所以模板的设计以下：
　　　　名称：Temp1
　　　　HDFS roles：Datanode
　　　　YARN roles：NodeManager
   要求须要套用HDFS和YARN的Default Group的配置

解决方案：
　　在企业级实战中，集群扩容时常见且重要的操做，若是手工一台一台操做，不只效率地下，并且容易出错。
　　CM提供了多种机制来简化扩容操做，其中host template就是其中重要的一种，经过该特性，能够大大简化工做节点的配置（对于管理节点，工具节点，边缘节点，若是有多台配置彻底同样，也可使用该特性来扩容），如Datanode，Nodemanager，Kafka Broker等。

1>.点击主机，选择"主机模板"

2>.点击建立

3>.自定义模板名称并选择对应的角色和组

4>.建立成功

 

 

二.建立角色组

问题描述：
　　公司新购了一批机器，准备扩充DataNode节点。然而，新机器的硬件配置和旧机器有一些差别。你决定为旧机器建立一个角色组，设置合适的配置。新机器继续使用默认的组（Default Group）的配置，就如前面咱们配置的模板同样。新角色组的需求为：
　　　　命名为DN1,先继承默认的角色组的配置，并使用旧机器套用DN1的配置。而后要变动一些参数，DN1的Default Group的DataNode Volume Choosing Policy参数都必须设置为Avaliable Space。
　　　　Default Group的Available Space Policy Balanced Preference参数须要设置为0.85，DN1的Available Space Policy Balanced Preference参数设置为0.8。

解决方案：
　　异构集群是Hadoop运维中比较棘手的一个问题，所以咱们推荐你们在新建集群时尽可能使用相同的硬件（工做节点）以免各类麻烦。但现实中因为企业规划不佳，采购限制等诸多缘由，极可能出现异构的状况，所以咱们须要具有必定的应对能力。

1>.使用正确的用户名密码登陆CM界面,点击hdfs服务

2>.进入HDFS服务管理界面后，点击"配置"，再点击"角色组"

3>.点击"建立"按钮来建立一个自定义的角色组

4>.编辑角色组信息

5>.查看Datanode默认组的节点信息

6>.以下图所示，点击“移至另外一个角色组”

7>.点击"移动"

8>.默认角色组已经移动到我们刚刚新建的dn1角色组，但须要重启才能生效，咱们不着急重启，继续看下一步操做。

 

9>.搜索关键字"DataNode Volume Choosing Policy"

10>.搜索关键字“Available Space Policy Balanced Preference”

11>.作完上述操做后，咱们须要重启HDFS集群，使得配置生效

 

 

三.将新节点加入集群

问题描述：
    正式地将新节点加入集群。咱们须要将node107.yinzhengjie.org.cn这个节点加入CM的托管，并套用Temp1这个主机模板从而加入集群。

解决方案：
　　在实践中集群扩容，损坏硬件更换时都设计到这个操做，所以也要熟练掌握。

咱们假设将要加入集群的主机已经配置好环境并启动Cloudera Manager Agent进程，详情请参考：https://www.cnblogs.com/yinzhengjie/articles/11019525.html

1>.点击“全部主机”

2>.点击"向集群添加新主机"

3>.进入"添加主机向导"

4>.为CDH集群安装指定主机

5>.等待主机激活完毕后，点击"继续"

6>.点击继续 

7>. 选择我们以前建立的主机模板（您选中的模板有对应的角色，而新加入的节点未来就会继承该主机模板的角色）

8>.等待集群重启完毕

9>.主机扩展成功（须要注意的是，若是在第7步骤没有选择对应的主机模板也没事，只要agent成功加入集群后，咱们选中相应的节点并点击下图的"已选定操做"，选择"应用主机模板"选项就有对应的你以前建立的模板供你选择，选择主机模板后别忘记顺便勾选"应用主机模板后部署客户端配置并启动新建立的角色。"属性）

 

四.移除CDH集群的节点

 

参考自：https://www.jianshu.com/p/00fe996ee325

 

1>.点击"主机"，选择"全部主机"

2>.勾选须要下线的主机

3>.咱们点击"已选定的操做"（英文为"Actions for Selected "），选择"Begin Maintenance"(表示进入维护模式，进入维护模式会听到该主机的服务)

4>.点击"Begin Maintenance"

5>.主机进行受权命令

6>.主机进入维护模式，咱们须要手动停掉agent进程

7>.选择从集群中删除

8>.点击确认

9>.删除主机上的角色

 

10>.

 

11>.

 

 

 

五.