如何在CDH中配置YARN动态资源池的计划规则

 

1.文档编写目的

---

在CDH中使用Yarn的动态资源池，用户会根据时段来区分集群资源的分配状况（如：在夜晚时段集群资源主要倾向于跑批做业，白天时段集群资源主要倾向于业务部门实时计算做业）。针对这样的需求在CDH中如何配置？本篇文章Fayson主要介绍如何经过CM配置Yarn动态资源池的计划规则。

• 内容概述

1.建立资源池配置集

2.修改各配置集资源分配及验证

3.总结

• 测试环境

1.CM和CDH版本为5.15

2.建立资源池配置集

---

在CDH集群中默认只有一个资源池的配置集，接下来Fayson经过CM建立多个资源池配置集，在本示例中Fayson共建立3个配置集

• 晚上9点到早上9点使用pool_nigth资源池配置集
• 早上9点到晚上6点使用pool_day资源池配置集
• 其它时间段使用default资源池配置集

1.登陆CM进入动态资源池管理界面

2.点击“计划模式”进入配置界面

3.点击“建立计划规则”，建立两个新的配置集

建立新的配置集时须要从一个现有的配置集进行复制，能够选择配置集重复周期“天天、每周、每个月”，重复时间以小时为单位进行选择。

4.配置集建立完成列表以下

以上步骤只是完成了多个不通时间段使用的配置集。

3.修改各配置集资源分配

---

1.进入资源池配置主界面

2.将default的配置集root.default和root.users资源池占比修改50%和50%

3.选择pool_nigth资源池，将root.defaut和root.users资源池占比修改成80%和20%

4.选择pool_day资源池，将root.default和root.users资源池占比修改成20%和80%

5.修改完成各个配置集资源池配置后，点击“刷新动态资源池

如上步骤完成各个配置集资源池的配置。

4.验证配置集是否生效

---

根据资源池配置集的配置规则，当前时间为晚上10点，此时应该使用的资源池为pool_nigth配置集。

1.登陆Yarn的8088界面查看资源池的占比

2.点击Scheduler查看资源池的占比状况

能够看到root.default的资源池是root.users资源池占比的4倍，与配置集的计划规则一致。

5.总结

---

1.经过CM的动态资源池配置，能够方便的建立多个配置集。

2.根据不一样时段对资源池的使用进行从新分配，动态的调整不须要手动触发。