CentOS7安装CDH 第十二章：YARN的资源调优

相关文章连接

CentOS7安装CDH 第一章：CentOS7系统安装

CentOS7安装CDH 第二章：CentOS7各个软件安装和启动

CentOS7安装CDH 第三章：CDH中的问题和解决方法

CentOS7安装CDH 第四章：CDH的版本选择和安装方式

CentOS7安装CDH 第五章：CDH的安装和部署-CDH5.7.0

CentOS7安装CDH 第六章：CDH的管理-CDH5.12

CentOS7安装CDH 第七章：CDH集群Hadoop的HA配置

CentOS7安装CDH 第八章：CDH中对服务和机器的添加与删除操做

CentOS7安装CDH 第九章：CDH中安装Kafka

CentOS7安装CDH 第十章：CDH中安装Spark2

CentOS7安装CDH 第十一章：离线升级CDH版本

CentOS7安装CDH 第十二章：YARN的资源调优

CentOS7安装CDH 第十三章：CDH资源池配置

CentOS7安装CDH 第十四章：CDH的优化

1. memory调优

调优的本质就是对内存进行设置，使服务可以充分利用内存，从而速度更快，假设一台机器有32G内存，那应该怎么设置DataNode和Nodemanager的内存配置，从而是服务跑得更快。在Linux中，通常使用机器内存的百分之八十五用于服务，其余的百分之十五用于Linux本机本身的运行。因此机器32G内存，其中可用于服务的内存有27G，分配以下：

DN: Heap Size: 4G (块内存)

NM: Heap Size: 3G (块内存)

    yarn.nodemanager.resource.memory-mb : 20G         (资源内存)

    yarn.scheduler.minimum-allocation-mb : 1G  默认1G   (最小内存)

    yarn.scheduler.maximum-allocation-mb: 20G                   (最大内存)

2. CPU调优

CPU调优就是集群中服务的CPU核数进行设置，在此设置中，通常是设置的虚拟的核数，即线程数，假设该机器4个物理核，每一个核2个线程，那能够把该参数设置为6，即若是运行spark的时候能够有6个task并行运行，这个参数默认是2，在线上的服务器是远远不够的，因此要进行设置，以下：

yarn.nodemanager.resource.cpu-vcores: 6  (6个task并行) 默认2

3. 调优总结

修改完，重启服务，生效配置

其余问题能够参考：http://blog.itpub.net/30089851/viewspace-2127851/