HDP 中 yarn 和 MR2 的配置

       如下说明均以集群中 slave 结点的配置为 48G内存，12块硬盘，12核(core) CPU 为例。

       在 Yarn 中，一个 Container 是一个基础的包含内存和CPU 的单元。为了较好的平衡利用集群的资源，一般建议每块磁盘和每一个core 分配1~2 个 container。因此在上面的配置下，每一个结点容许最大配置 20 个 container。

       咱们给 yarn 分配 40G内存，另外 8G留给操做系统。40G分配给 20 个 container，因此每一个 container 分配到 2个G的内存。在 yarn-site.xml 中配置以下：

<property>
　　　　<!-- 总共有多少资源能够被分配 -->
     <name>yarn.nodemanager.resource.memory-mb</name>
     <value>40960</value>
</property>

<property>
　　　　<!-- 分配给AM单个容器可申请的最小内存 -->
     <name>yarn.scheduler.minimum-allocation-mb</name>
     <value>2048</value>
</property>

 

      MapReduce2 运行在 Yarn 之上，利用 container 去安排 Map 和 Reduce 任务， 配置 MR2 的资源，须要考虑如下三个方面：

    （1）每一个 map 和 reduce 任务的物理内存限制

    （2）每一个任务的 JVM 堆大小

    （3）每一个任务得到的虚拟内存的总量

    每一个 map 和 reduce 任务运行在不一样的 container 中，所以 Map 和 reduce 最大的内存配置应该等于或大于 yarn.scheduler.minimum-allocation-mb 的值。

在 mapred-site.xml 里配置：

<property>
     <!-- AM 中分配给map Container的内存大小 -->
    <name>mapreduce.map.memory.mb</name>
    <value>4096</value>
</property>

<property>
     <!-- AM 中分配给 reduce container 的内存大小，通常为 map 的两倍 -->
    <name>mapreduce.reduce.memory.mb</name>
    <value>8192</value>
</property>

    每一个 container 均会开启 JVM ， JVM 的堆大小必须小于上面 Map 和 Reduce 的 memory 的配置。所以在 mapred-site.xml 中加入下面的配置：

<property>
    <name>mapreduce.map.java.opts</name>
    <value>-Xmx3072m</value>
</property>

<property>
    <name>mapreduce.reduce.java.opts</name>
    <value>-Xmx6144m</value>
</property>

   上面配置了 Map 和 Reduce 使用的物理内存的上限。map 和 reduce 任务使用的虚拟内存（physical + paged memory）由 yarn container 容许的 ratio 决定。这个ratio 能够在 yarn-site.xml 中进行配置（2.1 是默认值）：

<property>
    <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>2.1</value>
</property>

 

   综上所述，每一个 map 任务可得到以下的内存分配：

（1） 物理 RAM = 4G

（2）map 任务的 container 的 JVM 的堆大小上限 = 3G

（3）虚拟内存上限 = 4*2.1 = 8.4G

 

总的来讲，以 yarn.nodemanager. 开头的配置，配置的是硬件资源相关的东西， yarn.scheduler. 开头的配置，配置的是资源调度相关的，其值不能大于 yarn.nodemanager 中相关的资源限制。