yarn-site.xml的部分资源配置参数，主要是与内存相关

时间 2021-01-18

标签 node vim ide 线程 code xml 内存资源栏目 Hadoop 繁體版

原文原文链接

vim yarn-site.xmlnode

每一个nodemanager 可分配的内存 100G: yarn.nodemanager.resource.memory-mb
每一个nodemanager 可分配的CPU 20核 :yarn.nodemanager.resource.cpu-vcoresvim

<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>102400</value>
    <description>Amount of physical memory, in MB, that can be allocated for containers.</description>
  </property>

  <property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>20</value>
    <description>Number of vcores that can be allocated for containers.</description>
  </property>

yarn.nodemanager.resource.memory-mb
表示该节点上YARN可以使用的物理内存总量，默认是8192（MB），注意，若是你的节点内存资源不够8GB，则须要调减少这个值，而YARN不会智能的探测节点的物理内存总量。ide

yarn.nodemanager.vmem-pmem-ratio
任务每使用1MB物理内存，最多可以使用虚拟内存量，默认是2.1。线程

yarn.nodemanager.pmem-check-enabled
是否启动一个线程检查每一个任务正使用的物理内存量，若是任务超出分配值，则直接将其杀掉，默认是true。code

yarn.nodemanager.vmem-check-enabled
是否启动一个线程检查每一个任务正使用的虚拟内存量，若是任务超出分配值，则直接将其杀掉，默认是true。xml

yarn.scheduler.minimum-allocation-mb
单个任务可申请的最少物理内存量，默认是1024（MB），若是一个任务申请的物理内存量少于该值，则该对应的值改成这个数。ip

yarn.scheduler.maximum-allocation-mb
单个任务可申请的最多物理内存量，默认是8192（MB）。内存