NodeManager节点启动报错内存不足

时间 2019-12-05

标签 nodemanager 节点启动报错内存不足繁體版

原文原文链接

启动hadoop后jps存在nodemanager进程，但立刻会报错中断进程
查看日志后发现报的是启动nodemanager 所需内存不足node

2017-09-27 18:25:11,244 INFO org.apache.hadoop.service.AbstractService: Service NodeManager failed in state STARTED; cause: org.apache.hadoop.yarn.exceptions.YarnRuntimeException: org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Recieved SHUTDOWN signal from Resourcemanager ,Registration of NodeManager failed, Message from ResourceManager: NodeManager from  master doesn't satisfy minimum allocations, Sending SHUTDOWN signal to the NodeManager.

按照查来的方法修改 yarn-site.xml 中的yarn.scheduler.minimum-allocation-mb 内存大于1024，表示该节点上YARN可以使用的物理内存总量，默认是8192（MB），注意，若是你的节点内存资源不够8GB，则须要调减少这个值，而YARN不会智能的探测节点的物理内存总量。apache

<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>1024</value>
</property>

不起做用，还有的说法是修改修改 yarn-env.sh 中 JAVA_HEAP_MAX=-Xmx3072m 改成3G
可是也是不起做用的
我架设的虚拟机是1g内存1CPU1核的
在yarn-site.xml添加oop

<property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>1</value>
 </property>

表示该节点上YARN可以使用的虚拟CPU个数，默认是8，注意，目前推荐将该值设值为与物理CPU核数数目相同。若是你的节点CPU核数不够8个，则须要调减少这个值，而YARN不会智能的探测节点的物理CPU总数。
终于可以成功启动！！日志