今天使用hadoop streaming调试用python写的简单mapreduce脚本,结果启动job,进度卡住了,一直显示map :0% reduce:0% java
检查日志发现有hadoop Too small initial heap的错误,查了下,是job启动从java分配的堆内存过小致使没法支持正常的map和reduce过程形成。 python
打开/conf/mapred-site.xml找到 oop
<property>
<name>mapred.child.java.opts</name>
<value>-Xmx512</value>
<final>true</final>
</property> spa
看起来这个值彷佛单位不对,莫非是512字节?仍是512k?无论它,改为1024m, 调试
重启整个hadoop群集,再次启动mapreduce脚本,能正常map和reduce了。。 日志