学习Hadoop(五)源码阅读,部分底层原理

1、Job,创建进程、完成作业细则、提交作业。向上追踪源码到MRJobConfig类,发现这里定义了大量的默认配置。 例:maptasjk执行时可申请的最大内存,默认为1G。 2、此为提交作业。既作业提交给集群,集群验证分析后执行。那么,提交后,map阶段之前处于进行分片阶段,之所以默认分片后片的大小默认为块的大小因为如此。minSize默认为1B maxSize默认为long的最大值。block
相关文章
相关标签/搜索