Hadoop客户端Job提交流程

从源码层面,总结下Hadoop客户端提交作业的流程:   1. 选择使用分布式环境通信协议,还是本地调试通信协议      org.apache.hadoop.mapreduce.Job#connect   2. 上传作业代码jobjar, libjar等,从本地文件系统到HDFS中去。      copyAndConfigureFiles(job, submitJobDir);   3. 拆分输
相关文章
相关标签/搜索