Hadoop 7days -hadoop序列化机制及 使用maven开发 MR统计上下行流量的例子开发

MR执行流程: (1).客户端提交一个mr的jar包给JobClient(提交方式:hadoop jar ...) (2).JobClient通过RPC和ResourceManager进行通信,返回一个存放jar包的地址(HDFS)和jobId (3).client将jar包写入到HDFS当中(path = hdfs上的地址 + jobId) (4).开始提交任务(任务的描述信息,不是jar, 包
相关文章
相关标签/搜索