mapreduce的内部核心的工作机制

mapreduce框架的工作机制 划分输入切片: Job客户端负责划分 扫描输入目录中的所有文件 遍历每一个文件 按照128规格划分范围 生成arrayList 序列化程job.split文件 根据job.split知道创建几个mapTask ,明确每个mapTask会处理某个文件某一部分的内容 Map程序的启动过程 TextInputFormat类:文本文件类型的读取工具类。 mapTask会调
相关文章
相关标签/搜索