MapTask工作机制

MapTask工作机制流程图: 基本概念: 切片数决定MapTask的数量 切片大小=blockSize(默认128MB) 针对每一个文件单独切片(除了处理小文件的CombineTextInputFormat和部分自定义InputFormat) 流程图解析: 客户端job提交--->文件读取--->map操作--->写入环形缓冲区--->分区,排序--->溢出到磁盘 首先由客户端提交job相关信息
相关文章
相关标签/搜索