3.1InputFormat数据输入的基本知识

3.1.1 切片与MapTask并行度决定机制 1)一个Job的Map阶段并行度由客户端在提交Job时的切片数决定 2)每一个Split切片分配一个MapTask并行实例处理 3)默认情况下,切片大小=BlockSize 4)切片时不考虑数据集整体,而是逐个针对每一个文件单独切片 3.1.2 Job提交流程源码和切片源码详解 3.1.3FileInputFormat切片源码解析
相关文章
相关标签/搜索