MR总结

并行度 maptask并行度 切片机制 1)切片定义在InputFormat类中的getSplit()方法 maxsize、blocksize、minsize 2)FileInputFormat中默认的切片机制: 128m切,当一个文件的最后一个切片最大可以切成122m*1.1大小 并发数影响因素 运行节点的硬件 运行任务的类型:CPU密集/IO密集 运行人物的数据量 reducetask并行度
相关文章
相关标签/搜索