为什么map分片大小要与块大小相同?

2019独角兽企业重金招聘Python工程师标准>>> 所有的省时间优化,主要是讲Hadoop采用的数据本地优化,避免浪费宝贵的网络带宽,但是有时候对于一个Map任务输入来说,储存有某个HDFS数据块备份的三个节点可能正在运行其他map任务,此时作业调度,也就是所谓的JobTracker需在三个备份中的某个数据寻求同个机架中的空闲机器来运行该map任务。 所以我们应该清楚了为什么最佳分片大小应该与
相关文章
相关标签/搜索