hadoop为何最佳分片的大小与快的大小相同

由于他是确保能够存储在单个节点上的最大输入快的大小,若是分片跨越两个数据块,对于任何一个hdfs节点,基本上不可能同时存储这两个数据块,所以分片中的部分数据须要经过网络传输到map任务运行的节点上网络

相关文章
相关标签/搜索