Hadoop性能优化点小结

最近一段时间看了许多Hadoop性能优化相关的资料，因而花了点时间整理了一下，但愿给正在苦于Hadoop集群性能问题的博友们一点建议吧。node 一、Hadoop在存储有输入数据的节点上运行map任务，能够得到最佳性能，称为“数据本地化优化“，因此通常会设置最大分片的大小应该与块大小相同，若是分片跨越2个块的大小，必然要通过网络传输到不一样的节点上读取数据。缓存 二、适当的时候使用Combine函

>>阅读原文<<