开发中关于mapreduce中参数的调优策略

       使用hadoop进行大数据运算，当数据量及其大时，那么对MapReduce性能的调优重要性不言而喻。尤为是Shuffle过程当中的参数配置对做业的总执行时间影响特别大。下面基于官网和工做中的状况总结和相关的调优策略。node      1.关于map端的调优属性   apache 属性名称 类型 默认值 说明 mapreduce.task.io.sort.mb int  100 配置

>>阅读原文<<