map端和reduce端参数的调优策略

原文http://www.javashuo.com/article/p-rgekyewn-gv.html 使用hadoop进行大数据运算,当数据量及其大时,那么对MapReduce性能的调优重要性不言而喻。尤其是Shuffle过程中的参数配置对作业的总执行时间影响特别大。下面基于官网和工作中的情况总结和相关的调优策略。      1.关于map端的调优属性      2.关于reduce端的调优属
相关文章
相关标签/搜索