hadoop JOB的性能优化实践

使用了几个月的hadoopMR,对遇到过的性能问题做点笔记,这里只涉及job的性能优化,没有接触到 hadoop集群,操作系统,任务调度策略这些方面的问题。 hadoop MR在做大数据量分析时候有限的计算资源情况下只能不断的优化程序。 优化可以从两个方面进行: 1.hadoop配置 2.程序代码 程序代码包括的方面很多:job设计,算法,数据结构,代码编写。 hadoop配置优化 hadoop配
相关文章
相关标签/搜索