MR -- MapReduce开发总结

编写 MR 程序,注意以下几点: 1、输入数据接口:InputFormat 2、逻辑处理接口:Mapper 根据需求,实现其中的三个方法:map()、setup()、cleanup()。 3、Partition 分区 4、Comparable 排序 5、Combiner 合并 Combiner合并可以提高程序的执行效率,减少 IO 传输。但是使用时,不能影响业务逻辑。 6、Reduce 端分组:G
相关文章
相关标签/搜索