MepReduce面试题:MapReduce中排序发生在哪几个阶段?这些排序是否能够避免?为何?

1.map最后阶段进行partition分区,通常使用job.setPartitionerClass设置的类,若是没有自定义Key的hashCode()方法进行分区。在map阶段写出到环形缓冲区,在环形缓冲区溢写时会进行一次排序,每一个分区内部调用job.setSortComparatorClass设置的key的比较函数类进行排序,若是没有则使用Key的实现的compareTo方法。函数   2.
相关文章
相关标签/搜索