Spark之combineByKey学习理解

combineByKey()是最为经常使用的基于键进行聚合的函数。大多数基于键聚合的函数都是用它实现的。和aggregate()同样，combineByKey()可让用户返回与输入数据的类型不一样的返回值。java 要理解combineByKey()，要先理解它在处理数据时是如何处理每一个元素的。因为combineByKey()会遍历分区中的全部元素，所以每一个元素的键要么尚未遇到过，要么就和以前

>>阅读原文<<