spark 大型项目实战(三十八): 算子调优之MapPartitions提高Map类操做性能

spark中，最基本的原则，就是每一个task处理一个RDD的partition。 MapPartitions操做的优势：web 若是是普通的map，好比一个partition中有1万条数据；ok，那么你的function要执行和计算1万次。svg 可是，使用MapPartitions操做以后，一个task仅仅会执行一次function，function一次接收全部的partition数据。只要执

>>阅读原文<<