Spark---算子调优之MapPartitions提高Map类操做性能

spark中，最基本的原则，就是每一个task处理一个RDD的partition。性能 一、MapPartitions操做的优势： 若是是普通的map，好比一个partition中有1万条数据；ok，那么你的function要执行和计算1万次。 可是，使用MapPartitions操做以后，一个task仅仅会执行一次function，function一次接收全部的partition数据。只要执行一

>>阅读原文<<