关于spark中 task数据本地化的五种方式

Spark中,数据的本地化方式分为五种web PROCESS_LOCAL : 进程本地化 , task计算的数据在当前Executor中 不一样task计算的时候能够共同用这一个数据集,效率高,节省资源 NODE_LOCAL : 节点本地化 , task计算的数据在当前节点上,task计算的时候不须要跨节点拉取数据,速度也是比较快的 NO_PREF : 没有本地化 ,这个方式的意思就是数据不是本地

>>阅读原文<<