Spark transform操做的很是规使用 - SparkContext.runJob()方法的调用

前文      通常场景中,Spark计算任务中transform相关的操做都是由action进行触发的,常见的的好比write、collect、show等,或者在数据处理的过程当中调用的groupbykey等API,进行shuffle数据从新分发,在提交任务时会把transform的操做做为前置任务进行提交,可是单纯的transform操做是没法触发spark计算任务的。java     可是,
相关文章
相关标签/搜索