Spark如何在一个SparkContext中提交多个任务

在使用spark处理数据的时候,大多数都是提交一个job执行,而后job内部会根据具体的任务,生成task任务,运行在多个进程中,好比读取的HDFS文件的数据,spark会加载全部的数据,而后根据block个数生成task数目,多个task运行中不一样的进程中,是并行的,若是在同一个进程中一个JVM里面有多个task,那么多个task也能够并行,这是常见的使用方式。linux 考虑下面一种场景,在
相关文章
相关标签/搜索