《Spark技术内幕》第六章Executor模块详解

Executor模块详解 Executor模块负责运行Task计算任务,并将结果会传到Driver。Spark支持多种资源调度框架,这些资源框架在为计算任务分配资源后,最终都会使用Executor模块完成最终的计算。 每个Spark的Application都是从SparkContext开始的,他通过Cluster Manager和Worker上的Executor建立联系,由每个Executor完成
相关文章
相关标签/搜索