[Spark基础]--Spark的任务调度

转自:http://blog.csdn.net/pelick/article/details/41866845(仅作为学习和备忘用) 本文尝试从源码层面梳理Spark在任务调度与资源分配上的做法。 先从Executor和SchedulerBackend说起。Executor是真正执行任务的进程,本身拥有若干cpu和内存,可以执行以线程为单位的计算任务,它是资源管理系统能够给予的最小单位。Sched
相关文章
相关标签/搜索