资源调度机制源码分析(schedule方法,两种调度算法)

sparkContext初始化后会注册Application,而后会调用schedule方法,如何为Application在worker上启动Executor,Executor启动后,DAGScheduler和TaskScheduler才能分配task给Executor来进行计算。因此schedule是把整个流程窜起来的重点。算法 private def schedule(): Unit = {
相关文章
相关标签/搜索