DAGScheduler实现-2.0v

转载:https://www.jianshu.com/p/ad9610bcb4d0   整体架构 任务调度逻辑视图 DAGScheduler:负责分析用户提交的应用,并根据计算任务的依赖关系建立DAG,且将DAG划分为不同的Stage,每个Stage可并发执行一组task。注:DAG在不同的资源管理框架实现是一样的。 TaskScheduler:DAGScheduler将划分完成的Task提交到T
相关文章
相关标签/搜索