spark任务提交流程(standalone)

spark程序使用spark-submit方式提交,如果是standalone集群的话,会在提交任务的节点启动一个driver进程; dirver进程启动以后,首先是构建sparkcontext,sparkcontext主要包含两部分:DAGScheduler和TaskScheduler TaskScheduler会寻找Master节点,Master节点接收到Application的注册请求后,通
相关文章
相关标签/搜索