Spark运行基本流程-----学习笔记

一、首先构建基本运行环境：Driver建立一个SparkContext，进行资源的申请、任务的分配和控制；（Shell中不须要构建，系统会自动生成一个SC）多线程 二、资源管理器为Executor分配资源，并启动Executor进程；优化 三、SparkContext根据RDD的依赖关系构建DAG图，DAG图提交给DAGScheduler解析成Stage，而后把一个个TaskSet提交给底层调度器

>>阅读原文<<