Spark程序的端到端运行架构解读

Spark任务提供多层分解的概念，Spark组件将用户的应用程序分解为内部执行任务并提供执行容器，资源管理为spark组件提供资源管理和调度。 Spark任务： 应用程序：由一个driver program和多个job构成； job：由多个stage组成； stage：对应一个taskset， taskset：对应一组关联的相互之间没有shuffle依赖关系的task组成。 task：任务最小的工

>>阅读原文<<