Spark一千篇旅游日记0004 之 作业执行解析

一. 一个spark程序细分成计算粒度的过程 1.从任务执行的角度看: task是spark中最小粒度的计算. 其中每一个绿色箭头就表示一个task 2.从集群的角度看: 细分成单个线程: 二. 集群和任务的关系图表: 比喻一下: 现在要做一个项目Application,有5台机器(称为worker Node1,2,3,4,5)可以做这个项目,而这个项目有3个子任务(称为Job1,Job2,Job

>>阅读原文<<