Spark中的Driver和Executor的个人理解

Driver:Driver是Spark中Application也即代码的发布程序,可以理解为我们编写spark代码的主程序,因此只有一个,负责对spark中SparkContext对象进行创建,其中SparkContext对象负责创建Spark中的RDD(Spark中的基本数据结构,是一种抽象的逻辑概念) Driver的另外一个职责是将任务分配给各个Executor进行执行。任务分配的原则主要是就
相关文章
相关标签/搜索