Spark部署模式详解

1、Spark部署模式详解 在介绍部署模式之前,首先需要知道两个重要的角色:Driver(驱动器)、Executor(执行器)。 1、1Driver(驱动器) Spark驱动器是执行开发程序中的main方法的进程。它负责开发人员编写的用来创建SparkContext、创建RDD、以及进行RDD的转化(transform)操作和行动(action)操作代码的执行。如果你是用的spark shell,
相关文章
相关标签/搜索