Spark作业基本运行原理

Spark作业基本运行原理： 我们使用spark-submit提交一个spark作业之后，这个作业就会启动一个对应的Driver进程。根据你使用的部署模式（deploy-mode）不同： Driver进程可能在本地启动，也可能在集群中的某个工作节点上启动； Driver进程本身会根据我们设置的参数，占有一定数量的内存和CPU core。 而Driver进程要做的第一件事情，就是向集群管理器（可以是

>>阅读原文<<