Spark任务执行流程随笔

  当使用spark-submit提交一个做业以后，这个做业就会启动一个对应的driver进程。       根据你使用的部署模式（deploy-mode）不一样，driver进程可能在本地启动，也可能在集群中某个工做节点上启动。       driver进程自己会根据咱们设置的参数，占有必定数量的内存和CPU core。而driver进程要作的第一件事，就是向集群管理器（能够是Spark Sta

>>阅读原文<<