Spark Job（Spark 架构角度）笔记

spark-shell中默认情况下没有任何Job。 默认资源分配方式：在每个Worker上为当前程序分配一个ExecutorBackend进程，且默认情况下最大化的使用Cores和Memory。 在一个Executor中一次性最多能运行多少并发的Task取决于当前Executor能够使用的Cores的数量。 一个Stage中的多个任务具体分配给哪个节点执行主要取决于数据本地性。 线程并不会关心具体

>>阅读原文<<