pyspark系统学习1

Spark发展              Spark执行过程       任何Spark应用程序都会分离主节点上的单个驱动进程（可以包含多个作业），然后将执行进程分配给多个工作结点，如下图：                                              驱动进程会确定任务进程的数量和组成，这些任务进程是根据为指定作业生成的图形分配给执行节点的。注意，任何工作节点都可以执

>>阅读原文<<