Pyspark架构原理

原文地址 ： https://mp.weixin.qq.com/s/qgfcqKMyTOC-AlQYGmk6VQ Spark运行时架构 首先我们先回顾下Spark的基本运行时架构，如下图所示，其中橙色部分表示为JVM，Spark应用程序运行时主要分为Driver和Executor，Driver负载总体调度及UI展示，Executor负责Task运行，Spark可以部署在多种资源管理系统中，例如Ya

>>阅读原文<<