Spark2.1 内存管理详解

本文中阐述的原理基于 Spark 2.1 版本，阅读本文须要读者有必定的 Spark 和 Java 基础，了解 RDD、Shuffle、JVM 等相关概念。html 在执行 Spark 的应用程序时，Spark 集群会启动 Driver 和 Executor 两种 JVM 进程，前者为主控进程，负责建立 Spark 上下文，提交 Spark 做业（Job），并将做业转化为计算任务（Task），在各

>>阅读原文<<