Spark2.X的内存管理模型

Spark2.X的内存管理模型以下图所示：缓存 Spark中的内存使用大体包括两种类型：执行和存储。执行内存是指用于用于shuffle、join、排序、聚合等计算的内存，而存储内存是指用于在集群中持久化和广播内部数据的内存。在Spark中，执行内存和存储内存共享一个统一的区域。当没有使用执行内存时，存储内存能够获取全部可用内存，反之亦然。若有必要，执行内存能够占用存储存储，但仅限于总存储内存使用量

>>阅读原文<<