Spark内存管理模型(二)—— 统一内存管理(Unified Memory Manager)

Spark内存模型在1.6版本之前版本采用的是静态管理(Static Memory Manager)的方式,在1.6之后采用的是统一管理(Unified Memory Manager)的方式。且Spark的可用内存分为堆内和堆外,由于堆外的比较简单,所以本文会对统一管理方式的情况进行讲解。 Spark 1.6 之后引入了统一内存管理机制,该机制与静态内存管理的区别在于,存储内存(Storage)和
相关文章
相关标签/搜索