Spark内存管理(2)—— 统一内存管理

Spark内存管理系列文章: Spark内存管理(1)—— 静态内存管理 堆内内存 Spark 1.6之后引入的统一内存管理机制,与静态内存管理的区别在于Storage和Execution共享同一块内存空间,可以动态占用对方的空闲区域 其中最重要的优化在于动态占用机制,其规则如下: 设定基本的Storage内存和Execution内存区域(spark.storage.storageFraction
相关文章
相关标签/搜索