Spark 内存管理模型

在工作中有时候我们可能会遇到Spark内存溢出问题,因此有必要了解一下Spark是如何进行内存管理的。在Spark 1.6.0以后的版本中,内存管理模型如下: 这里面可以看到三个核心组成部分: 1.Reserved memory 这是系统保留的内存,其大小是固定的,对于Spark1.6.0 来说其大小为300M, 意味着300M RAM不参与Spark内存空间计算。 2.User memory 这
相关文章
相关标签/搜索