spark内存管理源码分析系列之内存管理概述

Spark 作为一个基于内存的分布式计算引擎,其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理,有助于更好地开发 Spark 应用程序和进行性能调优。本文介绍了Spark的内存框架以及介绍了Spark的哪些模块使用到了内存管理功能,Driver端内存管理比较简单,所以后续的分析都专注于Executor端的内存管理。 内存整体框架 作为一个 JVM 进程,Exec
相关文章
相关标签/搜索