一篇文章搞清spark内存管理

文章目录 1.堆内存和堆外内存 1.1 堆内存 1.2 堆外内存 2. 内存空间分配 2.1 早期的静态内存管理 2.2 统一内存管理机制 3. 存储内存(Storage)缓存RDD怎么存储 4. 执行内存(Execution)怎么管理 ​ 在执行Spark的应用程序时,Spark集群会启动Driver和Executor两种JVM进程,前者为主控进程,后者负责执行具体的计算任务。因为Driver的
相关文章
相关标签/搜索