Spark 2 内存管理之源码剖析

本课主题  Static MemoryManager 的源码鉴赏   Unified MemoryManager 的源码鉴赏   引言 从源码的角度了解 Spark 内存管理是怎么设计的,从而知道应该配置那个参数让程序运行更适合你的实际需要,我们为什么要把 Spark Memory 这块内存调大,原因很简单,理论上讲你调得愈来,你占用的空间愈大,程序运行时所产生的 IO 就会愈来愈少,理论可以参考
相关文章
相关标签/搜索