Spark的内存模型

Spark的内存模型 详细了解说明了由于kafka内存管理记录的内存使用量不能精确计算导致OOM高发 内存模型分为静态内存管理&统一内存管理,使用spark.memory.useLegacyMode来配置,在1.6前的静态内存管理StaticMemoryManager 统一内存管理UnifiedMemoryManager 内存动态占用机制
相关文章
相关标签/搜索