5-spark-memory

5-spark-memory.md 内存分类 堆内内存(On-heap Memory) 默认情况下,Spark 仅仅使用了堆内内存。Executor 端的堆内内存区域大致可以分为以下四大块: Execution 内存:主要用于存放 Shuffle、Join、Sort、Aggregation 等计算过程中的临时数据 Storage 内存:主要用于存储 spark 的 cache 数据,例如RDD的缓
相关文章
相关标签/搜索
本站公众号
   欢迎关注本站公众号,获取更多信息