Spark Executor内存管理

堆内和堆外内存规划 1.堆内内存:由-executor-memory配置,executor内所有并发任务共享     序列化:将对象转换为二进制字节流,本质上可以理解为将非连续空间的链式存储转化为连续空间或块存储 2.堆外内存:由spark.memory.offHeap.size配置,优化内存的使用,提高shuffle时排序效率,存储经过序列化的二进制数据,默认关闭 3.内存管理接口:Memory
相关文章
相关标签/搜索