Spark的内存管理
spark在执行应用程序时,Spark集群会启动Driver和Executor两种JVM进程 Driver : 创建SparkContext上下文,提交任务,task的分发 Executor: 负责task的计算任务,并将结果返回给Driver,同时需要为需要持久化的RDD提供储存 Driver端的内存管理比较简单,这里内存管理针对是Executor端的内存管理 spark1.6之前使用的是静态内
相关文章
- 1. Spark内存管理
- 2. spark内存管理
- 3. Spark~内存管理
- 4. Spark 内存管理
- 5. spark 内存管理
- 6. Spark 静态内存管理
- 7. Spark(二): 内存管理
- 8. spark统一内存管理
- 9. Spark 内存管理之Tungsten
- 10. Spark 内存管理之UnifiedMemoryManager
- 更多相关文章...
- • Swarm 集群管理 - Docker教程
- • Maven 依赖管理 - Maven教程
- • 三篇文章了解 TiDB 技术内幕——说存储
- • Docker 清理命令
相关标签/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
欢迎关注本站公众号,获取更多信息
相关文章
- 1. Spark内存管理
- 2. spark内存管理
- 3. Spark~内存管理
- 4. Spark 内存管理
- 5. spark 内存管理
- 6. Spark 静态内存管理
- 7. Spark(二): 内存管理
- 8. spark统一内存管理
- 9. Spark 内存管理之Tungsten
- 10. Spark 内存管理之UnifiedMemoryManager