Spark源码阅读笔记之MetadataCleaner
MetadataCleaner运行定时任务周期性的清理元数据（metadata），有6种类型的元数据：MAP_OUTPUT_TRACKER，executor跟踪各个map任务输出的存储位置的数据，根据spark.cleaner.ttl.MAP_OUTPUT_TRACKER设置清理时间，默认值为-1，表示不清理；SPARK_CONTEXT，SparkContext中记录缓存到内存中的RDD的数据结构
相关文章
- 1. Apache Spark源码走读之1 -- Spark论文阅读笔记
- 2. spark源码阅读之spark-shell
- 3. spark源码阅读——0.构建spark源码阅读环境
- 4. vue源码阅读笔记
- 5. seajs 源码阅读笔记
- 6. java.lang.Thread源码阅读笔记
- 7. spring源码阅读笔记
- 8. CopyOnWriteArrayList源码阅读笔记
- 9. Spring源码阅读笔记
- 10. seata源码阅读笔记
- 更多相关文章...
- • RSS 阅读器 - RSS 教程
- • PHP 实例 - AJAX RSS 阅读器 - PHP教程
- • Tomcat学习笔记（史上最全tomcat学习笔记）
- • 互联网组织的未来：剖析GitHub员工的任性之源
相关标签/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
最新文章
- 1. 升级Gradle后报错Gradle‘s dependency cache may be corrupt (this sometimes occurs
- 2. Smarter, Not Harder
- 3. mac-2019-react-native 本地环境搭建(xcode-11.1和android studio3.5.2中Genymotion2.12.1 和VirtualBox-5.2.34 )
- 4. 查看文件中关键字前后几行的内容
- 5. XXE萌新进阶全攻略
- 6. Installation failed due to: ‘Connection refused: connect‘安卓studio端口占用
- 7. zabbix5.0通过agent监控winserve12
- 8. IT行业UI前景、潜力如何？
- 9. Mac Swig 3.0.12 安装
- 10. Windows上FreeRDP-WebConnect是一个开源HTML5代理，它提供对使用RDP的任何Windows服务器和工作站的Web访问
欢迎关注本站公众号,获取更多信息
